Тестирование креативов

Происхождение и история термина

Сравнение рекламных сообщений существовало задолго до цифровых кабинетов. В книге Scientific Advertising 1923 года Клод Хопкинс описывал сопоставление заголовков, аргументов и изображений по отслеживаемому отклику, в частности по возврату купонов. Он отдельно отмечал, что ответы могут иметь разную ценность: итог следует оценивать по затратам на покупателя или продажи, а не только по количеству откликов. Это документированное свидетельство практики, а не доказательство первого употребления выражения creative testing ^[2].

В цифровой среде развился другой важный компонент — контролируемое сравнение вариантов на случайно сформированных группах. Кохави и соавторы систематизировали такой подход в работе, опубликованной онлайн в 2008 году и вошедшей в журнальный выпуск 2009 года. Предмет их статьи — веб-эксперименты в целом; тестирование рекламного сообщения является возможным применением этой методологии, но не исчерпывает её ^[3].

У современной проверки креатива, таким образом, есть две разные задачи: исследовать само сообщение и измерять последствия его предъявления. Исторический пример Хопкинса полезен и сегодня как постановка вопроса: какой отклик считать ценным? Однако его уверенность в универсальных рекламных закономерностях не заменяет проверку конкретного объявления в конкретной аудитории ^[2].

Суть и механизм

Начало теста — проверяемое предположение. В учебном примере редакции организатор городской лекции хочет понять, помогает ли конкретная тема привлечь заинтересованных посетителей. Вариант A: «Открытая лекция в эту субботу». Вариант B: «Как читать старые карты: лекция в эту субботу». Гипотеза: указание темы увеличит долю людей, которые оставят подходящую заявку. Заголовки вымышлены; утверждения об эффективности одного из них пока нет.

Здесь меняется содержание заголовка. Изображение, дата, цена, место, кнопка и страница регистрации остаются одинаковыми. Это позволяет сформулировать узкий вопрос о данной замене. Если одновременно изменить изображение и предложение, получится проверка двух целых объявлений. Она тоже может быть полезна для выбора варианта, но не объяснит, какой отдельный элемент дал различие. Рекомендация проверять одну гипотезу и менять один параметр есть и в документации Яндекс Директа ^[6].

Перед сравнением результатов организатор проверяет понимание: показывает объявления представителям нужной аудитории и просит своими словами объяснить, чему посвящена лекция и как на неё попасть. Это учебный способ применить предварительную проверку сообщения, описанную OpenStax ^[1]. Вопрос «Какой заголовок вам больше нравится?» здесь слабее связан с задачей: симпатия ещё не означает, что человек понял предложение. В ответах полезно искать конкретную ошибку, например ожидание бесплатного входа при платном билете.

Для оценки результата в контролируемом опыте участников случайно распределяют между вариантами. Единица эксперимента — объект такого распределения и анализа; в веб-экспериментах им часто служит пользователь. Кохави и соавторы подчёркивают значение независимости единиц и постоянства назначенного пользователю варианта. При выполнении условий эксперимента случайное распределение позволяет оценивать причинное влияние изменения, а не просто наблюдать совместное изменение показателей ^[3].

В нашем примере один человек должен оставаться в своей группе. Иначе он может сначала увидеть общий заголовок, затем конкретный, а заявку оставит после обоих. Тогда простое сопоставление итогов A и B уже не соответствует задуманной проверке. Это правило учебной модели, а не заявление о том, что любой рекламный кабинет распознаёт человека на всех устройствах.

Виды и классификации

OpenStax разделяет тестирование рекламы по времени: до размещения и после него. Среди предварительных методов названы просмотр набора объявлений с последующим воспроизведением содержания, обсуждение вариантов группой и показ в обстановке, приближённой к потреблению рекламы. После запуска учебник рассматривает, в частности, запоминание с подсказкой и без неё, отношение к рекламируемому товару или услуге, сравнение запоминаемости и результативности похожих объявлений, а также продажи. Проверка продаж у авторов возможна также до запуска как прогноз, поэтому граница по времени не означает, что каждому методу разрешён лишь один этап ^[1].

В примере с лекцией оценка «мне нравится этот заголовок» относится к объявлению, а оценка «эта лекция кажется полезной» — к рекламируемой услуге. Вопросы нельзя считать взаимозаменяемыми. Чтобы проверить понимание, нужно попросить пересказать предложение; чтобы узнать отношение к самой лекции — спросить о ней. Эти вопросы редакции показывают различие объектов, а не воспроизводят готовую анкету учебника.

Для выбора метода удобно дополнительно разделить вопросы исследования. Следующая таблица — рабочая схема редакции, а не отдельная общепринятая классификация.

Эти проверки можно сочетать. Если читатели неверно поняли предложение, есть понятная задача для правки. Если понимание правильное, но заявок мало, одних ответов на вопросы уже недостаточно для объяснения результата. Эксперимент показывает различие в выбранном показателе, а дополнительное исследование помогает искать возможную причину. Кохави и соавторы отдельно рассматривают ограничение количественных экспериментов: измеренный эффект сам по себе не объясняет, почему он возник ^[3].

Техническая проверка дополняет исследование: в нашем примере ссылка должна вести на нужную лекцию, форма — принимать заявку, а событие — записываться одинаково для A и B. Исправность формы не доказывает убедительность рекламы; зато ошибка формы способна сделать сравнение бесполезным. Это проверка условий учебного опыта, а не ещё один способ измерить предпочтения аудитории.

Как применяется на практике

Инструмент подбирают под вопрос и формат объявления. В Google Ads раздел Experiments позволяет сравнивать эксперимент с исходной кампанией, выделяя ему часть трафика или бюджета ^[4]. Для массовой текстовой замены существует отдельный механизм ad variations ^[5]. В Яндекс Директе A/B-эксперимент строится вокруг сравнения кампаний с выбранной гипотезой и метрикой ^[6]. Названия похожи, но конкретные настройки нужно сверять по документации каждой системы.

Для учебной лекции сначала фиксируют оба заголовка, аудиторию, критерий подходящей заявки и способ её учёта. Подходящей условимся считать заявку с действующим контактом и подтверждённым интересом к этой лекции; повторные отправки одного человека не добавляют новых результатов. Это специально выбранное правило примера, а не универсальное определение заявки.

Далее назначают основную метрику: долю участников, оставивших такую заявку. Клики нужны для диагностики промежуточного шага. До запуска также записывают, когда закончится сбор участников и сколько времени после показа им дадут на заявку. Пусть в учебной модели это семь суток для каждого человека. Такой срок выбран для объяснения, а не взят из справки платформы. При неодинаковом времени наблюдения поздно вошедшие участники окажутся в неравных условиях.

После завершения наблюдения составляют вывод по заранее выбранному вопросу. Полезный результат — не только название варианта, но и граница знания: какие объявления сравнивали, кого включили, что считали успехом и насколько точна оценка. Этот отчёт позволяет повторить опыт или понять, почему следующая проверка дала другой результат.

Как измерить или проверить

Кликабельность и разные знаменатели

Все числа ниже вымышлены. Для простоты в каждую группу случайно назначили по 10 000 разных людей; каждый получил ровно один показ, мог сделать не более одного учитываемого клика и оставить не более одной подходящей заявки. Группы не пересекаются, результаты всех участников известны. Благодаря этим условиям число показов совпадает с числом участников. В обычном отчёте повторные показы нарушают это равенство.

CTR — отношение кликов к показам, выраженное в процентах; именно такой знаменатель указан в справке Google ^[7].

Для A получаем 200 / 10 000 × 100% = 2%; для B — 250 / 10 000 × 100% = 2,5%. Абсолютная разница равна 0,5 процентного пункта. Относительный прирост к исходным 2% составляет 25%: разницу 0,5 делим на 2 и умножаем на 100%. Формулировки «на 0,5 процентного пункта» и «на 25%» описывают одну пару значений, но отвечают на разные вопросы. При нулевом исходном CTR такой относительный прирост не определён.

Доля заявок среди кликнувших равна 20 / 200 = 10% для A и 15 / 250 = 6% для B. Это полезное описание перехода от клика к заявке. Однако кликнувшие — уже отобранная поведением часть каждой группы. Сравнение этих долей не изолирует воздействие заголовка на решение после клика: состав кликнувших мог различаться.

Основная метрика нашего опыта использует всех назначенных участников: 20 / 10 000 = 0,20% против 15 / 10 000 = 0,15%. Наблюдаемая разница B минус A составляет −0,05 процентного пункта. В этой таблице более кликабельный заголовок дал меньше заявок, но пока это лишь результат выборки. Доказанного преимущества A из одной разницы ещё не следует.

Насколько точна разница

Для двух независимых долей можно оценить диапазон неопределённости. Документация NIST описывает скорректированный интервал Вальда, известный также как интервал Агрести — Каффо ^[8]. Он подходит здесь как учебное приближение при указанных условиях: у независимого участника один из двух исходов — есть подходящая заявка или её нет. Повторные показы одному человеку нельзя автоматически считать новыми независимыми участниками.

В расчёте используются скорректированные доли: к числу успехов добавляют один, к числу наблюдений — два. Это математическая поправка, а не две выдуманные записи в отчёте. Пусть x — число заявок, n — число участников, а p̃ — скорректированная доля. Для приблизительного 95%-го интервала разности B минус A применяем формулу ^[8]:

Множитель 1,96 — округлённый коэффициент стандартного нормального распределения для двустороннего 95%-го интервала: между −1,96 и +1,96 находится примерно 95% этого распределения. В расчёте он используется как нормальное приближение, а не как характеристика рекламы ^[10].

Числа 21 / 10 002 и 16 / 10 002 дают интервал примерно от −0,169 до +0,069 процентного пункта. В нём есть ноль: данные допускают как отрицательную, так и положительную разницу. Поэтому уверенного вывода о направлении эффекта в этом учебном опыте нет. Это не доказательство равенства объявлений. Нельзя также читать 95% как вероятность того, что B лучше A: уровень относится к процедуре построения интервала, а не к такому утверждению. При многократном повторении выборки такая процедура должна охватывать истинную разность примерно в 95% случаев; для приближённого метода фактическое покрытие может отличаться ^{[8; 10]}.

Количество показов не заменяет планирование точности. Мощность теста — вероятность обнаружить эффект заданной величины, когда он действительно существует; она связана с размером выборки и изменчивостью результата ^[3]. Для нашей лекции сначала нужно решить, какой прирост заявок практически важен. Только после этого можно обосновывать необходимый объём исследования. Число 10 000 в примере не является готовой рекомендацией.

Ошибки, ограничения и спорные вопросы

Подмена цели удобной метрикой. В учебном примере выбрать B по CTR было бы решением задачи о кликах. Если цель — подходящие заявки, итог нужно формулировать по ним. Даже заявка ещё не равна оплате или посещению лекции: в примере эти действия вообще не измерялись.

Смешение изменения рекламы с изменением условий. Допустим, A показывали в начале месяца, а B — после объявления известного приглашённого спикера. Разница может относиться к новой информации о мероприятии. Поэтому последовательная смена объявлений без сопоставимых групп не воспроизводит описанный контролируемый опыт. Это ограничение дизайна нашего примера, а не запрет на любые наблюдательные исследования.

Переоценка одного удачного результата. После проверки заголовка нельзя автоматически объявить выигрышными его шрифт, фотографию или тему в любых сочетаниях. Например, конкретная тема может помочь уже заинтересованному читателю и оказаться непонятной другой аудитории. Это гипотеза для следующего исследования, а не вывод имеющихся чисел.

Игнорирование учёта пользователей и времени. Кохави и соавторы рассматривают трудности идентификации посетителей, взаимодействия параллельных экспериментов и различия между короткими и длительными эффектами ^[3]. В практическом отчёте следует отделять проверенные условия от допущений. Если неизвестно, сколько людей видели оба объявления, точность вычислений сама по себе не устраняет эту неопределённость.

Правовой аспект

Тестовое размещение остаётся рекламой, если обладает её признаками. Часть 1 статьи 5 Федерального закона № 38-ФЗ «О рекламе» требует добросовестности и достоверности. Пункт 4 части 3 этой статьи относит к недостоверной рекламе ложные сведения о цене, порядке оплаты, скидках и других условиях приобретения. Использована редакция от 04.08.2026, действующая с 01.09.2026; исходные указанные положения статьи 5 вступили в силу 01.07.2006 по статье 39 ^[9].

В учебном примере нельзя обосновать недостоверное обещание бесплатного входа тем, что оно лучше сработало в тесте. Измерение отклика и правовая допустимость сообщения — разные проверки. Для конкретного размещения необходима проверка применимых требований; приведённые положения не составляют полного юридического заключения ^[9].

Частые вопросы

Связанные термины

• A/B-тестирование
• CTR (кликабельность)
• Рекламный креатив
• Рекламная кампания
• Креативная концепция
• Заголовок объявления