A/B-тестирование

Кратко

Главное в тесте — случайное распределение пользователей по вариантам: благодаря ему разницу в метрике можно приписать самому изменению, то есть установить причинно-следственную связь ^{[2, с. 140, 149]}.
Тест проверяет одну гипотезу по заранее выбранной основной метрике; справка Яндекс Директа советует проверять в одном эксперименте одну гипотезу с одним параметром ^[7].
Вывод о «победителе» делают по статистическому критерию и заранее рассчитанному размеру выборки; постоянное «подглядывание» за классическими p-value делает их ненадёжными ^[9].
Статистическая значимость не равна практической важности: p-value не измеряет ни размер эффекта, ни вероятность того, что гипотеза верна ^[10].
Неаккуратный тест может навредить SEO: показ роботу иных адресов, чем людям, нарушает правила Google о спаме; canonical, 302-редирект и короткий срок Google рекомендует как лучшие практики ^[3].

Происхождение и история термина

A/B-тест — частный случай контролируемого (рандомизированного) эксперимента. В обзоре Kohavi, Longbotham, Sommerfield и Henne (2009) такие эксперименты в вебе названы также рандомизированными экспериментами, A/B-тестами и сплит-тестами ^{[2, с. 140, 142]}, а сам A/B-тест описан как схема, в которой пользователи случайно попадают в один из двух вариантов: контроль (A) или изменение (B) ^{[2, с. 149]}. По статистическим основам метода обзор отсылает к руководствам по планированию экспериментов (Box и соавт., 2005; Keppel и соавт., 1992) ^[2].

Идею контрольной группы обзор иллюстрирует историческим примером: в XVIII веке британский капитан заметил, что на некоторых кораблях моряки не болеют цингой, и дал половине команды лаймы (тестовая группа), а другая половина (контрольная группа) питалась как прежде ^{[2, с. 141]}. Там же приведён веб-пример: прототип рекомендаций по содержимому корзины Грега Линдена (Amazon), судьбу которого решил контролируемый эксперимент ^{[2, с. 141]}.

О масштабе практики можно судить по аннотации книги Kohavi, Tang и Xu, вышедшей в 2020 году: книга основана на опыте компаний, каждая из которых на тот момент проводила более 20 000 контролируемых экспериментов в год ^[1]. Это исторические данные по состоянию на 2020 год.

Инструменты при этом менялись: Google Optimize недоступен с 30 сентября 2023 года ^[4], а в России A/B-эксперименты появились в интерфейсе Директ Про в октябре 2024 года ^[6].

Суть и механизм

Гипотеза и метрики. Тест начинается с формулировки: что меняем и какого эффекта ждём. Основную метрику Kohavi и соавторы называют Overall Evaluation Criterion (OEC) и определяют как количественную меру цели эксперимента ^{[2, с. 150]}; теме выбора метрик и OEC в книге ^[1] посвящена глава 7 (с. 102–110). Помимо основной метрики отслеживают защитные метрики (guardrail metrics). В таксономии метрик команды экспериментов Microsoft (Dmitriev и соавт., 2017) это показатели, которые не говорят прямо об успехе тестируемой функции, но которым не хотят причинить существенный вред при решении о внедрении; крупные ухудшения таких метрик, как правило, недопустимы ^{[17, с. 4]}. Там же выделены метрики качества данных и диагностические метрики ^{[17, с. 3–4]}.

Группы и рандомизация. Аудитория делится на непересекающиеся группы. При разделении 50/50 пользователь должен с равной вероятностью видеть каждый вариант, а реализация через хеш-функции чувствительна к выбору функции ^{[2, с. 163–165]}. Выбору единицы рандомизации (пользователь, сессия, запрос и т. п.) в книге ^[1] отведена глава 14. В Директ Про, по описанию Яндекса, после применения таргетинга для пользователя по анонимному профилю вычисляется число, и остаток от его деления на константу определяет контрольный или тестовый сегмент пропорционально заданным долям ^[6].

Статистический вывод (частотный подход). Проверяют нулевую гипотезу «различий нет». По определению Американской статистической ассоциации (ASA), p-value — это вероятность при заданной статистической модели получить сводную статистику данных, равную наблюдаемой или более экстремальную ^[10]. ASA подчёркивает, что p-value не измеряет вероятность того, что исследуемая гипотеза верна, а также не измеряет размер эффекта или важность результата ^[10]. Для конверсий (долей) применяют, например, z-тест для двух долей ^[13]. Директ Про сравнивает распределения метрик по подгруппам критерием Манна — Уитни ^[6]; Varioqub — тем же критерием с бакетизацией, а порог значимости по умолчанию в нём α = 0,05 ^[15]. В отчёте Директ Про результат с p < 0,05 считается статистически значимым, а при 0,05 ≤ p < 0,2 отмечается тенденция, которая, по формулировке Яндекса, «требует осторожной интерпретации и, возможно, большего объёма данных для подтверждения» ^[6].

Байесовский подход. Вместо p-value он оценивает, насколько вероятно, что вариант лучше контроля: так, Varioqub для байесовской метрики конверсии показывает «Вероятность тест > контроль» ^[16]. Спор подходов изложен в разделе об ограничениях.

Размер выборки и мощность. Обзор ^[2] даёт эмпирическое правило для минимального размера выборки при уровне доверия 95 % и мощности 80 %: n = 16σ² / Δ², где n — число пользователей в каждом варианте (варианты равного размера), σ² — дисперсия метрики OEC, Δ — чувствительность, то есть минимальное изменение, которое нужно обнаружить ^{[2, с. 152]}. Для конверсии дисперсия равна p(1 − p), так как покупку можно рассматривать как испытание Бернулли ^{[2, с. 153]}. Те же α = 0,05 и β = 0,2 (мощность 80 %) заложены в расчёт минимального обнаруживаемого эффекта (MDE) в Varioqub; уменьшить MDE можно, увеличив долю трафика и длительность теста ^[15].

Продолжительность. Авторы обзора настоятельно рекомендуют проводить эксперимент не менее недели-двух и продлевать его кратно неделе, чтобы учесть эффект дня недели ^{[2, с. 175–176]}. Справка Директа добавляет, что кампаниям в эксперименте нужно время на обучение — в среднем 7–14 дней, и советует перед выводами набрать не менее 10 конверсий в неделю на каждый вариант ^[7].

Виды и классификации

Терминология следует обзору ^[2] и книге ^[1]; деление на split URL и on-page, серверные и клиентские эксперименты — по месту реализации изменения ^[1]^[3]^[14]. Собственной классификации редакция не вводит.

Вид	Что сравнивается	Замечания
A/B	Контроль (A) и одно изменение (B)	Базовый случай ^{[2, с. 149]}
A/B/n	Контроль и несколько вариантов изменения	Один фактор, несколько уровней. В Директе в одном эксперименте допускается от 2 до 20 вариантов ^[7]
Мультивариантный (MVT)	Несколько факторов одновременно, в сочетаниях	Эксперимент с более чем одним фактором обзор ^{[2, с. 158]} называет мультивариантным (MultiVariable test, MVT). Это не то же самое, что A/B/n
A/A-тест	Обе группы получают одинаковый опыт	Проверка самой системы: при уровне доверия 95 % нулевая гипотеза должна отвергаться примерно в 5 % случаев ^{[2, с. 151]}
Split URL (редирект)	Варианты на разных адресах	В Varioqub — тип эксперимента «Редирект» ^[14]; для поиска требует особых мер ^[3]
On-page	Изменения на одном адресе	В Varioqub — «Визуальный редактор» и «Флаги» ^[14]; для поиска важен запрет клоакинга ^[3]^[8]
Серверный и клиентский	Изменение реализуется на сервере или в браузере	Клиентским экспериментам посвящена глава 12 книги ^[1] (с. 153–161)

Как применяется на практике

В России: реклама. В Яндекс Директе A/B-эксперимент сравнивает разные кампании или разные настройки. Он доступен в единых перформанс-кампаниях для продвижения сайтов и приложений (кроме кампаний с показами в мессенджерах) и в медийных кампаниях, создаётся в разделе «Библиотека» → «A/B-эксперименты»; аудиторию рекомендуется делить поровну ^[7]. Результаты оценивают по конверсиям из Яндекс Метрики, а клики, показы и CTR не рассматриваются; новые эксперименты в Яндекс Аудиториях создавать нельзя, работа с экспериментами идёт в интерфейсе Директ Про ^[5].

В России: сайты. Для экспериментов на сайте у Яндекса есть сервис Varioqub, встроенный в интерфейс Яндекс Метрики: эксперимент создают в Метрике — выбирают счётчик и переходят в раздел «Вариокуб» → «Эксперименты». Доступны типы «Визуальный редактор», «Редирект», «Флаги», «Рекламные блоки» и «Виджеты»; долю аудитории в эксперименте задают от 1 до 100 %, срок показа — от 1 до 90 дней; трафик между вариантами по умолчанию делится поровну ^[14]. Отчёт о результатах показывает разницу с контролем, доверительный интервал и MDE ^[15].

В мире. После закрытия Google Optimize компания Google перечисляет поставщиков A/B-тестирования, с которыми развивает интеграции с Google Analytics: AB Tasty, Optimizely и VWO; список дан в алфавитном порядке и рейтингом не является ^[4].

Условный сквозной пример. Интернет-магазин проверяет новый текст кнопки «Купить». Основная метрика — конверсия в покупку, защитная — например, средний чек; посетителей случайно делят поровну. Все числа ниже условные.

Как измерить или проверить

Конверсия — отношение числа достигших цели к числу посетителей: CR = конверсии / посетители. Относительный прирост = (CR_B − CR_A) / CR_A.

Шаг 1. Проверка значимости (условные числа).

Группа	Посетители	Покупки	CR
A (контроль)	10 000	500	5,0 %
B (новая кнопка)	10 000	560	5,6 %

Относительный прирост: (5,6 − 5,0) / 5,0 = 12 %. Для сравнения двух долей на больших выборках используют z-тест с объединённой долей p̂ = (x₁ + x₂) / (n₁ + n₂) и статистикой z = (p̂₁ − p̂₂) / √(p̂(1 − p̂)(1/n₁ + 1/n₂)); при двусторонней проверке |z| сравнивают с z₁₋α/₂ ^[13]. Подставим числа: p̂ = 1060 / 20 000 = 0,053; знаменатель ≈ √(0,053 · 0,947 · 0,0002) ≈ 0,00317; z = 0,006 / 0,00317 ≈ 1,89. Критическое значение при α = 0,05 — 1,96, двустороннее p-value ≈ 0,058. Различие не признаётся значимым, несмотря на «красивые» 12 %. При этом незначимый результат не доказывает, что эффекта нет: справка Varioqub прямо предупреждает, что принятие нулевой гипотезы не означает неизменности метрики ^[15].

Шаг 2. Размер выборки (условные числа). Базовая конверсия 5 %, минимально важное изменение Δ = 0,5 п. п. (с 5,0 до 5,5 %, то есть 10 % относительного прироста). По правилу n = 16σ² / Δ² из ^{[2, с. 152]} при σ² = p(1 − p) = 0,05 · 0,95 = 0,0475 получаем n = 16 · 0,0475 / 0,005² = 30 400 посетителей на вариант. Значит, тест из шага 1 (по 10 000) был слишком мал для такого эффекта. Для сравнения: в примере обзора ^{[2, с. 153]} при той же конверсии 5 % обнаружение изменения на 5 % требует менее 122 000 пользователей на вариант — вдвое меньший эффект требует вчетверо большей выборки.

Шаг 3. Длительность. Длительность = требуемая выборка на вариант / дневной трафик на вариант. Если на каждый вариант приходится 2000 посетителей в день, 30 400 / 2000 ≈ 15,2 дня. С учётом рекомендации идти не менее недели-двух и продлевать кратно неделе ^{[2, с. 175–176]} тест разумно планировать на 3 полные недели.

Шаг 4. Проверка корректности. До анализа метрик проверяют, что трафик разделился в запланированных пропорциях; этот вопрос входит в чек-лист непрерывных A/A-тестов обзора [2, разд. 6.2.1, с. 174]. Отклонение наблюдаемой пропорции групп от ожидаемой называют несоответствием пропорций выборки (sample ratio mismatch, SRM) ^[11]^[17]. Для проверки используют критерий хи-квадрат; по данным Dmitriev и соавторов, SRM в большинстве случаев означает серьёзную ошибку отбора, достаточную, чтобы результаты эксперимента стали недействительными ^{[17, с. 3–4]}. Fabijan и соавторы предупреждают: если игнорировать SRM, не выяснив причину, плохое изменение может выглядеть хорошим ^[11]. Корректность самой системы проверяют A/A-тестами ^{[2, с. 151]}. Яндекс описывает проверку Директ Про на 150 A/A-парах из 141 эксперимента (октябрь 2024 — апрель 2025): по выводам компании, разница в численности групп с ростом выборки стремится к нулю; это внутренний анализ компании, а не независимая проверка ^[6].

Ошибки, ограничения и спорные вопросы

Ошибка	Последствие	Как избежать
«Подглядывание» и остановка при первом значимом результате	Классические p-value и доверительные интервалы становятся ненадёжными ^[9]	Заранее задать размер выборки и срок либо применять последовательные методы, рассчитанные на непрерывное наблюдение ^[9]^[12]
Слишком короткий тест	Не учтены день недели и эффект новизны	Не менее недели-двух, кратно неделе ^{[2, с. 175–176]}
Недостаточная выборка	Реальный эффект не обнаруживается	Рассчитать выборку до старта ^{[2, с. 152]}
Много метрик и вариантов без поправок	Растёт риск найти «значимые» результаты случайно (групповая ошибка I рода); поправки вроде Бонферрони снижают мощность ^{[2, с. 154]}	Заранее выбрать основную метрику (OEC) как запланированное сравнение ^{[2, с. 154]}; остальные показатели вести как защитные и диагностические ^{[17, с. 3–4]}
Несоответствие пропорций выборки (SRM)	Ошибка отбора, результаты могут быть недействительны ^[17]	Проверять пропорции групп до анализа метрик ^[11]^[17]
Эффект новизны	Часть пользователей изучает нововведение и «кликает повсюду», что смещает оценку ^{[2, с. 158]}	Наблюдать дольше ^{[2, с. 158]}
Значимость принимают за важность	Внедряют изменения, эффект которых мал	Смотреть на размер эффекта и доверительный интервал, а не только на p-value ^[10]
Сравнение «до/после» вместо теста	На результат влияют внешние факторы	Параллельные группы: в отличие от анализа «задним числом», эксперимент проверяет причинную связь ^{[2, с. 142]}

Частотный и байесовский подходы. Спор касается решений по мере поступления данных. Johari и соавторы показывают, что стандартные частотные p-value и доверительные интервалы для A/B-тестов становятся «wholly unreliable» («совершенно ненадёжными»), если размер выборки выбирают, непрерывно наблюдая за тестом; их ответ — «всегда валидные» p-value и доверительные интервалы, корректные при остановке в любой момент ^[9]. Deng, Lu и Chen считают байесовскую проверку более подходящей для решений в реальном времени и доказывают её корректность при непрерывном наблюдении — но лишь при правильных правилах остановки; они же отмечают, что допустимость такого мониторинга в байесовских тестах остаётся предметом спора ^[12]. Подходы различаются и правилами остановки: в классической схеме размер выборки рассчитывают до старта ^{[2, с. 152]}, метод Johari и соавторов допускает остановку в любой момент ^[9], а байесовская проверка, по Deng и соавторам, корректна лишь при правильных правилах остановки ^[12]. В российских инструментах встречаются оба подхода: Varioqub проверяет значимость критерием Манна — Уитни (порог по умолчанию α = 0,05), а для метрики конверсии по пользователям в цель показывает байесовскую «Вероятность тест > контроль» ^[15]^[16].

Этика экспериментов. Этике контролируемых экспериментов посвящена глава 9 книги Kohavi, Tang и Xu (с. 116–124) ^[1]. Самый известный спорный случай — эксперимент Facebook^* 2014 года, в котором изменяли, насколько участники (N = 689 003) видят эмоциональный контент в ленте; авторы считали согласием принятие пользователями политики использования данных ^[18]. Журнал PNAS после публикации выпустил редакционное выражение обеспокоенности: по мнению редакции, сбор данных мог не вполне соответствовать принципам получения информированного согласия и возможности отказаться от участия ^[19].

A/B-тесты и поиск (SEO)

Google. Документация Google Search Central (обновлена 10.12.2025) описывает лучшие практики для тестов на сайте ^[3]:

не показывать Googlebot один набор адресов, а людям — другой: это клоакинг, нарушение правил о спаме «whether you're running a test or not» («проводите вы тест или нет»), грозящее понижением или удалением сайта из поиска;
на альтернативных адресах использовать rel="canonical" на исходную страницу; Google рекомендует его вместо метатега noindex;
перенаправлять на вариант 302-редиректом (временным), а не 301-м (постоянным), чтобы в индексе остался исходный адрес;
проводить эксперимент только столько, сколько необходимо: неоправданно долгий тест Google может расценить как попытку обмануть поисковую систему;
после теста как можно скорее убрать все его элементы.

Яндекс. Официальных рекомендаций Яндекса по canonical, редиректам и срокам A/B-тестов не найдено. Справка Яндекс Вебмастера «Клоакинг» определяет клоакинг как недобросовестный метод продвижения, при котором посетителям и роботам поисковых систем показывается разное содержимое, и прямо относит к допустимым случаям A/B-тестирование, когда пользователи и поисковые системы видят один и тот же контент в разном дизайнерском оформлении ^[8].

Вопрос	Google	Яндекс
Разный контент роботу и людям	Клоакинг, нарушение правил о спаме, даже во время теста ^[3]	Клоакинг; A/B-тест с одним контентом в разном оформлении клоакингом не считается ^[8]
canonical на вариантах	Рекомендован вместо noindex ^[3]	В справке «Клоакинг» не рассматривается ^[8]
Тип редиректа	302, а не 301 ^[3]	В справке «Клоакинг» не рассматривается ^[8]; в Varioqub есть тип эксперимента «Редирект» ^[14]
Срок теста	Только сколько необходимо ^[3]	В справке «Клоакинг» не рассматривается ^[8]; в Varioqub срок показа — 1–90 дней ^[14]

Правовой аспект

Если в ходе теста собираются персональные данные пользователей, применяется Федеральный закон «О персональных данных» (см. статью 152-ФЗ). Статья не содержит юридических рекомендаций.

Частые вопросы

Что такое A/B-тестирование простыми словами?

Это сравнение двух версий (например, заголовка или кнопки) на случайно разделённых группах пользователей: одна группа видит оригинал, другая — изменение, а затем по заранее выбранной метрике проверяют, можно ли объяснить разницу случайностью ^[2].

Сколько должен идти A/B-тест и какая нужна выборка?

Выборку рассчитывают заранее по базовой конверсии, минимальному важному эффекту, уровню значимости и мощности; эмпирическое правило из обзора Kohavi и соавторов — n = 16σ² / Δ² на вариант при 95 % и 80 % ^{[2, с. 152]}. Длительность — не менее недели-двух и кратно неделе ^{[2, с. 175–176]}.

Как понять, что результат статистически значим?

Рассчитать p-value по выбранному критерию и сравнить с заранее принятым порогом (в Varioqub по умолчанию 0,05 ^[15]). Значимость говорит лишь о том, насколько данные несовместимы с гипотезой «эффекта нет», но не о размере и ценности эффекта ^[10].

Почему нельзя остановить тест, как только появился «победитель»?

При постоянном наблюдении классические p-value становятся ненадёжными, и доля ложных «побед» растёт ^[9]. Срок и выборку задают заранее либо используют последовательные методы ^[9] или байесовскую проверку с правильными правилами остановки ^[12].

Влияет ли A/B-тестирование на SEO?

Может, если показывать роботу не то, что людям, — это клоакинг ^[3]^[8]. Google рекомендует canonical, 302-редирект и короткий срок ^[3]; Яндекс не считает клоакингом тест с одним контентом в разном оформлении ^[8].

Можно сравнить вчерашний сайт с сегодняшним?

Можно описать такое наблюдение, но это не равнозначно случайному назначению вариантов. В учебном магазине одновременно с версией изменился день, а вместе с ним могли измениться и другие условия.

Всегда ли нужны одинаковые размеры групп?

Нет: в определении важен способ назначения, а доли распределения — отдельная настройка дизайна. В своей инструкции Директ рекомендует делить аудиторию поровну; это рекомендация для его сценария. ^[21]

Рост на 10% означает плюс десять процентных пунктов?

Нет. В учебном расчёте 4% → 4,4% — рост на 10% относительно A и на 0,4 процентного пункта в абсолютном выражении.

Нужен ли универсальный минимум участников?

Одно число не подходит всем задачам. Microsoft связывает планирование с мощностью — способностью теста обнаружить предполагаемое изменение. ^[20] Выбор размера группы требует отдельного расчёта для показателя и дизайна.

Тест сам решает, что внедрять?

Нет. В учебном решении учитываются цель, качество данных, неопределённость и стоимость поддержки. Статистическая процедура отвечает только на свою часть вопроса.

Связанные термины

Источники

Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy online controlled experiments: A practical guide to A/B testing. Cambridge University Press. ISBN 978-1-108-72426-5. https://doi.org/10.1017/9781108653985 (дата обращения: 14.10.2026; использованы аннотация, оглавление и предметный указатель). ↑ а б в г д е ж
Kohavi, R., Longbotham, R., Sommerfield, D., & Henne, R. M. (2009). Controlled experiments on the web: Survey and practical guide. Data Mining and Knowledge Discovery, 18(1), 140–181. https://doi.org/10.1007/s10618-008-0114-1 ; полный текст: https://exp-platform.com/Documents/controlledExperimentDMKD.pdf (дата обращения: 14.10.2026). ↑ а б в г д е ж з и к л м н о п р с т у ф х ц ч ш э ю я 28 29 30 31
Google Search Central. (2025, December 10). Minimizing the impact of A/B tests on Google Search. https://developers.google.com/search/docs/crawling-indexing/website-testing (дата обращения: 14.10.2026). ↑ а б в г д е ж з и к л
Google. (n.d.). [Sunset September 2023] Google Optimize. Google Optimize Help. https://support.google.com/optimize/answer/12979939 (дата обращения: 14.10.2026). ↑ а б
Эксперименты с кампаниями // Яндекс Директ. Справка. — URL: https://yandex.ru/support/direct/ru/efficiency/experiments (дата обращения: 14.10.2026). ↑
A/B-эксперименты в Директ Про: как они устроены и как оценивать их корректность // Яндекс Реклама. — 2025. — 11 июня. — URL: https://b2b.yandex.ru/adv/edu/materials/kak-ustroeny-ab-eksperimenty-v-direct-pro (дата обращения: 14.10.2026). ↑ а б в г д
A/B-эксперименты // Яндекс Директ. Справка. — URL: https://yandex.ru/support/direct/ru/campaigns/experiments (дата обращения: 14.10.2026). ↑ а б в г
Клоакинг // Яндекс Вебмастер. Справка. — URL: https://yandex.ru/support/webmaster/ru/threat/cloaking (дата обращения: 14.10.2026). ↑ а б в г д е ж з
Johari, R., Koomen, P., Pekelis, L., & Walsh, D. (2022). Always valid inference: Continuous monitoring of A/B tests. Operations Research, 70(3), 1806–1821. https://doi.org/10.1287/opre.2021.2135 (дата обращения: 14.10.2026). ↑ а б в г д е ж
Wasserstein, R. L., & Lazar, N. A. (2016). The ASA's statement on p-values: Context, process, and purpose. The American Statistician, 70(2), 129–133. https://doi.org/10.1080/00031305.2016.1154108 (дата обращения: 14.10.2026). ↑ а б в г д
Fabijan, A., Gupchup, J., Gupta, S., Omhover, J., Qin, W., Vermeer, L., & Dmitriev, P. (2019). Diagnosing sample ratio mismatch in online controlled experiments: A taxonomy and rules of thumb for practitioners. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (pp. 2156–2164). ACM. https://doi.org/10.1145/3292500.3330722 (дата обращения: 14.10.2026). ↑ а б в
Deng, A., Lu, J., & Chen, S. (2016). Continuous monitoring of A/B tests without pain: Optional stopping in Bayesian testing. In 2016 IEEE International Conference on Data Science and Advanced Analytics (DSAA) (pp. 243–252). IEEE. https://doi.org/10.1109/DSAA.2016.33 ; препринт: https://arxiv.org/abs/1602.05549 (дата обращения: 14.10.2026). ↑ а б в г
NIST/SEMATECH. (n.d.). 7.3.3. How can we determine whether two processes produce the same proportion of defectives? In NIST/SEMATECH e-Handbook of Statistical Methods. https://itl.nist.gov/div898/handbook/prc/section3/prc33.htm (дата обращения: 14.10.2026). ↑ а б
Создание эксперимента // Эксперименты Varioqub. Справка Яндекса. — URL: https://yandex.ru/support/varioqub/ru/create (дата обращения: 14.10.2026). ↑ а б в г д е
Отчет о результатах эксперимента // Эксперименты Varioqub. Справка Яндекса. — URL: https://yandex.ru/support/varioqub/ru/stat (дата обращения: 14.10.2026). ↑ а б в г д е
Расчет метрик методом Байеса // Эксперименты Varioqub. Справка Яндекса. — URL: https://yandex.ru/support/varioqub/ru/stat/bayes (дата обращения: 14.10.2026). ↑ а б
Dmitriev, P., Gupta, S., Kim, D. W., & Vaz, G. (2017). A dirty dozen: Twelve common metric interpretation pitfalls in online controlled experiments. In Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD '17) (pp. 1427–1436). ACM. https://doi.org/10.1145/3097983.3098024 ; полный текст: https://www.microsoft.com/en-us/research/uploads/prod/2020/08/2017-08-KDDMetricInterpretationPitfalls.pdf (дата обращения: 14.10.2026; страницы в тексте статьи указаны по нумерации этого PDF). ↑ а б в г д е ж
Kramer, A. D. I., Guillory, J. E., & Hancock, J. T. (2014). Experimental evidence of massive-scale emotional contagion through social networks. Proceedings of the National Academy of Sciences, 111(24), 8788–8790. https://doi.org/10.1073/pnas.1320040111 (дата обращения: 14.10.2026). ↑
Verma, I. M. (2014). Editorial expression of concern and correction. Proceedings of the National Academy of Sciences, 111(29), 10779. https://doi.org/10.1073/pnas.1412469111 (дата обращения: 14.10.2026). ↑
Microsoft Research. (2020, July 31). Patterns of trustworthy experimentation: Pre-experiment stage. https://www.microsoft.com/en-us/research/articles/patterns-of-trustworthy-experimentation-pre-experiment-stage/ (дата обращения: 20.10.2026). ↑
Яндекс. A/B-эксперименты // Справка Директа. URL: https://yandex.ru/support/direct/ru/campaigns/experiments (дата обращения: 20.10.2026). ↑