Тошнота текста

Происхождение и история термина

Названия «классическая тошнота документа» и «академическая тошнота документа» встречаются в официальном анонсе семантического анализатора Адвего от 24 июля 2009 года. Они уже перечислены как две отдельные характеристики рядом с количеством слов и водностью. Это датированное свидетельство употребления терминов самой платформой, а не дата изобретения выражения. ^[7]

В современной справке сохранилось разделение на классическую и академическую метрики, но их смысл раскрывается по-разному: через число употреблений одного слова и через плотность частых слов. ^{[1, 2]} Так прослеживается устойчивость двух названий в документации с 2009 года до проверенной редакции справки. Само название не обещает измерения читательского раздражения: описанные процедуры считают элементы текста. Английское Text nausea здесь служит поясняющим переводом русского названия.

Суть и механизм

Чтобы понять частотный анализ, представим текст как список слов с числом употреблений каждого. В документации библиотеки обработки данных scikit-learn такая модель называется bag of words — «мешок слов». Она сохраняет количества, но отбрасывает расположение отдельных слов. ^[3] Учебный пример: предложения «Анна старше Ивана» и «Иван старше Анны» после объединения падежных форм дают одинаковый список, хотя сообщают противоположное. Числа полезны для поиска повторов, но чтение ими не заменить.

Для классической тошноты Адвего выбирает самое частое слово. Разные падежи учитываются вместе: замена «насос» на «насоса» не устраняет употребление этого слова. ^[1] Это важно для русскоязычных инструкций, где один предмет приходится называть в разных грамматических формах.

Академический расчёт охватывает наиболее частые слова. Адвего исключает из него стоп-слова — в своей справке сервис относит к ним, например, предлоги и союзы. Полной формулы с правилами отбора слов и знаменателем на этой странице нет. ^[2] Поэтому долю одного слова или самостоятельно выбранную сумму частот нельзя без дополнительного основания подписывать «академическая тошнота Адвего».

Виды и классификации

Разделение на классическую и академическую тошноту принадлежит документации Адвего. Для сравнения рядом полезно поставить обычную долю выбранного слова — самостоятельный расчёт, а не третий вид тошноты. ^{[1, 2]}

У Текст.ру есть собственная «заспамленность», связанная с ключевыми словами, и отдельная «водность», учитывающая стоп-слова и другие элементы по правилам этого сервиса. ^[6] Похожее назначение проверок не делает их численные шкалы одинаковыми. Если заказчик прислал процент без названия сервиса, сначала следует уточнить происхождение числа.

Как применяется на практике

Рассмотрим учебную редакторскую ситуацию. Автор готовит инструкцию к насосу. В ней слово «насос» употреблено шестнадцать раз, «фильтр» — девять, остальные слова — не чаще восьми раз каждое. Классический результат по формуле Адвего равен четырём. Редактор удаляет семь лишних употреблений слова «насос»; теперь оба ведущих слова встречаются по девять раз, результат равен трём. Это расчёт на условных частотах, а не отчёт загруженного в сервис документа. ^[1]

Если после этого убрать только одно употребление «насоса», результат останется прежним: у «фильтра» всё ещё девять вхождений. Пример показывает, почему нужно смотреть весь список частот. Уменьшение счётчика прежнего лидера не обязательно уменьшает максимум.

Правку лучше оценивать по конкретным предложениям. В учебном фрагменте «Насос оснащён фильтром. Фильтр насоса нужно промыть» можно написать «Насос оснащён фильтром, который нужно промыть». Повтор исчезает, а связь деталей сохраняется. Но в длинном абзаце с несколькими устройствами местоимение «его» может оставить читателя в сомнении, к какому из них относится действие. Тогда повтор точного названия полезнее красивой цифры.

В международной поисковой практике близкая проблема описана иначе. Google называет keyword stuffing заполнение страницы ключевыми словами ради манипуляции ранжированием; среди примеров — неестественные повторения. ^[4] Для элемента title, задающего название страницы в HTML, Google отдельно рекомендует содержательные краткие формулировки без повторяющихся цепочек ключей. ^[5] Эти рекомендации помогают оценить назначение повторов, но не переводят показатели Адвего в правила Google.

Как измерить или проверить

Для непустого списка учитываемых слов обозначим через nᵢ число употреблений слова i, а через nₘₐₓ — самое большое из этих чисел. Формула классического показателя K записывается так: ^[1]

Знаменателя здесь нет: длина текста в формулу не входит. Учебный расчёт выше даёт квадратный корень из шестнадцати, то есть четыре; после правки — квадратный корень из девяти, то есть три. Если список пуст, сначала нужно определить правила обработки такого ввода; приведённая запись с максимумом рассчитана на непустой список.

Чтобы отдельно описать долю выбранного слова, введём n — число его употреблений, N — общее число слов после согласованной обработки текста. При положительном N обычная процентная доля p равна:

Это учебное определение доли. Пусть в двух текстах ведущему слову соответствуют девять употреблений, а общее количество слов составляет сто и тысячу. Классический показатель в обоих случаях равен трём. Доли составляют соответственно девять процентов и девять десятых процента. Последние значения не являются академической тошнотой: здесь мы задали собственный простой знаменатель.

Для повторной проверки редакции стоит сохранять исходный фрагмент, название сервиса, дату анализа и список частот. Отдельно полезно записать, входят ли в проверку заголовки, подписи и навигация. Если при сравнении версий одна содержит только статью, а другая ещё и меню сайта, изменение числа трудно связать именно с редактурой.

Для академического показателя сохраняют результат самого Адвего. Независимый подсчёт может помочь найти подозрительные повторы, однако совпадение одного результата ещё не доказывает совпадение алгоритмов. ^[2]

Ошибки, ограничения и спорные вопросы

У классической тошноты нет рекомендуемого значения даже в справке Адвего: сервис объясняет это отсутствием связи показателя с объёмом. ^[1] Поэтому одинаковый предел для короткой карточки и длинного руководства скрывает существенную разницу между ними. Учебный пример с двумя длинами показывает эту проблему без предположений о поисковых алгоритмах.

Другая ошибка — объявлять любой повтор спамом. В правилах Google существенны попытка манипулировать результатами поиска и характер употребления ключевых слов; одного счётчика недостаточно для такого вывода. ^[4] Сокращение повторов само по себе также не служит доказательством будущего роста позиций: приведённые документы Google такой зависимости от показателя Адвего не устанавливают. ^{[4, 5]}

Редакторский ориентир — понятное сообщение. Если удалён повтор уже сказанного, объяснение может стать короче. Если вместо точного названия появились неоднозначные синонимы, снижение показателя не решило задачу читателя. Поэтому численный отчёт удобно использовать как указатель мест для просмотра, а решение о правке принимать после чтения.

Частые вопросы

Связанные термины

• vodnost-teksta
• plotnost-klyuchevykh-slov
• perespam
• klyuchevoe-slovo
• kopirayting
• semanticheskoe-yadro