Корректура с ИИ: что можно поручить модели и где она меняет смысл

Три ошибки в одной заметке и способ проверить, когда ИИ экономит время, а когда редактору приходится спасать смысл.

Представьте, что в заметке об объезде модель исправила опечатку и заодно пообещала открыть дорогу через три дня. Ведомство такого обещания не давало: сроки ещё могли сдвинуться. Вот правка, которую легко пропустить, если смотреть только на запятые.

Где проходит граница

Корректор чинит опечатки, пунктуацию и грамматику. Решение о том, как перестроить текст или уточнить его смысл, остаётся за редактором. В просьбе «улучши заметку» эти задачи смешиваются. Если нужна только корректура, перечислите, что менять можно, и попросите вынести сомнительные места на отдельную проверку.

Associated Press разрешает использовать ИИ для помощи с грамматикой и орфографией. Перед выпуском журналист AP проверяет и редактирует результат. В правилах Reuters точность и прозрачные исправления тоже остаются обязанностью редакции. Для выпускающего вопрос простой: сколько времени уйдёт на вычитку предложенных правок и сколько из них пригодятся?

Три ошибки в учебной заметке

Мы специально оставили в вымышленной новости три ошибки. Попробуйте сначала найти их сами.

С 14 ноября обьезд будут закрыта на три дня. В ведомстве уточнили что срок могут изменить. «Просим учитывать погоду», — сказал инженер.

Нужны твёрдый знак в «объезд», форма «будет закрыт» и запятая перед «что». После этих исправлений дата, срок и слова инженера остаются прежними. А вариант «движение возобновится через три дня» добавляет обещание, которого в исходнике нет.

Задание, которое можно дать корректору

Проверь орфографию, пунктуацию, согласование и опечатки. Для каждой правки покажи, как было, как должно быть и почему. Сохраняй числа, единицы, даты, имена, цитаты, ссылки, авторство и слова вроде «может» и «предварительно». Если сомневаешься в факте, вынеси фрагмент в список «Проверить по источнику». Не переписывай заметку целиком.

Для английских текстов авторы методики ERRANT сравнивают отдельные исправления с эталоном по месту и содержанию правки. В редакции можно взять тот же принцип. Выпускающий заранее отмечает ошибки и допустимые варианты, а проверяющий разбирает ответ модели по одной правке и убирает дубли. Пропущенные ошибки, лишние замены и вопросы к источникам записывают отдельно.

Полнота — доля известных ошибок, которые модель исправила. Точность — доля верных исправлений среди оценённых правок. Если для одного места модель дала несколько вариантов, возьмите первый. В заметке без ошибок полноту не считают. Если модель не предложила правок, оставьте точность без значения.

Допустим, модель предложила три правки. Две исправили ошибки, а третья поменяла дату. В этом примере полнота и точность одинаковы, по две трети, но в заметке появился неверный факт. Поэтому заранее решите, какие ошибки для вашего выпуска недопустимы, и запишите версию модели и настройки. В набор добавьте пару текстов без ошибок, чтобы увидеть, умеет ли модель оставить их в покое.

Чтобы сравнить время, соберите два набора заметок, похожих по жанру, длине и ошибкам. Пусть одна часть редакторов начинает вручную, другая с ИИ. Затем группы меняют способ работы и получают другой набор. Каждый текст должен пройти оба способа у разных людей, а один редактор видит заметку только раз. Авторы исследования, представленного на конференции EAMT, применяли похожую схему при вычитке машинного перевода, чтобы учесть сложность текста и эффект тренировки.

Останавливайте секундомер, когда редактор закончил сверять исправления, цифры и цитаты. Сравните готовые заметки по одному списку ошибок и допустимых исправлений. Считайте верные правки, пропуски, лишние исправления и искажения фактов. Сырой ответ модели оцените отдельно. Иначе время на разбор её предложений легко потеряется в отчёте.

Для учебного теста возьмите вымышленные заметки или фрагменты, по которым нельзя установить человека. Если сервису нужно передать рабочие материалы с персональными данными, выясните, кому и куда они поступят. Если редакция поручает сервису работу с персональными данными, уточните, какие данные и зачем он получит и как обязан их защищать. Эти требования устанавливает Федеральный закон № 152-ФЗ «О персональных данных». Если данные поступят иностранному получателю на территории другого государства, оператор заранее уведомляет Роскомнадзор. Для этого предусмотрено отдельное уведомление, помимо общего уведомления об обработке. Статьи 3, 6 и 12 закона.

Что остаётся за выпускающим

Попросите модель показывать правки рядом с исходником. В короткой заметке хватит двух колонок, в длинной пригодится номер абзаца. В первую очередь откройте места, где изменились числа, имена, даты, ссылки или слова в кавычках. Изменение внутри цитаты сначала сверяют с записью или расшифровкой. AP также описывает, как проверяет исходные данные и подлинность материалов очевидцев.

Сохраните исходник и принятые правки. Если смена остановилась на фразе «срок могут изменить», рядом можно оставить короткое пояснение: ведомство не подтверждало дату открытия. Следующий редактор увидит, почему здесь нельзя писать увереннее.