ИИ в модерации: отметка, проверка и решение
ИИ в модерации может помогать искать потенциальные нарушения, но отметка модели и обоснованное решение — разные этапы. Важно знать правило, контекст сообщения и последствия ошибки. Автоматическое скрытие, направление на проверку и подсказка человеку требуют разных оснований.
Начните с правила и полномочий
В вымышленном сообществе запрещены прямые оскорбления участников, повторяющаяся реклама и публикация чужих контактов без соответствующего основания. Это учебное условие, а не объявление нового регламента «Тезиса». Сначала определяют нарушение и доступное действие, затем проверяют инструмент на этих задачах.
NIST AI 600-1 рассматривает, среди прочего, риски ложного содержания и чрезмерного доверия автоматическому результату. Это относится к оценке генеративной части процесса, но не сообщает точность нашего условного классификатора. Следующие пять случаев не являются результатами теста конкретной модели.
Пять сообщений: контекст меняет задачу
| Учебное сообщение | Что ещё известно | Что нужно оценить до решения |
|---|---|---|
| «Расчёт неверен: двадцать из сорока — половина». | Ответ на арифметическую ошибку, без личной оценки. | Критика довода не равна оскорблению. Негативное слово само по себе не устанавливает нарушение. |
| «Ты идиот, поэтому твой план не читаю». | Обращение к конкретному участнику. | Прямое оскорбление относится к заданному правилу; мера и причина должны быть понятны. |
| «В жалобе цитирую: „ты идиот“. Прошу проверить». | Сообщение направлено модератору для разбора. | Упоминание запрещённой фразы не означает такое же действие автора жалобы. Важны назначение и контекст. |
| «Заходите на мою распродажу». | Тот же рекламный текст повторён в нескольких несвязанных темах. | Повторяемость и отношение к теме; одного сообщения может не хватать для оценки всей последовательности. |
| «Вот контакт другого участника: [чужой номер]». | Вместо реального контакта использована учебная метка; основание публикации неизвестно. | Потенциальное раскрытие чужих данных требует быстрого внимания по процедуре, а не уверенной догадки о согласии. |
Таблицу можно прокрутить в сторону.
Цена ошибки зависит от действия
Ложное направление в очередь может тратить время, ложная блокировка — лишать человека участия, а пропущенное раскрытие контакта — оставлять нежелательное сообщение доступным. Это разные последствия. Один процент «точности» без состава случаев и вида действия не описывает качество процесса.
Предложенный для обсуждения вариант: инструмент помечает основание подозрения и передаёт контекст ответственному; для срочных случаев заранее определяют ограниченную меру и порядок пересмотра. Наличие человека в конце не гарантирует качества: у него должны быть время, полномочия и возможность не соглашаться с подсказкой.
Два результата работы системы
Автоматическая отметка
«Возможно оскорбление» задаёт вопрос проверки. Она не должна незаметно превращаться в подтверждённую вину или наказание.
Решение по правилу
Называет конкретное действие, пункт правила, меру и способ пересмотра. Оно должно учитывать контекст, а не только найденное слово.
Что проверять в пилоте
Оба вида ошибок
Какие допустимые сообщения ошибочно помечены и какие нарушения пропущены? Разберите примеры, а не только общий итог.
Контекст
Доступны ли предыдущая реплика, цитата и история повторов? Не приписывайте модели сведения, которых она не получала.
Возможность пересмотра
Кто видит обращение, как исправляется решение и что происходит со скрытым содержимым? Процедура должна существовать фактически.
Изменение условий
После обновления правил, языка или инструмента прежние результаты могут не описывать новые случаи. Нужна повторная проверка существенных изменений.
Упражнение с ответом
Система одинаково ограничила второе и третье сообщения таблицы. Какой пробел виден? Не различены прямое обращение и цитата в жалобе. Это основание пересмотреть обработку контекста и ошибочное действие, а не просто запретить участникам сообщать о нарушениях.
Частые вопросы
Высокая уверенность модели означает подтверждённое нарушение?
Нет. Нужно понимать значение показателя и проверить контекст относительно правила. Уверенность системы не заменяет обоснование решения.
Ручная проверка устраняет все ошибки?
Нет. Человек тоже может ошибаться или механически принимать подсказку. Важны условия работы, доступ к контексту и действительный пересмотр.
Можно оценить модерацию только долей правильных ответов?
Этого мало без состава примеров, ошибок каждого вида и последствий действия. Система, пропускающая редкие серьёзные случаи, может выглядеть успешной по общей доле.