OpenAI не выпустит детектор ChatGPT

Студенты могут дважды подумать, прежде чем использовать ChatGPT для написания целых эссе и исследовательских работ, если OpenAI решит запустить свой античит-инструмент. Однако неясно, произойдет ли это когда-нибудь на самом деле.

OpenAI подтвердила, что работает над инструментом для обнаружения записей в ChatGPT, после отчета от 4 августа Журнал “Уолл СтритПредставитель OpenAI рассказал TechCrunch компания применяет преднамеренный подход к обнаружению текста, написанного ИИ, из-за «связанных с этим сложностей и его вероятного влияния на более широкую экосистему за пределами OpenAI». Эти водяные знаки незаметны для человеческого глаза, но технология обнаружения OpenAI может улавливать их и вычислять оценку вероятности того, что ChatGPT написал весь документ или его часть. Джон Тикстан, исследователь из Стэнфорда в команде, которая разработала подобный ИИ-текст с водяными знаками, отмечает: «Более вероятно, что солнце завтра испарится, чем эта курсовая работа не будет помечена водяным знаком».

OpenAI провела внутренний опрос в апреле 2023 года, который показал, что почти треть респондентов «были бы отвращены» такой функцией и стали бы реже использовать ChatGPT, а 69% считали, что это приведет к ложным обвинениям в использовании ИИ. Другой опрос, проведенный в то же время, показал, что пользователи по всему миру поддержали бы инструменты обнаружения ИИ в соотношении четыре к одному.

Метод текстового водяного знака OepanAI может обнаружить текст, созданный ChatGPT, с вероятностью 99,9%. Генеральный директор OpenAI Сэм Альтман и технический директор Мира Мурати не выпустили функцию, потому что она не полностью эффективна и может навредить бизнесу. Сообщается, что она работает, изменяя процесс выбора токенов ChatGPT, чтобы создать узнаваемый узор, называемый водяным знаком, который вы не заметите, но алгоритм может. Представитель объяснил: «Метод текстового водяного знака, который мы разрабатываем, технически многообещающий, но имеет важные риски, которые мы взвешиваем, пока исследуем альтернативы, включая подверженность обходу со стороны злоумышленников и потенциал непропорционального воздействия на такие группы, как неговорящие по-английски».

Несмотря на свою эффективность, водяные знаки не являются герметично запечатанными и могут быть легко смягчены путем перефразирования с помощью другой модели, перевода текста на другой язык и обратно или удаления символов эмодзи, которые ChatGPT может добавить в текст. Теперь OpenAI утверждает, что ее инструмент устойчив к подделке, такой как перефразирование. Компания подтвердила в сообщении в блоге, что в настоящее время она тестирует использование криптографически подписанных метаданных в тексте, чтобы избежать ложных срабатываний.

OpenAI обеспокоена тем, что может потерять пользователей, если функция обнаружения будет запущена. Ранее компания выпустила инструмент для захвата изображений, созданных с помощью DALL-E 3. Ее конкурент Google тестирует инструмент для нанесения текстовых водяных знаков для Gemini AI, получивший название SynthID. OpenAI даже изучала возможность предоставления инструмента для нанесения водяных знаков педагогам или компаниям, которые помогают школам выявлять плагиатные работы, что могло бы помочь сдержать любые негативные реакции.

Не секрет, что чат-боты вроде ChatGPT можно легко использовать не по назначению, чтобы создать целое эссе из одной подсказки, и преподаватели хорошо осведомлены об этой проблеме. Недавний опрос, проведенный Центром демократии и технологий, показал, что преподаватели испытывают трудности с обнаружением генеративного ИИ, при этом целых 59% учителей средних и старших классов подозреваются в ненадлежащем использовании ИИ для списывания с учебными заданиями. Это на целых 17 пунктов больше, чем в предыдущем учебном году.

OpenAI разрывается между своей приверженностью прозрачности и необходимостью получения дохода, но у него есть моральное обязательство поступать правильно. Отсутствие метода обнаружения у других инструментов ИИ не является оправданием для ChatGPT также не внедрять эту функцию.

Источник: OpenAI, The Wall Street Journal, TechCrunch, The Verge