Дебют чат-бота с искусственным интеллектом ChatGPT взбудоражил мир своей способностью генерировать текст и разговоры, похожие на человеческие. Тем не менее, согласно исследованию, опубликованному 7 июня в журнале Cell Reports Physical Science, многие характерные признаки могут помочь нам отличить чат-ботов с искусственным интеллектом от людей. Основываясь на этих признаках, исследователи разработали инструмент для идентификации академических научных работ, созданных искусственным интеллектом, с точностью более 99%.

«Мы изо всех сил старались создать доступный метод, чтобы даже старшеклассники без особых указаний могли создать ИИ-детектор для различных типов письма», — говорит первый автор Хизер Дезер, профессор Канзасского университета. «Существует необходимость заняться написанием текстов на основе искусственного интеллекта, и людям не нужна степень в области компьютерных наук, чтобы внести свой вклад в эту область».

«Прямо сейчас существует несколько довольно вопиющих проблем с написанием текстов с использованием искусственного интеллекта», — говорит Дезер. «Одна из самых больших проблем заключается в том, что он собирает текст из множества источников и нет никакой проверки точности — это что-то вроде игры «Две правды и ложь».»

Хотя многие текстовые детекторы с искусственным интеллектом доступны онлайн и работают довольно хорошо, они не были созданы специально для академического письма. Чтобы восполнить этот пробел, команда стремилась создать инструмент с более высокой производительностью именно для этой цели. Они сосредоточились на типе статей под названием «Перспективы», которые содержат обзор конкретных тем исследований, написанных учеными. Команда отобрала 64 точки зрения и создала 128 статей, сгенерированных в ChatGPT, по тем же темам исследований, чтобы обучить модель. Когда они сравнили статьи, то обнаружили показатель написания ИИ — предсказуемость.

В отличие от искусственного интеллекта, у людей более сложная структура абзацев, различающаяся количеством предложений и общим количеством слов в абзаце, а также колеблющейся длиной предложения. Предпочтения в знаках препинания и словарном запасе также выдают себя. Например, ученые тяготеют к таким словам, как «однако», «но» и «хотя», в то время как ChatGPT часто использует «другие» и «исследователи» в письменной форме. Команда подсчитала 20 характеристик модели, на которые следует обратить внимание.

При тестировании модель показала 100%-ную точность при отсеивании статей, сгенерированных искусственным интеллектом, от статей, написанных людьми. Для идентификации отдельных абзацев в статье точность модели составила 92%. Модель исследовательской группы также с большим отрывом превзошла доступный на рынке текстовый детектор с искусственным интеллектом в аналогичных тестах.

Далее команда планирует определить сферу применимости модели. Они хотят протестировать это на более обширных наборах данных и в различных типах академических научных работ. По мере того как чат-боты с искусственным интеллектом развиваются и становятся все более изощренными, исследователи также хотят знать, устоит ли их модель.

«Первое, что люди хотят знать, когда слышат об исследовании, — это «Могу ли я использовать это, чтобы определить, действительно ли мои студенты написали свою работу?» — сказал Дезер. Несмотря на то, что модель отлично справляется с различением между искусственным интеллектом и учеными, Дезер говорит, что она не была разработана для отслеживания студенческих эссе, сгенерированных искусственным интеллектом, для преподавателей. Однако она отмечает, что люди могут легко копировать их методы для построения моделей для своих собственных целей.