Сбер: GigaCheck

2024: Представление GigaCheck

Сбер и SberDevices 27 июня 2024 года представили AI-детектор GigaCheck для определения текстов, написанных нейросетью.

GigaCheck позволяет с высокой точностью устанавливать, кем был написан текст — человеком или системой искусственного интеллекта. За последний месяц 6% из 220 000 статей на новостных ресурсах, которые проанализировали наши, написали генеративные нейросети.

Решение отличается высокой точностью и скоростью работы, предоставляется по API и встраивается в любые сторонние приложения.

Ключевая метрика TPR&FPR (True positive rate & False positive rate) = 0,01 – 94,7% означает, что при частоте ложных срабатываний не более 1% точность работы GigaCheck составляет 94,7%. Показатель ближайшего конкурента — не более 85%.

На июнь 2024 года GigaCheck даёт обобщённую оценку авторства. Если в одном тексте использованы как фрагменты, написанные человеком, так и фрагменты, сгенерированные искусственным интеллектом, то определение авторства осуществляется по преобладающему контенту. В ближайшее время GigaCheck сможет также определять, какие именно фрагменты текста сгенерированы LLM. Дмитрий Бородачев, DатаРу Облако: Наше преимущество — мультивендорная модель предоставления облачных услуг

Работу детектора текстов GigaCheck оценят эксперты, занимающиеся проверкой подлинности научных публикаций, диссертаций и дипломов. Владельцы пабликов в соцсетях с помощью детектора смогут быстро обнаруживать созданные генеративными моделями комментарии и посты. Редакторы и все, принимающие работу копирайтеров, также получат эффективный инструмент для её проверки и оценки.

С помощью GigaCheck мы проанализировали 220 000 текстов новостных ресурсов за последний месяц и выявили, что в среднем 6% из них создано LLM, а в некоторых крупных изданиях превышает треть от всего опубликованного контента. До сих пор вероятность создания подобного работающего детектора текстов считалась крайне низкой. Многие эксперты расценивали эту задачу как практически нерешаемую. Для разработки такого сервиса требуются серьёзные ресурсы и большие объёмы данных. Но даже неограниченных ресурсов может оказаться недостаточно. Например, один из признанных лидеров в области разработки систем искусственного интеллекта, компания OpenAI, в начале 2023 года анонсировал свой детектор для англоязычных текстов, но со временем был вынужден закрыть доступ к нему из-за невысокой точности. Тем важнее достижение нашей команды, которой, несмотря на все сложности, удалось разработать собственную эффективную технологию, сказал Сергей Марков, управляющий директор Управления экспериментальных систем машинного обучения SberDevices.

На июнь 2024 года протестировать возможности GigaCheck можно в свободном доступе на сайте и через Telegram-бот.