Сложности интеграции в бизнесе: что поможет ускорить GPT-трансформацию

Генеративные языковые модели находятся на пике популярности, но только 12 % компаний в России знают, для каких задач будут использоваться нейросети Алексей Долотов, CPO API YandexGPT, пишет о применении масштабных языковых моделей в бизнесе в своей колонке для Forbes Он рассказывает о том, как эффективно применять масштабные языковые модели в бизнесе и о препятствиях на этом пути. По данным консалтинговой компании Gartner, генеративные нейронные сети достигли пика технологического ажиотажа. Пользователи ожидают от этой технологии чуть ли не чудес, и интерес к ГНТС со стороны людей и компаний очень высок: К концу 2023 года количество поисковых запросов в Яндексе, содержащих слова «нейронная сеть», увеличилось в девять раз.

LLM (Large language model) — это сложные нейронные сети, которые сначала обучаются на большом количестве ресурсов, а затем генерируют текст в ответ на сообщения пользователя; LLM хранят эту информацию в параметрах нейронной сети; в работе, опубликованной в 2021 году, исследователи Microsoft Research и Стэнфордского университета показали, что нейронные сети с большим количеством параметров работают более гибко и лучше обучаются.

К середине 2022 года количество параметров LLM на рынке больших языковых моделей растет в геометрической прогрессии за счет повышения их интеллектуальности. Одной из крупнейших таких моделей является нейронная сеть PaLM от Google, первая версия которой имела около 540 миллиардов параметров; более новые LLM, такие как GPT-4, по оценкам, имеют около 1 760 миллиардов параметров, хотя разработчики не раскрывают официальных цифр Никаких официальных цифр не было опубликовано.

Позже выяснилось, что количество параметров не имеет значения. Настоящий прорыв был достигнут благодаря обучению на основе отзывов пользователей и адаптации ИИ (ИИ учат действовать так, чтобы помочь человеку достичь желаемых результатов, с учетом социальных норм, которых необходимо придерживаться). Примеры ответов на подсказки, то есть запросы к нейросети, помогают ИИ лучше понять, чего от него ждут. Свою роль сыграла и техника создания немного отличающихся друг от друга версий модели: ИИ-тренеры сравнивали ответы друг друга и выбирали модель-победительницу. Кроме того, разные версии модели сравнивались между собой, и на нескольких этапах побеждала та версия модели, ответы которой казались тренерам ИИ более благоприятными. Благодаря этим подходам современные нейронные сети, такие как модель GPT, стали более человекоподобными; не случайно LLM отлично прошла знаменитый тест Тьюринга.

Ранее стало известно, что в 2024 году появится новый механизм борьбы с атаками через QR-код. Подробнее об этом читайте в материале IT INFO MEDIA.