ЯндексGPT научат распознавать и переводить текст с изображений и аудио

«Яндекс» расширяет возможности своей нейросети YandexGPT, обучая ее распознавать и переводить текст с изображений, аудио и видеофайлов. Для этого компания планирует нанять около десяти AI-тренеров, которые будут обучать нейросеть переводить текст с разных форматов данных. Об этом сообщают «Ведомости».

Тренеры должны обладать отличным знанием английского языка и профессиональными навыками перевода, необходимыми для обучения больших языковых моделей. Их задача — создавать эталонные примеры перевода, оценивать качество перевода и обучать нейросеть распознавать и переводить текст с изображений и видео. При этом речь идет об узкоспециализированных областях, от физики до юриспруденции.

Специалисты отмечают, что основная сложность заключается в том, что для обучения современных моделей переводчик должен произвести не дословный перевод, а собрать семантически близкие виды переводов. Поэтому в большинстве случаев сейчас нейросети делают дословный перевод.

«Яндекс» представил свою нейросеть YandexGPT в мае 2023 года. С тех пор она научилась запоминать контекст беседы и задавать уточняющие вопросы. Затем ее добавили в приложение «Шедеврум» для генерации изображений. В марте 2024 года компания представила третье поколение нейросетей YandexGPT, в том числе модель для бизнеса.

Обучение YandexGPT распознавать и переводить текст с изображений и аудио/видео файлов расширяет ее возможности и делает ее еще более универсальной. Это позволит нейросети использовать в более широком спектре задач, от перевода документов до создания мультимедийных контентов.

Раннее ITinfo сообщало, что «VK Видео» для iPad доступно в App Store.