«Яндекс выложил в открытый доступ YaLM 100B — нейросеть для генерации и обработки текстов на русском и английском языках. Это самая большая GPT-подобная модель, опубликованная в свободном доступе. Теперь ее могут использовать разработчики и исследователи со всего мира», — сказано в распространенном сообщении ТАСС.

Отмечается, что нейросеть содержит 100 млрд параметров и является самой большой из существующих моделей для русского языка. «Это позволяет использовать ее для решения большого круга задач, связанных с обработкой естественного языка. Языковые модели из семейства YaLM определяют принцип построения текста и генерируют новые, опираясь на законы лингвистики и свои знания о мире», — говорится в сообщении.

Так, например, языковые модели способны придумывать, в частности, идеи для рекламных кампаний, создавать описания товаров и видео. С их помощью можно генерировать любые тексты, а также классифицировать их, например, по стилю речи. Представляемую модель специалисты «Яндекса» обучали на суперкомпьютерах компании. В процессе обучения YaLM 100B обработала около 2 ТБ текстов из открытых датасетов и интернета на английском и русском языках. «Модель предоставляется по открытой лицензии Apache 2.0 и доступна на GitHub», — добавили в компании.

По словам генерального директора «Яндекс. Технологий» Петра Попова, для обучения «такой большой» языковой модели требуются огромные ресурсы, опытные специалисты и годы работы. «А нам важно, чтобы доступ к современным технологиям был не только у крупнейших IT-компаний, а у всего сообщества исследователей и разработчиков. Выкладывая YaLM 100B в открытый доступ, мы рассчитываем, что это даст толчок развитию генеративных нейросетей», — отметил он.

«Яндекс» уже использует нейросети YaLM более чем в 20 проектах, в том числе в «Яндекс. Поиске», голосовом помощнике «Алисе», они также помогают сотрудникам службы поддержки отвечать на обращения, генерируют рекламные объявления и описания сайтов.