Сбер выпустил новую версию нейросетевой модели ruGPT-3.5 для генерации текстов на русском языке

Сбер открыл доступ к нейросетевой модели генерации текста для русского языка ruGPT-3.5 13B, сообщает пресс-служба банка.

Её дообученная версия лежит в основе сервиса GigaChat. Также банк выложил новую версию модели mGPT 13B – самую большую из семейства многоязычных моделей Сбера, способную генерировать тексты на 61 языке. Обе модели доступны на HuggingFace, и их могут использовать все разработчики (модели опубликованы под открытой лицензией MIT от английского MIT License – лицензия открытого и свободного программного обеспечения, разработанная Массачусетским технологическим институтом).

ruGPT-3.5

Внутри GigaChat находится целый ансамбль моделей – NeONKA (NEural Omnimodal Network with Knowledge-Awareness). Для его создания нужно было выбрать базовую языковую модель, которую потом можно было обучать на инструктивных данных. Russian Generative Pretrained Transformer версии 3.5 с 13 миллиардов параметров (ruGPT-3.5 13B) – новая версия нейросети ruGPT-3 13B.

Это современная модель генерации текста для русского языка на основе доработанной исследователями Сбера архитектуры GPT-3 от OpenAI. Модель ruGPT-3.5 13B содержит 13 миллиардов параметров и умеет продолжать тексты на русском и английском языках, а также на языках программирования. Длина контекста модели составляет 2048 токенов. Она обучена на текстовом корпусе размером около 1 Тб, в который, помимо уже использованной для обучения ruGPT-3 большой коллекции текстовых данных из открытых источников, вошли, например, часть открытого сета с кодом The Stack от коллаборации исследователей BigCode и корпусы новостных текстов. Финальный чекпоинт модели – это базовый претрейн для дальнейших экспериментов.

Модель также доступна на российской платформе ML Space в хабе предобученных моделей и датасетов DataHub. В обучении модели участвовали команды SberDevices и Sber AI при поддержке Института искусственного интеллекта AIRI.

mGPT

Также в открытом доступе опубликована многоязычная модель mGPT 13B под открытой лицензией MIT. Версия mGPT 13B содержит 13 миллиардов параметров и способна продолжать тексты на 61 языке, включая языки стран СНГ и малых народов России. Длина контекста модели составляет 512 токенов. Она была обучена на 600 Гб текстов на разных языках, собранных из очищенных и подготовленных датасетов multilingual C4 и других открытых источников.

Модель может использоваться для генерации текста, решения различных задач в области обработки естественного языка на одном из поддерживаемых языков путём дообучения или в составе ансамблей моделей.

Модель также доступна на российской платформе ML Space в хабе предобученных моделей и датасетов DataHub.

– Сбер как ведущая технологическая компания выступает за открытость технологий и обмен опытом с профессиональным сообществом, ведь любые разработки и исследования имеют ограниченный потенциал в замкнутой среде. Поэтому, мы уверены, что публикация обученных моделей подстегнёт работу российских исследователей и разработчиков, нуждающихся в сверхмощных языковых моделях, создавать на их базе собственные технологические продукты и решения. Пробуйте, экспериментируйте и обязательно делитесь полученными результатами, – говорит старший вице-президент, CTO, руководитель блока «Технологии» Сбербанка Андрей Белевцев.

По инф. Телеинформа

Яйца россиянам обходятся все дороже и дороже

Цена на яйца в скором времени может вырасти – об этом россиян накануне предупредили представители торговых точек. Однако власти подорожание отрицают. О том, что влияет на стоимость яиц и чего ждать от цен, abnews.ru рассказал эксперт по ритейлу Михаил Лачугин.

Вдова Юрия Шатунова хочет стать владелицей бренда «Ласковый май»

Вдова солиста группы «Ласковый май» Юрия Шатунова Светлана хочет зарегистрировать одноименный товарный знак.

В ИРНИТУ состоятся дни компании Эн+

29 и 30 октября в Иркутском национальном техническом исследовательском университете энергохолдинг Эн+ организует мероприятие, на котором студенты и школьники смогут ознакомиться с разнообразными сферами деятельности компании.

Волонтёров со всей страны объединил экопроект от Эн+

Энергетико-металлургический холдинг Эн+ (MOEX: ENPG; LSE: ENPL), один из мировых лидеров в производстве низкоуглеродного алюминия и возобновляемой энергии, в 14-й раз организовал волонтёрскую акцию «360». С начала мая более 5 тысяч участников из разных уголков России, от Нижнего Новгорода до Забайкалья, собрали свыше 186 тонн мусора.

В Бурятии обсудили цифровизацию республики на дизайн-сессии Сбера

Байкальский банк в Улан-Удэ провел дизайн-сессию «Цифровой вектор. Новые возможности со Сбером». Об этом сообщает пресс-служба Сбера.