Сбер выпустил новую версию нейросетевой модели ruGPT-3.5 для генерации текстов на русском языке

Сбер открыл доступ к нейросетевой модели генерации текста для русского языка ruGPT-3.5 13B, сообщает пресс-служба банка.

Её дообученная версия лежит в основе сервиса GigaChat. Также банк выложил новую версию модели mGPT 13B – самую большую из семейства многоязычных моделей Сбера, способную генерировать тексты на 61 языке. Обе модели доступны на HuggingFace, и их могут использовать все разработчики (модели опубликованы под открытой лицензией MIT от английского MIT License – лицензия открытого и свободного программного обеспечения, разработанная Массачусетским технологическим институтом).

ruGPT-3.5

Внутри GigaChat находится целый ансамбль моделей – NeONKA (NEural Omnimodal Network with Knowledge-Awareness). Для его создания нужно было выбрать базовую языковую модель, которую потом можно было обучать на инструктивных данных. Russian Generative Pretrained Transformer версии 3.5 с 13 миллиардов параметров (ruGPT-3.5 13B) – новая версия нейросети ruGPT-3 13B.

Это современная модель генерации текста для русского языка на основе доработанной исследователями Сбера архитектуры GPT-3 от OpenAI. Модель ruGPT-3.5 13B содержит 13 миллиардов параметров и умеет продолжать тексты на русском и английском языках, а также на языках программирования. Длина контекста модели составляет 2048 токенов. Она обучена на текстовом корпусе размером около 1 Тб, в который, помимо уже использованной для обучения ruGPT-3 большой коллекции текстовых данных из открытых источников, вошли, например, часть открытого сета с кодом The Stack от коллаборации исследователей BigCode и корпусы новостных текстов. Финальный чекпоинт модели – это базовый претрейн для дальнейших экспериментов.

Модель также доступна на российской платформе ML Space в хабе предобученных моделей и датасетов DataHub. В обучении модели участвовали команды SberDevices и Sber AI при поддержке Института искусственного интеллекта AIRI.

mGPT

Также в открытом доступе опубликована многоязычная модель mGPT 13B под открытой лицензией MIT. Версия mGPT 13B содержит 13 миллиардов параметров и способна продолжать тексты на 61 языке, включая языки стран СНГ и малых народов России. Длина контекста модели составляет 512 токенов. Она была обучена на 600 Гб текстов на разных языках, собранных из очищенных и подготовленных датасетов multilingual C4 и других открытых источников.

Модель может использоваться для генерации текста, решения различных задач в области обработки естественного языка на одном из поддерживаемых языков путём дообучения или в составе ансамблей моделей.

Модель также доступна на российской платформе ML Space в хабе предобученных моделей и датасетов DataHub.

– Сбер как ведущая технологическая компания выступает за открытость технологий и обмен опытом с профессиональным сообществом, ведь любые разработки и исследования имеют ограниченный потенциал в замкнутой среде. Поэтому, мы уверены, что публикация обученных моделей подстегнёт работу российских исследователей и разработчиков, нуждающихся в сверхмощных языковых моделях, создавать на их базе собственные технологические продукты и решения. Пробуйте, экспериментируйте и обязательно делитесь полученными результатами, – говорит старший вице-президент, CTO, руководитель блока «Технологии» Сбербанка Андрей Белевцев.

По инф. Телеинформа

Сбер: теперь в якутской студии Idol Face можно «оплатить улыбкой» процедуры красоты

«Оплата улыбкой» позволяет не только быстро и удобно совершать покупки, но и обеспечивает высокую надежность операции, так как безошибочно идентифицирует личность человека, сообщает пресс-служба Сбера.

Сбер планирует инвестировать 1 млрд рублей в обучение ИТ- и ИИ-специалистов

Сбер направит 1 миллиард рублей на поддержку новых образовательных программ проектов «Топ-ИТ» и «Топ-ИИ» по конкурсу грантов Минцифры и аналитического центра при Правительстве РФ. Об этом сообщает пресс-служба компании.

«Помогай-игры» пройдут в Братске

23 августа в Братске пройдут благотворительные командные «Помогай-игры» для корпоративных волонтеров РУСАЛа, где каждый участник сможет посетить развлекательные площадки или принять участие в соревнованиях. К играм также могут присоединиться городские волонтеры.

СберСтрахование продолжает выплачивать компенсации клиентам в связи с корректировкой рейсов «Аэрофлота»

СберСтрахование произвела выплаты всем клиентам, обратившимся в компанию по состоянию на 1 августа в связи с вынужденной корректировкой расписания рейсов авиакомпании «Аэрофлот», сообщает пресс-служба Сбера.

Китайские грузовики попали в опалу в России

Российские власти планируют усилить меры по обеспечению безопасности на дорогах. Случаев ДТП с участием популярных грузовиков Dongfeng, Foton, FAW и Sitrak становится все больше.