МЫ, ИРКУТЯНЕ
Сергей ШМИДТ, Langobard
2023-10-23-01-02-54
В словаре В. Даля про словечко «ходор» сказано следующее: «ходить ходором» это «расходиться, ходить козырем, кричать, браниться, хорохориться». И пример Даль такой приводит: «Петух ходором расходился!». Получается, что судьба Михаила Борисовича Ходорковского* была прямо его фамилией обозначена.
МНЕНИЯ И СОМНЕНИЯ
Алексей Макаркин, политолог
2024-11-22-10-35-57
Либерализм хоронят уже не первый век, а он продолжает жить, несмотря ни на какие прогнозы. Почему?

Сбер выпустил новую версию нейросетевой модели ruGPT-3.5 для генерации текстов на русском языке

Автор: По инф. Телеинформа   
20.07.2023 17:40

Сбер открыл доступ к нейросетевой модели генерации текста для русского языка ruGPT-3.5 13B, сообщает пресс-служба банка.

Её дообученная версия лежит в основе сервиса GigaChat. Также банк выложил новую версию модели mGPT 13B – самую большую из семейства многоязычных моделей Сбера, способную генерировать тексты на 61 языке. Обе модели доступны на HuggingFace, и их могут использовать все разработчики (модели опубликованы под открытой лицензией MIT от английского MIT License – лицензия открытого и свободного программного обеспечения, разработанная Массачусетским технологическим институтом).

ruGPT-3.5

Внутри GigaChat находится целый ансамбль моделей – NeONKA (NEural Omnimodal Network with Knowledge-Awareness). Для его создания нужно было выбрать базовую языковую модель, которую потом можно было обучать на инструктивных данных. Russian Generative Pretrained Transformer версии 3.5 с 13 миллиардов параметров (ruGPT-3.5 13B) – новая версия нейросети ruGPT-3 13B.

Это современная модель генерации текста для русского языка на основе доработанной исследователями Сбера архитектуры GPT-3 от OpenAI. Модель ruGPT-3.5 13B содержит 13 миллиардов параметров и умеет продолжать тексты на русском и английском языках, а также на языках программирования. Длина контекста модели составляет 2048 токенов. Она обучена на текстовом корпусе размером около 1 Тб, в который, помимо уже использованной для обучения ruGPT-3 большой коллекции текстовых данных из открытых источников, вошли, например, часть открытого сета с кодом The Stack от коллаборации исследователей BigCode и корпусы новостных текстов. Финальный чекпоинт модели – это базовый претрейн для дальнейших экспериментов.

Модель также доступна на российской платформе ML Space в хабе предобученных моделей и датасетов DataHub. В обучении модели участвовали команды SberDevices и Sber AI при поддержке Института искусственного интеллекта AIRI.

mGPT

Также в открытом доступе опубликована многоязычная модель mGPT 13B под открытой лицензией MIT. Версия mGPT 13B содержит 13 миллиардов параметров и способна продолжать тексты на 61 языке, включая языки стран СНГ и малых народов России. Длина контекста модели составляет 512 токенов. Она была обучена на 600 Гб текстов на разных языках, собранных из очищенных и подготовленных датасетов multilingual C4 и других открытых источников.

Модель может использоваться для генерации текста, решения различных задач в области обработки естественного языка на одном из поддерживаемых языков путём дообучения или в составе ансамблей моделей.

Модель также доступна на российской платформе ML Space в хабе предобученных моделей и датасетов DataHub.

– Сбер как ведущая технологическая компания выступает за открытость технологий и обмен опытом с профессиональным сообществом, ведь любые разработки и исследования имеют ограниченный потенциал в замкнутой среде. Поэтому, мы уверены, что публикация обученных моделей подстегнёт работу российских исследователей и разработчиков, нуждающихся в сверхмощных языковых моделях, создавать на их базе собственные технологические продукты и решения. Пробуйте, экспериментируйте и обязательно делитесь полученными результатами, – говорит старший вице-президент, CTO, руководитель блока «Технологии» Сбербанка Андрей Белевцев.

По инф. Телеинформа

МНОГИХ ЗАИНТЕРЕСОВАЛО:
2024-11-02-01-03-53
Цена на яйца в скором времени может вырасти – об этом россиян накануне предупредили представители торговых точек. Однако власти подорожание отрицают. О том, что влияет на стоимость яиц и чего ждать от цен, abnews.ru рассказал эксперт по ритейлу Михаил Лачугин.
2024-11-02-09-01-06
В России потребители начали чаще покупать товары собственных торговых марок (СТМ). В прошлом году 98,7% россиян брали такую продукцию в сетевых магазинах и супермаркетах, говорится в совместном исследовании «Ромира» и FixPrice. При этом показатель в Санкт-Петербурге и Москве достиг 100%, то есть все опрошенные брали товары СТМ.
2024-11-13-10-04-30
Автоэксперт Владимир Сажин в интервью «Ридусу» прокомментировал возвращение японских «мягких гибридов» на отечественный рынок и предположил, как данный факт отразится на ценах на автомобили.
2024-11-01-08-59-20
РУСАЛ, один из крупнейших в мире производителей алюминия, объявляет о новых кадровых назначениях. Евгений Зенкин, с 2015 года занимавший должность Управляющего директора Публичного Акционерного Общества «РУСАЛ Братский алюминиевый завод» (ПАО «РУСАЛ Братск»), с 18 ноября 2024 года займет должность Директора по связям с государственными органами и специальным проектам РУСАЛа в Иркутской области.
2024-11-14-10-28-05
Рыночная стоимость угля в 2025 году может снизиться еще на 12%. Об этом заявил министр финансов Кемеровской области Игорь Малахов.

 
Навальный новости анализ
ПОСЛЕДНИЕ ПУБЛИКАЦИИ
2024-11-22-10-38-16
Биткоин резко наращивает капитализацию, каждый день демонстрируя все более высокие рекорды своей стоимости. Уже достаточно уверенно называют его цену в $200 тыс. за одну монету к концу следующего года.
2024-11-22-10-35-57
Либерализм хоронят уже не первый век, а он продолжает жить, несмотря ни на какие прогнозы. Почему?
c-
Эксперты сервиса ДомКлик оценили стоимость квартир в домах, где проживали известные иркутские литераторы. Среди них – дома, в которых жили Валентин Распутин, Александр Вампилов и Леонид Мончинский, друг Владимира Высоцкого. Именно на балконе у Леонида Мончинского в 1976 году состоялся импровизированный концерт знаменитого барда.
-bluetooth-
В России заработает новая система бесконтактной оплаты – деньги за покупки можно будет отправлять продавцу по Bluetooth. Как будет работать технология и чем она будет полезна населению, abnews.ru рассказал IT-специалист Максим Трухов.
2024-11-21-01-09-43
Переход к экономике высоких зарплат, похоже, заметно буксует. Выяснилось, что сегодня 55% россиян недовольны своим доходом, несмотря на то, что в текущем году почти 70% компаний повысили зарплаты свои сотрудникам.
2024-11-20-10-30-18
В ноябре цена на говядину для мясоперерабатывающих предприятий достигла максимальных значений — 700 рублей за килограмм. В аналогичный период 2023 года производители продавали говядину по 566 рублей за килограмм, сообщили «Ведомости».
2024-11-20-10-26-38
Копить валюту стало небезопасно. Об этом заявил замминистра финансов Алексей Моисеев. Дело в том, что американские банки и некоторые другие финансовые учреждения уже начали вводить ограничения на прием наличных, включая старые выпускные доллары. Аналогичные меры предпринимаются и в Швейцарии в отношении их валюты.
2024-11-20-10-11-48
Значительно меньше половины наших соотечественников в своем кошельке видят данные ЦБ.
БайкалИНФОРМ - Объявления в Иркутске