Автор: 
С 27 ноября по 1 декабря 2023 года пройдёт открытый онлайн-интенсив «GPT Week», на котором создатели YandexGPT поделятся опытом и раскроют детали работы над большими языковыми моделями. В рамках интенсива участники узнают, как использовать большие языковые модели на проде и домашних устройствах и какие особенности есть у предобучения и alignment. Также расскажут, какие вызовы существуют в сборе гигантских датасетов и как запускать большие языковые модели на ограниченных ресурсах. Регистрация открыта до 23 ноября по ссылке.
Программа интенсива
- Введение в большие языковые модели.
- Про претрейн LLM.
- Подготовка данных для обучения претрейна и замер качества больших языковых моделей.
- Alignment.
- Ускорение инференса LLM.
В интенсиве может участвовать любой желающий. Чтобы было комфортно на лекциях и семинарах, хорошо как минимум разбираться в ML, а ещё лучше — в NLP. Записи лекций и семинаров будут доступны всем участникам на время проведения интенсива. После финального тестирования будет выдан сертификат о прохождении интенсива. Участие в интенсиве бесплатное.
