О школе
Занятия рассчитаны на аудиторию, знакомую с базовой теорией Deep Learning (нейронные сети, градиенты, оптимизаторы) и NLP (статистические подходы, RNN, токенизация текста).
Курс состоит из 8 лекций, которые включают в себя введение в область, теорию вокруг современных подходов к обучению и применению LLM, а также интеграция их в продукты и общение с бизнесом.
По окончании школы, участники реализуют проект и защищают его перед экспертами компании VK.
Программа
-
1 июля
10:00-10:20 Регистрация участников
Ауд. R306
10:20-10:35 Кто мы такие, о чем курс, и чем займемся
Правила игры, как его закончить и что ждет успешные команды.
Спикер: Андрей Соколов
Ауд. R30610:35-12:05 Введение в языковое моделирование: от N-Gram до GPT-like подходов
Задача языкового моделирования, авторегрессивность, эволюция подходов к решению, метрики. Pre-train & Fine-tuning (перенос на суммаризацию, машинный перевод), Language Models are Few-Shot Learners.
Спикер: Андрей Соколов
Ауд. R30612:05 - 13:35 Transformers and beyond
Как эволюционировали трансформеры, какие сейчас модификации использовались. Вариации механизма внимания, позиционных эмбеддингов, feed-forward блока. Оптимизации обучения (flash-attention, xformers).
Спикер: Егор Спирин
Ауд. R30613:35 - 15:05 Alignment
First stage — sft, second stage — DPO/RLHF, стратегии сбора данных, существующие бенчмарки и подходы к оцениванию.
Спикер: Кирилл Семин
Ауд. R30615:05 - 16:00 Пицца, нетворкинг
Ауд. R306
Практическая часть
Выбор проектов, обсуждение тем проектов и технологий, вопросы по лекциям.
Ауд. R603, R609, R610, R614 -
2 июля
10:00 - 11:30 Масштабирование языковых моделей
Что делать, когда 1 или даже 8 GPU недостаточно. Распределенное обучение, методы параллелизации обучения, шардирование, CPU Offloading, gradient activation, fused kernels.
Спикер: Егор Спирин
Ауд. R30611:30 - 13:00 Low-resource LM: от обучения до инференса
PEFT (LORA, DORA, …), квантизация (gptq, …), kv-caching, paged memory attention (VLLM), p-tune.
Спикер: Кирилл Семин
Ауд. R30613:00 - 14:30 RAG, агенты и другие способы расширить способности LLM
1. RAG, семантические энкодеры и векторный поиск, knowledge maps/graphs
2. CoT, prompt engineering etc
3. LLM Agents: Memory, Planning, ToolingСпикер: Антон Земеров
Ауд. R30614:30 - 15:00 Пицца, нетворкинг
Ауд. R306
Практическая часть
Выбор проектов, тестирование, проверка работ, отбор в проекты участников, информирование.
Ауд.R603, R609, R610, R614 -
3 июля
10:00 - 11:30 Зачем бизнесу LLM и когда нужно учить ее с нуля
Спикер: Иван Самсонов
Ауд. R30611:30 - 14:00 Консультации команд по технологиям и продукту
Ауд. R306
14:00 - 15:00 Пицца, нетворкинг
Ауд. R306
-
4 июля
10:00 - 11:30 Разбор реальных use-case применения LLM в различных стартапах, продуктах
Спикер: Михаил Хаджинов
Ауд. R30611:30 - 14:00 Консультации команд по технологиям и продукту
Ауд. R306
14:00 - 15:00 Пицца, нетворкинг
Ауд. R306
-
5 июля
Защита проектов. Награждение (в офисе VK).
10:00 - 10:30 Регистрация участников. Приветственный кофе
10:30 - 14:30 Защита проектов
14:30 - 15:30 Работа жюри, кофе-брейк для участников
15:30 - 16:00 Награждение победителей
Спикеры
Старший программист NLP ВКонтакте
Руководитель группы прикладных исследований ВКонтакте
Старший программист NLP ВКонтакте
Руководитель команды NLP ВКонтакте
Старший программист NLP ВКонтакте
Менеджер продукта в группе прикладных исследований ВКонтакте
Партнёр школы
Q&A
Летняя школа будет проходить в очном формате в здании НИУ ВШЭ по адресу: Покровский бульвар, 11. Финальная защита проектов пройдет в офисе VK Скайлайт
Участие в нашей школе бесплатное, но количество мест ограничено.
Для студентов 2-4 курсов бакалавриата факультета компьютерных наук НИУ ВШЭ.
Мы с радостью ответим на все ваши вопросы! Пишите нам на nopanasenko@hse.ru.
