В НУЛ компании Яндекс прошел семинар "Распределённая система для работы с большими языковыми моделями"

17 мая прошел семинар Научно-учебной лаборатории компании Яндекс.

Докладчик: Борзунов Александр, стажер-исследователь Научно-учебной лаборатории компании Яндекс

Борзунов Александр Александрович,
Научно-учебная лаборатория компании Яндекс: Стажер-исследователь

Многие задачи по обработке текстов могут быть решены с помощью больших языковых моделей — нейросетей, которые часто имеют более 100 млрд параметров. В последнее время несколько таких моделей были опубликованы в открытом доступе. Тем не менее, они всё ещё остаются недоступными для многих исследователей, так как запуск таких моделей требует дорогостоящего оборудования.

На семинаре мы обсудили, как использовать большие модели, если у вас нет собственного кластера из дорогих видеокарт. Среди прочего, рассказали про Petals — децентрализованную систему, позволяющую исследователям на разных концах планеты объединить их вычислительные ресурсы для запуска больших моделей и решения различных задач с их помощью.

Запись семинара представлена ниже.