Семинар Научно-учебной лаборатории компании Яндекс "Локальные методы распределенной оптимизации"

Дата: 17 апреля 2024 г., 16:30

Докладчик: Безносиков Александр, стажер-исследователь Научно-учебной лаборатории компании Яндекс

Аннотация: Оптимизационные задачи имеют большое количество приложений в современном мире. В то же время наблюдается тенденция, что практические оптимизационные задачи становятся все более вычислительно сложными. Поэтому уже трудно обойтись без параллельных/распределенных вычислений. Их можно организовать, например, разделив обучающую выборку между вычислительными устройствами. При этом эффективность метод напрямую зависит от скорости процесса общения. Более того, в последние годы особую популярность приобрели федеративные распределенные постановки, которые предполагают, что частично или полностью процесс обучения будет проходить не на кластере из видеокарт, а на персональных устройствах пользователей (компьютерах, планшетах, смартфонах). В таком случае вопрос эффективности коммуникации между устройствами встает еще более остро. В рамках доклада будет рассмотрена одна из техник уменьшения коммуникационных затрат для ускорение процесса оптимизации - так называемый, локальный подход. Суть данной техники заключается в использовании большого числа локальных вычислений между раундами общения. Для начала обсудим базовые алгоритмы, например, широко известный FedAvg. Далее перейдем к более продвинутым методам, решающие основные проблемы базового FedAvg (например, метод FedProx или Scaffold). В второй части доклада изучим, как локальная техника себе проявляет в зависимости от похожести данных на вычислительных устройствах.

Местро проведения: Zoom

Идентификатор конференции: 810 3541 4623
Код доступа: 215650