В НУЛ компании Яндекс прошел семинар "Локальные методы распределенной оптимизации"

17 апреля 2024 года прошел семинар Научно-учебной лаборатории компании Яндекс.

Докладчик: Безносиков Александр, стажер-исследователь Научно-учебной лаборатории компании Яндекс

Безносиков Александр Николаевич,
Научно-учебная лаборатория компании Яндекс: Стажер-исследователь

Оптимизационные задачи имеют большое количество приложений в современном мире. В то же время наблюдается тенденция, что практические оптимизационные задачи становятся все более вычислительно сложными. Поэтому уже трудно обойтись без параллельных/распределенных вычислений. Их можно организовать, например, разделив обучающую выборку между вычислительными устройствами. При этом эффективность метод напрямую зависит от скорости процесса общения. Более того, в последние годы особую популярность приобрели федеративные распределенные постановки, которые предполагают, что частично или полностью процесс обучения будет проходить не на кластере из видеокарт, а на персональных устройствах пользователей (компьютерах, планшетах, смартфонах). В таком случае вопрос эффективности коммуникации между устройствами встает еще более остро. В рамках семинара мы рассмотрели одна из техник уменьшения коммуникационных затрат для ускорение процесса оптимизации - так называемый, локальный подход. Суть данной техники заключается в использовании большого числа локальных вычислений между раундами общения. В начале обсудили базовые алгоритмы, например, широко известный FedAvg. Далее перешли к более продвинутым методам, решающие основные проблемы базового FedAvg (например, метод FedProx или Scaffold). В второй части доклада изучили, как локальная техника себе проявляет в зависимости от похожести данных на вычислительных устройствах.

Материалы представлены ниже

Презентация (PDF, 2,60 Мб)

Запись семинара будет добавлена позже.