• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Мероприятия

Серия лекций от Yandex Research и научно-учебной лаборатории компании Яндекс

Мероприятие завершено

10 марта Yandex Research и научно-учебная лаборатория компании Яндекс проведут серию мини-лекций в один день.

17:30 

Чем занимается лаборатория компании Яндекс и Yandex Research?

17:40 

Дмитрий Емельяненко, стажер-исследователь лаборатории компании Яндекс ФКН: Рассказ по мотивам статьи BPE-dropout: simple and effective subword regularization

18:10

Антон Синицин, разработчик компании Яндекс: Editable neural networks

18:40 

Андрей Малинин, исследователь лаборатории компании Яндекс: Оценка неопределенности в асторегрессивных моделях

19:10

Валентин Хрульков, исследователь Yandex Research: Гиперболические нейронные сети для классификации изображений

19:40 

Максим Рябинин, исследователь Yandex Research: Learning@home: обучение огромных нейросетей на домашних компьютерах волонтеров

 

Подробнее:

Дмитрий Емельяненко, стажер-исследователь лаборатории компании Яндекс ФКН

"Рассказ по мотивам статьи BPE-dropout: simple and effective subword regularization"

Мы предлагаем внести небольшое изменение в широко используемый алгоритм препроцессинга текста (Byte Pair Encoding), и показываем что оно позволяет улучшить качество машинного перевода в условиях ограниченных данных, а также устойчивость нейросетей к незнакомым словам и словам с опечатками
 

Антон Синицин, разработчик компании Яндекс 

"Editable neural networks"

В настоящее время нейронные сети используются во многих задачах, от классификации изображений, машинного перевода до распознавания лиц и self-driving. Часто, одна ошибка модели может привести к катастрофическим последствиям (финансовые и репутационные потери, смерть и т.д.). Поэтому очень важно уметь быстро исправлять замеченные ошибки. Я расскажу про статью, в которой мы исследовали проблему редактирования нейронных сетей, а именно - как можно эффективно отредактировать модель на семпле с наименьшими потерями качества на других элементах.
 

Андрей Малинин, исследователь лаборатории компании Яндекс

"Оценка неопределенности в асторегрессивных моделях"

Оценка неопределенности важна для обеспечения надежности систем искусственного интеллекта, особенно в приложениях, связанных с высоким риском. Хотя в последнее время в этой области был достигнут значительный прогресс, большинство исследований было сосредоточено на задачах классификации изображений и регрессионных задачах. Целью данной работы является исследование оценки неопределенности для таких структурированных задач, как перевод и распознавание речи, в рамках единой унифицированной и интерпретируемой вероятностной структуры на основе ансамблей. Мы рассматриваем оценку неопределенности как на уровне отдельных слов, так и на уровне полной последовательности, предоставляем интерпретации и применение различных мер неопределенности и обсуждаем проблемы, связанные с их получением. В данной работе также исследуются практические проблемы, связанные с получением оценок неопределенности для авторегрессивных моделей, и приводятся бэйслайны для задач обнаружения ошибок на уровне слов, отбраковки предсказаний на уровне последовательностей и обнаружения внедоменных входных данных на уровне последовательностей при помощи ансамблей авторегрессивнных моделей, обученных на наборах данных WMT'14 англо-французский и WMT'17 англо-немецкий перевод и распознавание речи LibriSpeech.

 

Валентин Хрульков, исследователь Yandex Research

"Гиперболические нейронные сети для классификации изображений"

Одним из наиболее успешных подходов для моделирования иерархических данных является построений их вложении в гиперболическое пространство - пространство с отрицательной кривизной, например, шар Пуанкаре. Мы обсудим каким образом можно применить эти же идеи для обучения нейронных сетей для задач few-shot learning и проанализируем насколько “гиперболичными” являются множества картинок. 

 

Максим Рябинин, стажер-исследователь лаборатории Яндекс ФКН

"Learning@home: обучение огромных нейросетей на домашних компьютерах волонтеров"

За последние год-два набрал популярность простой рецепт получения модели рекордного качества для многих задач deep learning: собрать как можно больше данных из интернета и обучить на них нейросеть с огромным числом параметров (миллионы и даже миллиарды) без существенных изменений алгоритма или архитектуры. Оставим резонный вопрос о полезности таких исследований за рамками разговора и вместо этого оценим их требования с точки зрения ресурсов. Может ли энтузиаст или учёный без доступа к многомиллионным кластерам обучить за разумное время модель, которая даже для обработки одного примера требует 4-8 серверных видеокарт последнего поколения?

В статье, которую я представлю, предлагается способ решения такой задачи: по аналогии с научными симуляциями можно использовать компьютеры сотен и тысяч добровольцев, соединенные через интернет и обладающие сравнительно небольшой мощностью поодиночке. Расскажу об архитектурных и алгоритмических изменениях, потребовавшихся при переходе к volunteer computing из-за ненадёжных разнородных компьютеров и медленного соединения. В конце доклада приведу результаты экспериментов, демонстрирующие преимущества новой схемы над другими актуальными методами распределенного обучения даже при небольшой сетевой задержке.

 

Когда? 10 марта

Где? Покровский бульвар 11, ауд. R401

Количество мест ограничено