Сергей Бартунов
(Высшая школа экономики, Google Deepmind)
"Нейросетевые архитектуры с внешней памятью для метаобучения"
Аннотация:
В последние годы в области машинного обучения наблюдается ренессанс нейросетевых архитектур. Нейросети уверенно лидируют в различных задачах сенсорного распознавания, позволяя добиваться весьма высокой точности предсказаний на больших объемах данных. Однако, в этой особенности скрыт и серьезный недостаток большинства современных нейросетей: в отличие от, например, человека, они неспособны эффективно работать с малыми обучающими выборками и весьма склонны к переобучению в подобных ситуациях. В данном докладе будет рассказано об одном из возможных подходов к преодолению этого недостатка путем настройки сети не на конкретную обучающую выборку, а на достаточно широкий класс возможных выборок, а также использования аппарата внешней адресуемой памяти, в которой аккумулируются знания об обучающих примерах. Эффективность предлагаемого подхода демонстрируется на задачах регрессии и классификации

http://raai.org/news/arch_news/2016/07/FIC_IU_RAN_Bartunov.pdf