Докладчик: Сергей Бартунов (ВШЭ) @sbos

Тема доклада: Вариационный вывод в непараметрических и несопряженных байесовских моделях.

Аннотация: Вероятностные модели со скрытыми переменными широко применяются в различных областях машинного обучения и анализа данных: тематическом моделировании, кластерном анализе, глубоких генеративных моделях и т.д. Введение скрытых переменных позволяет существенно увеличить выразительную силу модели, однако требует построения процедуры вывода, то есть, моделирования апостериорного распределения на скрытые переменные при известных значениях наблюдаемых переменных и параметров. Методы вариационного вывода рассматривают задачу вывода как задачу приближения истинного апостериорного распределения другим распределением из заранее определенного семейства, что для каждой конкретной модели, вообще говоря, является отдельной математической задачей. В данном докладе будут рассмотрены алгоритмы вариационного вывода для важных байесовских моделей: модели смеси на основе последовательного метрически-обусловленного процесса китайского ресторана (англ. sequential distance-dependent chinese restaurant process) и непараметрическом байесовском расширении модели Skip-gram на основе процесса Дирихле. Также будет рассмотрена программная библиотека для низкоуровневого вероятностного программирования, позволяющая конструировать сложные вероятностные модели и реализовывать для них вывод с использованием нейросетевых вариационных приближений, которые недавно стали прорывом в связи с возможностью выполнять вывод в традиционного сложном классе несопряженных моделей.