FTIAD RL #1 Intro, BC, CEM

Напоминалка: обучение с учителем

Supervised learning

Имеется выборка:
$D :=\{ (x_i, y_i)\}$
Нужно выучить отображение:
$\hat{y}_i = f(x_i)$
Такое, что:
$\hat{y}_i \approx y_i$

Стандартное предположение:

Правильные ответы $y_i$ известны

$x_i$ - изображение

$y_i$ - метка класса

СОБАКА

КОШКА

Учитель

Процесс принятия решений

Decision Process

Наблюдения:

Изображения с видеокамеры
Данные с датчиков

Действия:

Газ \ тормоз
Поворот руля

Цель:

ехать по маршруту

$s_i$ - изображение

$a_i$ - действие

ДЕЙСТВИЕ 1

ДЕЙСТВИЕ 2

? кто разметит выборку ?

!! действия влияют на наблюдения !!

??

??

Behavior Clonning

Что, если попросить эксперта сказать, какие действия хорошие?

А затем применить обучение с учителем.

На примере self-driving cars (беспилотный автомобиль):

Берем хорошего водителя
Отправляем ездить по маршруту
Записываем видео его траекторий ( $s_i$ )
Сохраняем историю его действий ( $a_i$ )
Обучаем ML модель $\pi$ :
$a_i \approx \pi(s_i)$

DAGGER

Можно просить эксперта возвращать агента на путь истинный.

На примере self-driving cars (беспилотный автомобиль):

Отправляем водителя ездить по маршруту
Записываем его траектории $s_i$ и действия $a_i$
Обучаем ML модель $\pi: a_i \approx \pi(s_i)$
Делаем, пока не удовлетворены:
- Пускаем агента в город, собираем траектории $s_i$
- Просим эксперта дать правильные действия $a_i$ для собранных траекторий $s_i$

Задача Reinforcement Learning

агент

среда

Агент взаимодействует со средой - наблюдает ее состояние $s$
Агент посылает в среду действие $a$
Среда возвращает агенту следующее состояние $s'$ и награду $r$

a

a

s

s

a = \pi(s)

a = \pi(s)

Политика агента:

s', r

s', r

Задача Reinforcement Learning

Мы не знаем, как устроена среда
Агент учится через взаимодействие
Пытается подобрать политику $\pi$ ,
которая максимизирует
накопленную ожидаемую награду:
$R_\pi = \mathbb{E}_{\pi} [ \sum_{t=0}^T r_t ]$

\dots

\dots

s_0

s_0

a_0

a_0

\pi

\pi

s_1^0, r_1^0

s_1^0, r_1^0

s_1^1, r_1^1

s_1^1, r_1^1

a_1^0

a_1^0

a_1^1

a_1^1

\pi

\pi

\pi

\pi

s_2^0, r_2^0

s_2^0, r_2^0

s_2^1, r_2^1

s_2^1, r_2^1

s_2^2, r_2^2

s_2^2, r_2^2

random

Дисконтирование награды

Сравним эти две траектории агента

Какая лучше?

Награда сегодня лучше, чем награда завтра!

Дисконтирование награды - уменьшение значимости наград, которые далеко

R_\pi = \sum_{t=0}^T \gamma^t r_t

R_\pi = \sum_{t=0}^T \gamma^t r_t

где $0 < \gamma < 1$

пусть

$\gamma=0.9$

$r=1$

R = \gamma^1 r = 0.9

R = \gamma^1 r = 0.9

R = \gamma^7 r \approx 0.5

R = \gamma^7 r \approx 0.5

Среды и наблюдения

Пример: робот-пылесос

Нужно ли что-то еще?

Хранение предыдущих наблюдений?

Цель: пропылесосить всю квартиру

Действия $a$ : повороты, скорость вращения колес

Данные лидаров и др. сенсоров
Карта помещения
Локация робота на карте

Какие могут быть наблюдения $s$ у робота?

$p(s_{t+1}|s_t, a_t)$ - динамика переходов в среде (марковская)

Задача Reinforcement Learning

$s \sim \mathcal{S}$ - состояния (дискретные \ непрерывные)

$a \sim \mathcal{A}$ - действия (дискретные \ непрерывные)

$\pi(a|s)$ - политика агента

$p(s_0)$ - распределение над начальными состояниями

$r(s, a)$ - награда за действие $a$ в состоянии $s$

$p(\tau|\pi) = p(s_0) \prod_{t=0}^T \pi(a_t|s_t) p(s_{t+1}|a_t, s_t)$ - политика агента

где $\tau= (s_0, a_0, s_1, a_1, \dots, s_T, a_T)$ - траектория агента

Не знаем!
Узнаём, взаимодействуя со средой

Хотим найти!

Кросс-энтропийный метод

для оптимизации

Пусть есть некоторая функция $f(x): \mathcal{X} \rightarrow \mathbb{R}$

Вообще, мы бы хотели максимизировать по $\pi$
среднюю кумулятивную дисконтированную награду:
$J(\pi) = \mathbb{E}_{p(\tau|\pi)} \sum_{t=0}^T \gamma^t r(s_t, a_t)$

Пока абстрагируемся!

Хотим ее максимизировать по $x$
Но не умеем считать производную $\frac{\partial f}{\partial x}$

Кросс-энтропийный метод

для оптимизации

x_0

x_0

x_1

x_1

Инициализируем
распределение $q^0$

Сэмплим $x_i \sim q^0$

Выбираем M x_i
c наибольшим $f$
- элиты

Подстраиваем $q^1$
под элиты

Повторяем!

Кросс-энтропийный метод

для оптимизации

Чтобы подстроить $q$ под элиты, минимизируем KL-дивергенцию:

$KL(p_{data} || q) = \int p_{data}(x) \log \frac{p_{data}(x)}{q(x)} dx$

$\min_q KL(p_{data} || q) = \min_q \left[ - \mathbb{E}_{x \sim p_{data}} \log q(x) \right]$

На k-й итерации:

$q^{k+1} = \arg \min_q \left[ - \sum_{x \in \mathcal{M}^k} \log q(x) \right]$

где $\mathcal{M}^k$ - элиты, собранные на прошлой итерации

минимизация кросс-энтропии

Кросс-энтропийный метод

для Reinforcement Learning

Будем максимизировать $J(\pi_\theta)$ по параметрам $\theta$ .

Где $\pi_\theta$ - нейронная сеть, параметризующая распределение.

(непрерывные действия)

s

s

Neural Net.

$\mu(s)$

$\sigma(s)$

Например:

(дискретные действия)

s

s

Neural Net.

softmax

$\pi(\cdot|s)$

Кросс-энтропийный метод

для Reinforcement Learning

Алгоритм:

ввод: $\alpha$ - процент сохраняемых элит
инициализируем $\pi_\theta$
повторять
- пускаем $\pi_\theta$ собирать траектории $\mathcal{T}= \{\tau_i\}$
- вычисляем перцентиль $\delta = \text{percentile}(\mathcal{T},p=\alpha)$
- выбираем элиты $\mathcal{M} = \text{filter\_elites}(\mathcal{T}, \delta)$
- частично обучаем $\pi_\theta$ прогнозировать $a_i$ по $s_i$ , где $(a_i, s_i) \in \mathcal{M}$

Обучение с подкреплением #1:

Intro, Behavior Clonning, CEM

Павел Темирчев

Наша команда

Критерии оценивания

Curricula

Напоминалка: обучение с учителем

Supervised learning

Процесс принятия решений

Процесс принятия решений

Процесс принятия решений

Behavior Clonning

Behavior Clonning

DAGGER

DAGGER

DAGGER

Примеры Decision Process

Примеры Decision Process

Примеры Decision Process

Награда за достижение целей

Обучение с подкреплением

Задача Reinforcement Learning

Задача Reinforcement Learning

Как выбрать награду?

Как выбрать награду?

Дисконтирование награды

Среды и наблюдения

Марковское свойство

Markov Decision Process (MDP)

Марковское свойство

Markov Decision Process (MDP)

Пример немарковости

Задача Reinforcement Learning

Кросс-энтропийный метод

Кросс-энтропийный метод

Кросс-энтропийный метод

Кросс-энтропийный метод

Кросс-энтропийный метод

Кросс-энтропийный метод