FTIAD RL #1 Intro, BC, CEM

Напоминалка: обучение с учителем

Supervised learning

Имеется выборка:
$D :=\{ (x_i, y_i)\}$
Нужно выучить отображение:
$\hat{y}_i = f(x_i)$
Такое, что:
$\hat{y}_i \approx y_i$

Стандартное предположение:

Правильные ответы $y_i$ известны

$x_i$ - изображение

$y_i$ - метка класса

СОБАКА

КОШКА

Учитель

Процесс принятия решений

Decision Process

Наблюдения:

Изображения с видеокамеры
Данные с датчиков

Действия:

Газ \ тормоз
Поворот руля

Цель:

ехать по маршруту

$s_i$ - изображение

$a_i$ - действие

ДЕЙСТВИЕ 1

ДЕЙСТВИЕ 2

? кто разметит выборку ?

!! действия влияют на наблюдения !!

??

??

Behavior Clonning

Что, если попросить эксперта сказать, какие действия хорошие?

А затем применить обучение с учителем.

На примере self-driving cars (беспилотный автомобиль):

Берем хорошего водителя
Отправляем ездить по маршруту
Записываем видео его траекторий ( $s_i$ )
Сохраняем историю его действий ( $a_i$ )
Обучаем ML модель $\pi$ :
$a_i \approx \pi(s_i)$

DAGGER

Можно просить эксперта возвращать агента на путь истинный.

На примере self-driving cars (беспилотный автомобиль):

Отправляем водителя ездить по маршруту
Записываем его траектории $s_i$ и действия $a_i$
Обучаем ML модель $\pi: a_i \approx \pi(s_i)$
Делаем, пока не удовлетворены:
- Пускаем агента в город, собираем траектории $s_i$
- Просим эксперта дать правильные действия $a_i$ для собранных траекторий $s_i$

Задача Reinforcement Learning

агент

среда

Агент взаимодействует со средой - наблюдает ее состояние $s$
Агент посылает в среду действие $a$
Среда возвращает агенту следующее состояние $s'$ и награду $r$

a

a

s

s

a = \pi(s)

a = \pi(s)

Политика агента:

s', r

s', r

Задача Reinforcement Learning

Мы не знаем, как устроена среда
Агент учится через взаимодействие
Пытается подобрать политику $\pi$ ,
которая максимизирует
накопленную ожидаемую награду:
$R_\pi = \mathbb{E}_{\pi} [ \sum_{t=0}^T r_t ]$

\dots

\dots

s_0

s_0

a_0

a_0

\pi

\pi

s_1^0, r_1^0

s_1^0, r_1^0

s_1^1, r_1^1

s_1^1, r_1^1

a_1^0

a_1^0

a_1^1

a_1^1

\pi

\pi

\pi

\pi

s_2^0, r_2^0

s_2^0, r_2^0

s_2^1, r_2^1

s_2^1, r_2^1

s_2^2, r_2^2

s_2^2, r_2^2

random

Дисконтирование награды

Сравним эти две траектории агента

Какая лучше?

Награда сегодня лучше, чем награда завтра!

Дисконтирование награды - уменьшение значимости наград, которые далеко

R_\pi = \sum_{t=0}^T \gamma^t r_t

R_\pi = \sum_{t=0}^T \gamma^t r_t

где $0 < \gamma < 1$

пусть

$\gamma=0.9$

$r=1$

R = \gamma^1 r = 0.9

R = \gamma^1 r = 0.9

R = \gamma^7 r \approx 0.5

R = \gamma^7 r \approx 0.5

Среды и наблюдения

Пример: робот-пылесос

Нужно ли что-то еще?

Хранение предыдущих наблюдений?

Цель: пропылесосить всю квартиру

Действия $a$ : повороты, скорость вращения колес

Данные лидаров и др. сенсоров
Карта помещения
Локация робота на карте

Какие могут быть наблюдения $s$ у робота?

$p(s_{t+1}|s_t, a_t)$ - динамика переходов в среде (марковская)

Задача Reinforcement Learning

$s \sim \mathcal{S}$ - состояния (дискретные \ непрерывные)

$a \sim \mathcal{A}$ - действия (дискретные \ непрерывные)

$\pi(a|s)$ - политика агента

$p(s_0)$ - распределение над начальными состояниями

$r(s, a)$ - награда за действие $a$ в состоянии $s$

$p(\tau|\pi) = p(s_0) \prod_{t=0}^T \pi(a_t|s_t) p(s_{t+1}|a_t, s_t)$ - политика агента

где $\tau= (s_0, a_0, s_1, a_1, \dots, s_T, a_T)$ - траектория агента

Не знаем!
Узнаём, взаимодействуя со средой

Хотим найти!

Кросс-энтропийный метод

для оптимизации

Пусть есть некоторая функция $f(x): \mathcal{X} \rightarrow \mathbb{R}$

Вообще, мы бы хотели максимизировать по $\pi$
среднюю кумулятивную дисконтированную награду:
$J(\pi) = \mathbb{E}_{p(\tau|\pi)} \sum_{t=0}^T \gamma^t r(s_t, a_t)$

Пока абстрагируемся!

Хотим ее максимизировать по $x$
Но не умеем считать производную $\frac{\partial f}{\partial x}$

Кросс-энтропийный метод

для оптимизации

x_0

x_0

x_1

x_1

Инициализируем
распределение $q^0$

Сэмплим $x_i \sim q^0$

Выбираем M x_i
c наибольшим $f$
- элиты

Подстраиваем $q^1$
под элиты

Повторяем!

Кросс-энтропийный метод

для оптимизации

Чтобы подстроить $q$ под элиты, минимизируем KL-дивергенцию:

$KL(p_{data} || q) = \int p_{data}(x) \log \frac{p_{data}(x)}{q(x)} dx$

$\min_q KL(p_{data} || q) = \min_q \left[ - \mathbb{E}_{x \sim p_{data}} \log q(x) \right]$

На k-й итерации:

$q^{k+1} = \arg \min_q \left[ - \sum_{x \in \mathcal{M}^k} \log q(x) \right]$

где $\mathcal{M}^k$ - элиты, собранные на прошлой итерации

минимизация кросс-энтропии

Кросс-энтропийный метод

для Reinforcement Learning

Будем максимизировать $J(\pi_\theta)$ по параметрам $\theta$ .

Где $\pi_\theta$ - нейронная сеть, параметризующая распределение.

(непрерывные действия)

s

s

Neural Net.

$\mu(s)$

$\sigma(s)$

Например:

(дискретные действия)

s

s

Neural Net.

softmax

$\pi(\cdot|s)$

Кросс-энтропийный метод

для Reinforcement Learning

Алгоритм:

ввод: $\alpha$ - процент сохраняемых элит
инициализируем $\pi_\theta$
повторять
- пускаем $\pi_\theta$ собирать траектории $\mathcal{T}= \{\tau_i\}$
- вычисляем перцентиль $\delta = \text{percentile}(\mathcal{T},p=\alpha)$
- выбираем элиты $\mathcal{M} = \text{filter\_elites}(\mathcal{T}, \delta)$
- частично обучаем $\pi_\theta$ прогнозировать $a_i$ по $s_i$ , где $(a_i, s_i) \in \mathcal{M}$

Обучение с подкреплением #1:

Intro, Behavior Clonning, CEM

Павел Темирчев

FTIAD RL #1 Intro, BC, CEM

More from cydoroga