Лекция 6:
Градиент по Стратегии
Артём Сорокин | 07 Декабря
Целевая Функция в RL
θ∗=argmaxθEτ∼pθ(τ)[t∑γtrt]
\theta^{*} = \text{argmax}_{\theta} \, \mathbb{E}_{\tau \sim p_{\theta}(\tau)} \biggl[ \sum\limits_t \gamma^{t} r_t \biggr]
Что мы хотим получить при помощи обучения с подкреплением:
where:
- θ - параметры стратегии
- pθ(τ) - вероятностное распределение по траекториям в среде, которые генерирует стратегия πθ
- [∑tγtrt] - кумулятивная дисконтированная награда за эпизод / доход с первого шага.
Целевая Функция в RL
θ∗=argmaxθEτ∼pθ(τ)[t∑γtrt]
\theta^{*} = \text{argmax}_{\theta} \, \mathbb{E}_{\tau \sim p_{\theta}(\tau)} \biggl[ \sum\limits_t \gamma^{t} r_t \biggr]
Задача:
Мы бы хотели найти градиент нашей целевой функции по параметрам стратегии πθ, которая генерирует траектории
r(τ)
\textcolor{blue}{r(\tau)}
J(θ)
\textcolor{red}{J(\theta)}
J(θ)=Eτ∼pθ(τ)[r(τ)]=∫pθ(τ)r(τ)dτ
J(\theta) = \mathbb{E}_{\tau \sim p_{\theta}(\tau)} [ r(\tau) ] = \int p_{\theta}(\tau) r(\tau) d \tau
Целевая функция
кумулятивная награда за траекторию
Градиент по Стретегии
Чтобы максимизировать средний ожидаемый доход:
Найдем:
∇θJ(θ)=∫∇θpθ(τ)r(τ)dτ
\nabla_{\theta} J(\theta) = \int \nabla_{\theta} p_{\theta}(\tau) r(\tau) d \tau
J(θ)=Eτ∼pθ(τ)[r(τ)]=∫pθ(τ)r(τ)dτ
J(\theta) = \mathbb{E}_{\tau \sim p_{\theta}(\tau)} [ r(\tau) ] = \int p_{\theta}(\tau) r(\tau) d \tau
Log-derivative trick:
∇θpθ(τ)=pθ(τ)pθ(τ)∇θpθ(τ)=pθ(τ)∇θlogpθ(τ)
\nabla_{\theta} p_{\theta}(\tau) = p_{\theta}(\tau) \frac{\nabla_{\theta} p_{\theta}(\tau)}{p_{\theta}(\tau)} =
p_{\theta}(\tau) \nabla_{\theta}\,log\,p_{\theta}(\tau)
=∫pθ(τ)∇θlogpθ(τ)r(τ)dτ=Eτ∼pθ(τ)[∇θlogpθ(τ)r(τ)]
= \int \textcolor{blue}{p_{\theta}(\tau) \nabla_{\theta}\,log\,p_{\theta}(\tau)} r(\tau) d \tau =
\mathbb{E}_{\tau \sim p_{\theta}(\tau)} \biggl[ \nabla_{\theta}\,log\,p_{\theta}(\tau) r(\tau) \biggr]
Policy Gradients
Максимизируем средний ожидаемый доход:
Градиент по θ:
pθ(τ)=pθ(s0,a0,...,sT,aT)=p(s0)t=0∏Tπθ(at∣st)p(st+1∣at,st)
p_{\theta}(\tau) = p_{\theta}(s_0, a_0, ..., s_T, a_T) = p(s_0) \prod\limits_{t=0}^T \pi_{\theta}(a_t|s_t) p(s_{t+1}|a_t,s_t)
J(θ)=Eτ∼pθ(τ)[r(τ)]
J(\theta) = \mathbb{E}_{\tau \sim p_{\theta}(\tau)} [ r(\tau) ]
∇θJ(θ)=Eτ∼pθ(τ)[∇θlogpθ(τ)r(τ)]
\nabla_{\theta} J(\theta) =
\mathbb{E}_{\tau \sim p_{\theta}(\tau)} \biggl[ \nabla_{\theta}\,log\,p_{\theta}(\tau) r(\tau) \biggr]
Распишем pθ(τ):
Возьмем логарифм:
logpθ(τ)=logp(s0)+t=0∑T[logπθ(at∣st)+logp(st+1∣at,st)]
log\, p_{\theta}(\tau) = log\, p(s_0) + \sum\limits_{t=0}^T [ log\, \pi_{\theta}(a_t|s_t) + log\, p(s_{t+1}|a_t,s_t) ]
Policy Gradients
J(θ)=Eτ∼pθ(τ)[r(τ)]
J(\theta) = \mathbb{E}_{\tau \sim p_{\theta}(\tau)} [ r(\tau) ]
∇θJ(θ)=Eτ∼pθ(τ)[∇θlogpθ(τ)r(τ)]
\nabla_{\theta} J(\theta) =
\mathbb{E}_{\tau \sim p_{\theta}(\tau)} \biggl[ \nabla_{\theta}\,log\,p_{\theta}(\tau) r(\tau) \biggr]
logp(s0)+t=0∑T[logπθ(at∣st)+logp(st+1∣at,st)]
log\, p(s_0) + \sum\limits_{t=0}^T [ log\, \pi_{\theta}(a_t|s_t) + log\, p(s_{t+1}|a_t,s_t) ]
∇θ[logp(s0)+t=0∑T[logπθ(at∣st)+logp(st+1∣at,st)]]
\textcolor{blue}{\nabla_{\theta}} \biggl[ log\, p(s_0) + \sum\limits_{t=0}^T [ log\, \pi_{\theta}(a_t|s_t) + log\, p(s_{t+1}|a_t,s_t) ] \biggr]
∇θJ(θ)=Eτ∼pθ(τ)[t=0∑T∇θlogπθ(at∣st)r(τ)]
\textcolor{black}{\nabla_{\theta} J(\theta) =
\mathbb{E}_{\tau \sim p_{\theta}(\tau)} \biggl[ \sum\limits_{t=0}^T \nabla_{\theta}\,log\, \pi_{\theta}(a_t|s_t) r(\tau) \biggr]}
Градиент по Стратегии:
Максимизируем средний ожидаемый доход:
Градиент по θ:
Оценка Градиента по Стратегии
Мы не знаем реального значения мат. ожидания здесь:
Как всегда можем оценить его используя сэмплирование:
∇θJ(θ)=Eτ∼pθ(τ)[∇θlogpθ(τ)r(τ)]
\nabla_{\theta} J(\theta) =
\textcolor{red}{\mathbb{E}_{\tau \sim p_{\theta}(\tau)}} \biggl[ \nabla_{\theta}\,log\,p_{\theta}(\tau) r(\tau) \biggr]
∇θJ(θ)≈N1i=1∑N[t=0∑T∇θlogπθ(ai,t∣si,t)r(τi)]
\nabla_{\theta} J(\theta) \approx
\textcolor{blue}{\frac{1}{N} \sum\limits_{i=1}^{N}}
\biggl[ \sum\limits_{t=0}^T \nabla_{\theta}\,log\, \pi_{\theta}(a_{\textcolor{blue}{i},t}|s_{\textcolor{blue}{i},t}) r(\tau_{\textcolor{blue}{i}}) \biggr]
=N1i=1∑N[(t=0∑T∇θlogπθ(ai,t∣si,t))(t=0∑Tri,t)]
=
\textcolor{blue}{\frac{1}{N} \sum\limits_{i=1}^{N}}
\biggl[
\biggl( \sum\limits_{t=0}^T \nabla_{\theta}\,log\, \pi_{\theta}(a_{\textcolor{blue}{i},t}|s_{\textcolor{blue}{i},t}) \biggr)
\biggl( \sum\limits_{t=0}^{T} r_{\textcolor{blue}{i},t} \biggr)
\biggr]
Алгоритм REINFORCE
Оцениваем Градиент по стратегии:
Обновляем параметры стратегии:
θ←θ+α∇θJ(θ)
\theta \leftarrow \theta + \alpha \nabla_{\theta} J(\theta)
∇θJ(θ)≈N1i=1∑N[(t=0∑T∇θlogπθ(ai,t∣si,t))(t=0∑Tri,t)]
\nabla_{\theta} J(\theta) \approx
\textcolor{black}{\frac{1}{N} \sum\limits_{i=1}^{N}}
\biggl[
\biggl( \sum\limits_{t=0}^T \nabla_{\theta}\,log\, \pi_{\theta}(a_{\textcolor{black}{i},t}|s_{\textcolor{black}{i},t}) \biggr)
\biggl( \sum\limits_{t=0}^{T} r_{\textcolor{black}{i},t} \biggr)
\biggr]
Псевдокод:
- Сэмплируем i эпизодов {τi} стратегией πθ
- Оцениваем градиент по стратегии πθ на эпизодах {τi}
- Обновляем параметры стратегии
- Переходим к пункту 1
REINFORCE это on-policy алгоритм
REINFORCE оценивает градиент по стратегии (Policy Gradient):
∇θJ(θ)=Eτ∼pθ(τ)[∇θlogpθ(τ)r(τ)]
\nabla_{\theta} J(\theta) =
\mathbb{E}_{\textcolor{red}{\tau \sim p_{\theta}(\tau)}} \biggl[ \nabla_{\theta}\,log\,p_{\theta}(\tau) r(\tau) \biggr]
Для оценки градиента по параметрам θ нужно собирать сэмплы при помощи πθ!
On-policy алгоритмы:
- После обновления параметров сэмплы собранные со старыми параметрами становятся бесполезны.
- Алгоритмы на основе PG требуют много сэмплов!
Псевдокод:
- Сэмплируем i эпизодов {τi} стратегией πθ
- Оцениваем градиент по стратегии πθ на эпизодах {τi}
- Обновляем параметры стратегии
- Переходим к пункту 1
Основная идея Градиента по Стратегии
Представим, что учим стратегию по экспертным траекториями
при помощи обучения с учителем:
Используем Cross Entropy-loss для каждого перехода (st,at,st+1) в датасете :
H(y,yt)=∣C∣1j∑∣C∣−yjlogyj=−logyat∣C∣1
H(\overline{y}, y_t) = \frac{1}{|C|} \sum\limits^{|C|}_{j} - y_j\,log\,\overline{y}_{j}
= - log\, \overline{y}_{a_t} \textcolor{red}{\frac{1}{|C|}}
0.2
0.7
0.1
πθ(∗∣st)=y=
\pi_{\theta}(*|s_t) = \overline{y} =
1
0
0
y=
y =
Ground Truth из датасета в st:
Стратегия в st:
=−logπθ(at∣st)c
= - log\, \pi_{\theta}(a_t|s_t) \, \textcolor{red}{c}
at
Градиент при клонировании поведения (Behaviour Clonning):
∇θJBC(θ)=Eτ∼D[t=0∑T∇θ−logπθ(at∣st)c]
\nabla_{\theta} J_{BC}(\theta) =
\mathbb{E}_{\textcolor{red}{\tau \sim D}}
\biggl[
\sum\limits_{t=0}^T \nabla_{\theta}\,\textcolor{red}{-} log\, \pi_{\theta}(a_{t}|s_{t})\,\textcolor{red}{c}
\biggr]
Градиент по стратегии:
∇θJ(θ)=Eτ∼pθ(τ)[t=0∑T∇θlogπθ(at∣st)r(τ)]
\nabla_{\theta} J(\theta) =
\mathbb{E}_{\textcolor{blue}{\tau \sim p_{\theta}(\tau)}}
\biggl[
\sum\limits_{t=0}^T \nabla_{\theta}\,log\, \pi_{\theta}(a_{t}|s_{t}) \textcolor{blue}{r(\tau)}
\biggr]
Цель минимизировать JBC(θ)
Цель максимизировать J(θ)
∇θJBC(θ)=Eτ∼D[t=0∑T∇θlogπθ(at∣st)c]
\nabla_{\theta} J_{BC}(\theta) =
\mathbb{E}_{\textcolor{red}{\tau \sim D}}
\biggl[
\sum\limits_{t=0}^T \nabla_{\theta}\, log\, \pi_{\theta}(a_{t}|s_{t})\,\textcolor{red}{c}
\biggr]
Цель максимизировать −JBC(θ)
BC учит модель выбирать теже действия что и эксперт!
PG учит модель выбирать действия ведущие к высоким наградам за эпизод!
Основная идея Градиента по Стратегии
Основная Идея Градиента по Стратегии
Градиент по стратегии:
∇θJ(θ)=Eτ∼pθ(τ)[t=0∑T∇θlogπθ(at∣st)r(τ)]
\nabla_{\theta} J(\theta) =
\mathbb{E}_{\textcolor{blue}{\tau \sim p_{\theta}(\tau)}}
\biggl[
\sum\limits_{t=0}^T \nabla_{\theta}\,log\, \pi_{\theta}(a_{t}|s_{t}) \textcolor{blue}{r(\tau)}
\biggr]
PG учит стратегию выбирать действия ведущие к высокому доходу за эпизод!
Проблемы Градиенты по Стратегии
Проблема: высокая дисперсия!
∇θJ(θ)=Eτ∼pθ(τ)[t=0∑T∇θlogπθ(at∣st)r(τ)]
\nabla_{\theta} J(\theta) =
\mathbb{E}_{\textcolor{blue}{\tau \sim p_{\theta}(\tau)}}
\biggl[
\sum\limits_{t=0}^T \nabla_{\theta}\,log\, \pi_{\theta}(a_{t}|s_{t}) \textcolor{blue}{r(\tau)}
\biggr]
τ
\tau
π(a)
\pi(a)
pθ(τ)
p_{\theta}(\tau)
τ
\tau
r(τ)
\textcolor{red}{r(\tau)}
pθ(τ)
p_{\theta}(\tau)
r(τ)
\textcolor{red}{r(\tau)}
Уменьшаем Дисперсию: Причинность
∇θJ(θ)≈N1i=1∑N[t=0∑T∇θlogπθ(ai,t∣si,t)(t′=0∑Tγt′ri,t′)]
\nabla_{\theta} J(\theta) \approx
\textcolor{black}{\frac{1}{N} \sum\limits_{i=1}^{N}}
\biggl[
\sum\limits_{t=0}^T \nabla_{\theta}\,log\, \pi_{\theta}(a_{i,t}|s_{i,t})
\textcolor{red}{\biggl( \sum\limits_{t'=0}^{T} \gamma^{t'} r_{i,t'} \biggr)}
\biggr]
выглядит подозрительно!
Принцип причинности: действие на шаге t не может повлиять на награду за шаг t′ если t′<t
∇θJ(θ)≈N1i=1∑N[t=0∑T∇θlogπθ(ai,t∣si,t)(t′=0∑Tγt′ri,t′)]
\nabla_{\theta} J(\theta) \approx
\textcolor{black}{\frac{1}{N} \sum\limits_{i=1}^{N}}
\biggl[
\sum\limits_{t=0}^T \nabla_{\theta}\,log\, \pi_{\theta}(a_{i,t}|s_{i,t})
\textcolor{red}{\biggl( \sum\limits_{t'=0}^{T} \gamma^{t'} r_{i,t'} \biggr)}
\biggr]
выглядит подозрительно!
∇θJ(θ)≈N1i=1∑N[t=0∑T∇θlogπθ(ai,t∣si,t)(t′=t∑Tγt′ri,t′)]
\nabla_{\theta} J(\theta) \approx
\textcolor{black}{\frac{1}{N} \sum\limits_{i=1}^{N}}
\biggl[
\sum\limits_{t=0}^T \nabla_{\theta}\,log\, \pi_{\theta}(a_{\textcolor{black}{i},t}|s_{\textcolor{black}{i},t})
\biggl( \textcolor{blue}{\sum\limits_{t'=t}^{T}} \gamma^{t'} r_{i,t'} \biggr)
\biggr]
Последние действия становятся менее значимыми!
∇θJ(θ)≈N1i=1∑N[t=0∑T∇θlogπθ(ai,t∣si,t)(γtt′=t∑Tγt′−tri,t′)]
\nabla_{\theta} J(\theta) \approx
\textcolor{black}{\frac{1}{N} \sum\limits_{i=1}^{N}}
\biggl[
\sum\limits_{t=0}^T \nabla_{\theta}\,log\, \pi_{\theta}(a_{\textcolor{black}{i},t}|s_{\textcolor{black}{i},t})
\biggl(\textcolor{red}{\gamma^t} \textcolor{blue}{\sum\limits_{t'=t}^{T}} \gamma^{\textcolor{blue}{t'-t}} r_{i,t'} \biggr)
\biggr]
∇θJ(θ)≈N1i=1∑N[t=0∑T∇θlogπθ(ai,t∣si,t)(t′=t∑Tγt′−tri,t′)]
\nabla_{\theta} J(\theta) \approx
\textcolor{black}{\frac{1}{N} \sum\limits_{i=1}^{N}}
\biggl[
\sum\limits_{t=0}^T \nabla_{\theta}\,log\, \pi_{\theta}(a_{\textcolor{black}{i},t}|s_{\textcolor{black}{i},t})
\biggl(\textcolor{blue}{\sum\limits_{t'=t}^{T}} \gamma^{\textcolor{blue}{t'-t}} r_{i,t'} \biggr)
\biggr]
Финальная Версия:
Уменьшаем Дисперсию: Причинность
Принцип причинности: действие на шаге t не может повлиять на награду за шаг t′ если t′<t
Улучшаем PG: Бейзлайн
∇θJ(θ)=Eτ∼pθ(τ)[∇θlogpθ(τ)(r(τ)−b)]
\nabla_{\theta} J(\theta) =
\mathbb{E}_{\tau \sim p_{\theta}(\tau)} \biggl[ \nabla_{\theta}\,log\,p_{\theta}(\tau) (r(\tau) \textcolor{blue}{- b}) \biggr]
Обновляем стратегию пропорционально доходу τ(r):
Обновляем стратегию пропорционально тому на сколько τ(r) лучше чем средний доход:
∇θJ(θ)=Eτ∼pθ(τ)[∇θlogpθ(τ)r(τ)]
\nabla_{\theta} J(\theta) =
\mathbb{E}_{\tau \sim p_{\theta}(\tau)} \biggl[ \nabla_{\theta}\,log\,p_{\theta}(\tau) r(\tau) \biggr]
где:
b=Eτ∼pθ(τ)[r(τ)]
b = \mathbb{E}_{\tau \sim p_{\theta}(\tau)} [r(\tau)]
Вычитание бейзлайна дает несмещенную оценку (и часто работает лучше):
E[∇θlogpθ(τ)b]=∫pθ(τ)∇θlogpθ(τ)bdτ=∫b∇θpθ(τ)dτ=
\mathbb{E} [\nabla_{\theta}\,log\,p_{\theta}(\tau) b] =
\int p_{\theta}(\tau)\,\nabla_{\theta}\,log\,p_{\theta}(\tau)\,b\,d\tau =
\int \,b\,\nabla_{\theta}\,p_{\theta}(\tau)\,d\tau =
=b∇θ∫pθ(τ)dτ=b∇θ1=0
= b\,\nabla_{\theta}\,\int \,p_{\theta}(\tau)\,d\tau = b\,\nabla_{\theta}\,1 = 0
Улучшаем PG: Регуляризация энтропией
В методах на основе функций ценности (DQN, Q-learning, SARSA, и тд.) мы использовали ϵ-жданую стратегию, чтобы агент исследовал новые варианты в среде
H(πθ(⋅∣st))=−∑a∈Aπθ(a∣st)logπθ(a∣st)
H(\pi_{\theta} (\cdot | s_t)) = - \sum_{a \in A} \pi_{\theta}(a|s_t)\, log\, \pi_{\theta}(a|s_t)
Регуляризация энтропии стратегии агента:
В методах с явным представлением стратегии агента, можно использовать более гибкий вариант:
Добавление к функции потерь −H(πθ):
- поощряет агента действовать более случайно
- накладывает менее строгие ограничения чем ϵ-жадная стратегия
Алгоритмы Испольнитель-Критик
Финальная версия REINFORCE с "учетом причинности" и бейзлайном:
Вспоминаем Функции ценности:
Qπ(s,a)=Eπ[∑k=0∞γkrt+k+1∣St=s,At=a]
Q_{\pi}(s,a) = \mathbb{E}_{\pi} [\sum^{\infty}_{k=0} \gamma^{k} r_{t+k+1}|S_t=s, A_t=a ]
Что это?
∇θJ(θ)≈N1i=1∑N[t=0∑T∇θlogπθ(ai,t∣si,t)(t′=t∑Tγt′−tri,t′−b)]
\nabla_{\theta} J(\theta) \approx
\textcolor{black}{\frac{1}{N} \sum\limits_{i=1}^{N}}
\biggl[
\sum\limits_{t=0}^T \nabla_{\theta}\,log\, \pi_{\theta}(a_{\textcolor{black}{i},t}|s_{\textcolor{black}{i},t})
\biggl(\textcolor{blue}{\sum\limits_{t'=t}^{T}} \gamma^{\textcolor{blue}{t'-t}} r_{i,t'} \textcolor{green}{- b} \biggr)
\biggr]
Vπ(s)=Eπ[∑k=0∞γkrt+k+1∣St=s]
V_{\pi}(s) = \mathbb{E}_{\pi} [\sum^{\infty}_{k=0} \gamma^{k} r_{t+k+1}|S_t=s]
Оценка Qπθ(si,t,ai,t) по одному сэмплу
Совместим Градиент по стратегии и Функции Ценности!
Вспомним про бейзлайн:
дисперсия меньше чем у оценки по одному сэмплу
∇θJ(θ)≈N1i=1∑N[t=0∑T∇θlogπθ(ai,t∣si,t)(Qπθ(si,t,ai,t)−b)]
\nabla_{\theta} J(\theta) \approx
\textcolor{black}{\frac{1}{N} \sum\limits_{i=1}^{N}}
\biggl[
\sum\limits_{t=0}^T \nabla_{\theta}\,log\, \pi_{\theta}(a_{\textcolor{black}{i},t}|s_{\textcolor{black}{i},t})
\biggl(\textcolor{blue}{Q_{\pi_{\theta}}(s_{i,t}, a_{i,t})} \textcolor{green}{- b} \biggr)
\biggr]
b=Eτ∼πθ[r(τ)]=
b = \mathbb{E}_{\tau \sim \pi_{\theta}} [r(\tau)] =
=Ea∼πθ(a∣s)[Qπθ(s,a)]=
= \mathbb{E}_{a \sim \pi_{\theta}(a|s)} [Q_{\pi_{\theta}}(s,a)] =
=Vπθ(s)
= \textcolor{green}{V_{\pi_{\theta}}(s)}
Тут тоже стоит учесть причинность....
Алгоритмы Испольнитель-Критик
Advantage Actor-Critic: A2C
Функция приемущества / Advantage Function:
апроксимируем это значение при помощи одного сэмпла
∇θJ(θ)≈N1i=1∑N[t=0∑T∇θlogπθ(ai,t∣si,t)(Qπθ(si,t,ai,t)−Vπθ(si,t))]
\nabla_{\theta} J(\theta) \approx
\textcolor{black}{\frac{1}{N} \sum\limits_{i=1}^{N}}
\biggl[
\sum\limits_{t=0}^T \nabla_{\theta}\,log\, \pi_{\theta}(a_{\textcolor{black}{i},t}|s_{\textcolor{black}{i},t})
\biggl(\textcolor{blue}{Q_{\pi_{\theta}}(s_{i,t}, a_{i,t})- V_{\pi_{\theta}}(s_{i,t})} \biggr)
\biggr]
на сколько at лучше чем обычное поведение стратегии
A(a,s)=Qπθ(s,a)−Vπθ(s)
A(a,s) = Q_{\pi_{\theta}}(s, a)- V_{\pi_{\theta}}(s)
∇θJ(θ)≈N1i=1∑N[t=0∑T∇θlogπθ(ai,t∣si,t)(Aπθ(si,t,ai,t))]
\nabla_{\theta} J(\theta) \approx
\textcolor{black}{\frac{1}{N} \sum\limits_{i=1}^{N}}
\biggl[
\sum\limits_{t=0}^T \nabla_{\theta}\,log\, \pi_{\theta}(a_{\textcolor{black}{i},t}|s_{\textcolor{black}{i},t})
\biggl(\textcolor{blue}{A_{\pi_{\theta}}(s_{i,t}, a_{i,t})} \biggr)
\biggr]
Легче учить только одну функцию!
...но можно сделать еще лучше:
A(a,s)=Es′∼p(s′∣a,s)[r(s,a)+Ea′∼πθ(s′∣s′)[Qπθ(a′,s′)]−Vπθ(st)
A(a,s) = \textcolor{black}{\mathbb{E}_{s' \sim p(s'|a,s)}[r(s,a) + E_{a' \sim \pi_{\theta}(s'|s')}[Q_{\pi_{\theta}}(a', s')]} - V_{\pi_{\theta}}(s_t)
=r(s,a)+Es′∼p(s′∣a,s)[Vπθ(s′)]−Vπθ(s)
= r(s,a) + \textcolor{blue}{\mathbb{E}_{s' \sim p(s'|a,s)}[V_{\pi_{\theta}}(s')]} - V_{\pi_{\theta}}(s)
Совместим Градиент по стратегии и Функции Ценности!
Advantage Actor-Critic: A2C
Функция приемущества:
∇θJ(θ)≈N1i=1∑N[t=0∑T∇θlogπθ(ai,t∣si,t)(Aπθ(si,t,ai,t))]
\nabla_{\theta} J(\theta) \approx
\textcolor{black}{\frac{1}{N} \sum\limits_{i=1}^{N}}
\biggl[
\sum\limits_{t=0}^T \nabla_{\theta}\,log\, \pi_{\theta}(a_{\textcolor{black}{i},t}|s_{\textcolor{black}{i},t})
\biggl(\textcolor{blue}{A_{\pi_{\theta}}(s_{i,t}, a_{i,t})} \biggr)
\biggr]
Aπθ(at,st)≈rt+Vπθ(st+1)−Vπθ(st)
A_{\pi_{\theta}}(a_t,s_t) \approx r_t + V_{\pi_{\theta}}(s_{t+1}) - V_{\pi_{\theta}}(s_t)
Выучить V-функцию легче, т.к. она зависит от меньшего числа аргументов
Совместим Градиент по стратегии и Функции Ценности!
на сколько at лучше чем обычное поведение стратегии
A2C: Обучение
-
Policy Improvement шаг:
- Учим испольнителя при помощи градиента по стратегии:
∇θJ(θ)≈N1i=1∑N[t=0∑T∇θlogπθ(ai,t∣si,t)Aπθ(si,t,ai,t)]
\nabla_{\theta} J(\theta) \approx
\textcolor{black}{\frac{1}{N} \sum\limits_{i=1}^{N}}
\biggl[
\sum\limits_{t=0}^T \nabla_{\theta}\,log\, \pi_{\theta}(a_{\textcolor{black}{i},t}|s_{\textcolor{black}{i},t})
A_{\pi_{\theta}}(s_{i,t}, a_{i,t})
\biggr]
-
Policy Evaluation шаг:
- Учим Критика через MSE (по аналогии с DQN)
- Сэмплируем {τ} при помощи πθ(at∣st)
∇ϕL(ϕ)≈N1i=1∑N[t=0∑T∇ϕ∥(rt+γVϕ^(st+1))−Vϕ(st)∥2]
\nabla_{\phi} L(\phi) \approx
\textcolor{black}{\frac{1}{N} \sum\limits_{i=1}^{N}}
\biggl[
\sum\limits_{t=0}^T \nabla_{\phi}\,\lVert(r_t + \gamma V_{\hat{\phi}}(s_{t+1})) - V_{\phi}(s_t)\rVert^2
\biggr]
Policy Iteration напоминалка:
В DQN была Target Network, тут просто не проводим градиенты.
ϕ: свой набор параметров
Детали реализации: Арихтектура A2C
Асинхронный A2C: A3C
Answer: Учим на нескольких средах одновременно!
Не можем использовать Replay Memory, но нам нужно декоррелировать сэмплы
Каждый рабочий:
- Получает параметры модели из единого сервера параметров
- Генерирует траектории
- Считает Градиенты
- Отправляет градиенты обратно в сервер параметров
Взаимодествие с каждой средой и обучение происходит асинхронно
Асинхронный A2C: A3C
Приемущества:
- Работает быстрее (реальное время обучения)
Недостатки:
- Для N асинхронных рабочих нужно хранить N+1 копий параметров модели
- Проблема протухших градиентов
Взаимодествие с каждой средой и обучение происходит асинхронно
Синхронный параллельный A2C
Решение проблем A3C:
- Пусть все среды работают параллельно
- Среды синхронизируются после каждого шага
- Можно выбирать действия используя только одну копию параметров
- Обновляем парметры каждые t шагов в среде/средах
Эту версию обычно называют A2C... снова...
Приемущества:
- Достаточно хранить только один набор параметров
- Стабильнее A3C
- нет протухших градиентов
Недостатки:
- Немного медленнее, чем A3C
- Число взаимодействий со средой в еденицу времени
Синхронный параллельный A2C
Эту версию обычно называют A2C... снова...
A3C/A2C Результаты:
Спасибо за Внимание!
Лекция 6: Градиент по Стратегии Артём Сорокин | 07 Декабря