Backpropagation

Marcelo Finger
Alan Barzilay

Função custo (Loss)

Utilizando um modelo chegamos em uma previsão ŷ, como saber se esta é uma boa previsão?

Text

A função custo é responsável por quantificar o quão distante nossa previsão esta do valor esperado, quanto maior o custo, pior a previsão.

Logo, a otimização de nosso modelo pode ser formulada como uma minimização da função custo.

Uma estratégia comum é caminhar no sentido contrario ao do gradiente para encontrar um mínimo da função custo:

Essa estratégia é conhecida como gradiente descendente

w = w - \alpha \cdot \nabla J

A funcão custo nem sempre é convexa, podemos encontrar um mínimo local ao invés de um mínimo global

O algoritmo de backpropagation pode ser dividido em 3 partes:

Cálculo da loss

passo para frente

passo para trás

Quando propagamos para trás o gradiente do custo, nós nos utilizamos da regra da cadeia para percorrer a rede

\frac{\partial \mathfrak{L}}{\partial x} =\frac{\partial \mathfrak{L}}{\partial h_2}\frac{\partial h_2}{\partial h_1}\frac{\partial h_1}{\partial x}