Descenso Gradiente

Introdución

Imaxina que temos unha función $f(x)$ e queremos atopar o seu mínimo. Que farías?

Simple non? Só necesitamos resolver a seguinte ecuación:

$f'(x) = 0$

O caso é que atopar a fórmula de $f'$ non sempre é doado xa que adoitan ser extremadamente complicados, especialmente na aprendizaxe profunda onde tratamos funcións complexas. Polo tanto, necesitamos atopar outro método que nos proporcione o mínimo dunha función sen necesidade de atopar a fórmula da derivada $f'$.

Construímos algo de intuición

Supoñamos que temos unha función f coa gráfica correspondente:

Comecemos cun punto aleatorio $x_{0}$. O obxectivo é mover este punto e achegalo cada vez máis a $x*$ de tal xeito que $f'($x*$) = 0$. Polo tanto, o problema pódese dividir en dúas partes:

• En que dirección debemos mover o punto $x$ ? Esquerda ou dereita?

• Canto debemos movelo?

A dirección

Imos construír algo de intuición para responder á primeira pregunta. Bótalle un ollo ao seguinte punto:

Teña en conta que:

• cando o punto $x_{0}$ está á dereita do punto óptimo $x*$ a súa recta tanxente sobe.

• cando o punto $x_{0}$ está á dereita do punto óptimo $x*$ a súa recta tanxente baixa.

A dirección dunha recta vén determinada polo signo da súa pendente:

• Unha liña sube $\implica$ que a pendente $a$ é positiva.

• Unha liña baixa $\implica$ que a pendente $a$ é negativa.

Ten en conta que: \

A pendente da recta tanxente dunha función nun determinado punto $x_{0}$ non é máis que a derivada nese punto $f'(x_{0})$:

$tangent(x*{0}): g(x) = f'(x*{0}).(x-x*{0}) + f(x*{0})$

Entón, como resposta á pregunta "Onde debemos mover $x_{0}$?":

• $f'(x_{0}) < 0$ $\implies$ $x_{0}$ á dereita de $x*$ $\implies$ Necesitamos mover $x_{0}$ á esquerda.

• $f'(x_{0}) > 0$ $\implies$ $x_{0}$ á esquerda de $x*$ $\implies$ Necesitamos mover $x_{0}$ cara á dereita.

Os pasos

Agora para a segunda pregunta, Canto debemos mover $x_{0}$ ?

Bótalle un ollo aos seguintes exemplos:

Podemos concluír que:

• $x_{0}$ está próximo a $x*$ => A pendente da tanxente é pequena => $f'(x_{0})$ é pequena.

• $x_{0}$ está distante de $x*$ => A pendente da tanxente é grande => $f'(x_{0})$ é grande.

Respondendo a ambas as preguntas, chegamos á conclusión de que só o coñecemento da derivada no punto $x_{0}$ pode darnos moita información sobre a dirección e a distancia do punto óptimo $x_{0}$.

Descenso en gradiente

O descenso en gradiente é a formulación das respostas das dúas preguntas anteriores. É un algoritmo iterativo de optimización que aproxima o $x*$ mínimo da función a partir dun punto inicial aleatorio $x_{0}$. O algoritmo explícase como segue:

$x*{n+1} = x*{n} - lr \times \frac{\mathrm{d} f}{\mathrm{d} x\_{n}}$

onde:

• $\frac{\mathrm{d} f}{\mathrm{d} x*{n}}$ non é máis que a derivada de $f$ no punto $x*{n}$.

• $lr$ é unha constante positiva que determina o grandes que van ser os pasos.

Teña en conta que:

• $x_{n}$ está á dereita de $x*$ => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}} > 0$ => $x_{n+ 1} = x_{n} -$ positivo => $x_{n}$ móvese cara á esquerda.

• $x_{n}$ está á esquerda de $x*$ => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}} < 0$ => $x*{n +1} = x*{n} +$ positivo => $x_{n}$ móvese cara á dereita.

• $x_{n}$ preto de $x*$ => $\frac{\mathrm{d} f}{\mathrm{d} x_{n}}$ preto de $0$ => Pequena actualización de $x_{ n}$.

Cuestionario

• Cando deixa de iterar o descenso do gradiente:

• Cando $x_{n}$ é o suficientemente pequeno.

• Cando $x_{n}$ está preto de $x_{0}$ .

• Cando $\frac{\mathrm{d} f}{\mathrm{d} x\_{n}} = 0$. XXX

• Como eliximos $x_{0}$:

• Escollemos ao azar. XXX

• Levámolo no barrio de $x_{n}$.

• Depende do problema.

• Por que necesitamos un descenso en pendiente:

• Porque os ordenadores non son o suficientemente potentes para calcular derivadas.

• Porque é moi difícil atopar as fórmulas derivadas dos modelos de aprendizaxe profunda. XXX

• Porque as funcións teñen máis dun mínimo local.

---

Máster Data Science and AI con Code Labs Academy! Únete ao noso Bootcamp en liña: opcións flexibles a tempo parcial e a tempo completo dispoñibles.