SSYSPE

Platform to share knowledge, news, discussions and jobs about software, systems and IT fields related
* Identificarse    * Registrarse


Nuevo tema Responder al tema  [ 1 mensaje ] 
Autor Mensaje
NotaPublicado: 29 May 2018, 22:20 
Desconectado
Avatar de Usuario

Registrado: 17 Mar 2018, 21:31
Mensajes: 7
Uno de los problemas de las RNN de las que se hable en el anterior post: http://ssyspe.org/viewtopic.php?t=984&p=1315#p1315 es que muchas veces es establecer las relaciones correctas entre los outputs y las entradas realizadas muchos pasos antes. Este problema se debe a que al multiplicar cualquier valor muchas varias veces por cualquier numero numero diferente de 1 genera un efecto de explosion (>1) o desvanesimiento (<1). Por este motivo los pesos de estas redes ante ligeras variaciones generan efectos "caóticos".

Del mismo modo la aplicación de las funciones de activación repetidamente genera un desvanecimiento de la gradiente como se observa en la siguiente imagen:
Imagen

Long Short-Term Memory" (LSTM) es una arquitectura RNN que contiene informacion fuera del flujo normmal de la red neuronal en una celda cerrada. Estas celdas toman decisión sobre que memoriza, cuando permitir "lecturas", "escrituras" o "borrados" basados en una set propio de pesos, los cuales tambien son ajustados durante el entrenamiento del modelo. De esta forma esta celdas son capaces de decidir que memorizar y cuando hacerlo.

Imagen

Fuente:
https://deeplearning4j.org/lstm.html


Adjuntos:
LONG SHORT-TERM MEMORY(LSTM).pdf [387.63 KiB]
Aún no descargado
Arriba
 Perfil  
 
Mostrar mensajes previos:  Ordenar por  
Nuevo tema Responder al tema  [ 1 mensaje ] 


¿Quién está conectado?

Usuarios navegando por este Foro: No hay usuarios registrados visitando el Foro y 1 invitado


No puedes abrir nuevos temas en este Foro
No puedes responder a temas en este Foro
No puedes editar tus mensajes en este Foro
No puedes borrar tus mensajes en este Foro
No puedes enviar adjuntos en este Foro

Buscar: