Autoencoders

Avatar de Usuario
Dalamar
Site Admin
Mensajes: 8920
Registrado: 09 May 2012 01:38

Autoencoders

Mensajepor Dalamar » 27 Jun 2017 07:10

Un autoencoder es una red neuronal que tiene las entradas igual a las salidas, intenta aprender una funcion que como resultado es si misma, pero limitando el numero de neuronas en las capas ocultas, por lo que aprende una aproximacion de la funcion identidad, reduce la informacion necesaria para replicar/identificar las entradas.

Limitando el numero de neuronas en la capa(s) oculta(s) descubrimos la estructura de los datos de forma no supervisada.

Tambien podemos tener muchas neuronas en la capa oculta pero limitar la dispersion, esto tambien nos permite aprender sobre la estructura.

Los autoencoders tienen ciertas similitudes con los procesos de PCA, es decir de reduccion de dimensiones, la gran ventaja de los autoencoders con respecto a PCA es que no estan limitados a funciones lineales y hacen un buen trabajo reduciendo dimensiones en casos no lineales.

Tipos de Autoencoders:
- Denoising autoencoder
- Sparse autoencoder
- Variational autoencoder (VAE)
- Contractive autoencoder (CAE)

Unos links:

Ver: https://medium.com/@ManishChablani/autoencoders-introduction-and-implementation-3f40483b0a85
Ver: https://medium.com/synaptech/autoencoders-what-are-they-good-for-48bd21a49dc7

Variational Autoencoders:
Ver: https://medium.com/@nishantnikhil/variational-auto-encoder-peeking-the-code-377c6cae1551
Ver: https://github.com/y0ast/Variational-Autoencoder
Adjuntos
1312.6114.pdf
(3.74 MiB) Descargado 11 veces
¿Te ha gustado este hilo? Compartelo en las redes sociales para que se sume mas gente a la conversacion!

Avatar de Usuario
Dalamar
Site Admin
Mensajes: 8920
Registrado: 09 May 2012 01:38

Re: Autoencoders

Mensajepor Dalamar » 29 Jun 2017 06:54

Autoencoders aplicados a grafos, una implementacion de su propio paper:

Graph Auto-Encoders (https://arxiv.org/pdf/1611.07308.pdf)

Ver: https://github.com/tkipf/gae

Para comprender el anterior es necesario saber:

Graph Convolutional Networks (http://arxiv.org/abs/1609.02907)

Ver: http://tkipf.github.io/graph-convolutional-networks/
Ver: https://github.com/tkipf/gcn
Adjuntos
1611.07308.pdf
(526.94 KiB) Descargado 7 veces
¿Te ha gustado este hilo? Compartelo en las redes sociales para que se sume mas gente a la conversacion!

Avatar de Usuario
Dalamar
Site Admin
Mensajes: 8920
Registrado: 09 May 2012 01:38

Re: Autoencoders

Mensajepor Dalamar » 29 Jun 2017 18:18

Podemos usar autoencoders con texto?

Ver: https://github.com/erickrf/autoencoder basado en https://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf

Otro uso es para traduccion, usamos un autoencoder para reducir el texto en un idioma y otro decoder para otro idioma.

Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation

Ver: https://arxiv.org/pdf/1406.1078.pdf

Podemos usar autoencoders con LSTM en time series, como por ejemplo datos de mercado intradia?
Adjuntos
1406.1078.pdf
(1.09 MiB) Descargado 6 veces
5346-sequence-to-sequence-learning-with-neural-networks.pdf
(139.6 KiB) Descargado 6 veces
¿Te ha gustado este hilo? Compartelo en las redes sociales para que se sume mas gente a la conversacion!


Volver a “Inteligencia Artificial”

cron

Ingresar