Proceso de Lenguaje Natural

Avatar de Usuario
Dalamar
Site Admin
Mensajes: 8831
Registrado: 09 May 2012 01:38

Proceso de Lenguaje Natural

Mensajepor Dalamar » 21 Sep 2017 05:43

Un gran tema dentro de machine learning, con muchas ramas, realmente apasionante y con mucho interes por parte de la empresa.

Que podemos hacer? Chatbots que nos sirve para automatizar los call centres, analisis de sentimiento (hilo aparte), categorizacion, sumarizacion, preguntas-respuestas, y un largo etc...

En este hilo quiero poner los cenceptos basicos e ir profundizando:

    Word embeddings: Consiste en mapear palabras a vectores numericos, palabras en vectores similares deben de ser semanticamente similares.
      Frecuency based Embedding:
        1. Count Vector
        2. TF-IDF Vector
          TF = Numero de veces que un termino aparece en un documento/numero de terminos en el documento.
          IDF = log(N/n) donde N es el numero de documentos y n es el numero de documentos en los que un termino t ha aparecido.
          Por lo que si una palabra aparece en todos los documentos, probablemente esta palabra no sea relevante a los documentos log(4/4) = 0.
        3. Co-Ocurrence Vector
      Prediction based Embedding:
    Word Mover's Distance (WMD)
    Word2Vec
      CBOW (Continuous Bag of words):
      Model Skip-Gram:
    Doc2Vec

En python vamos a usar los siguientes paquetes: nltk, gensim, FastText

Links interesantes:

Ver: https://worksheets.codalab.org/worksheets/0xd53d03a48ef64b329c16b9baf0f99b0c/
Adjuntos
1606.05250.pdf
(446.14 KiB) Descargado 4 veces
¿Te ha gustado este hilo? Compartelo en las redes sociales para que se sume mas gente a la conversacion!

Avatar de Usuario
Dalamar
Site Admin
Mensajes: 8831
Registrado: 09 May 2012 01:38

Re: Proceso de Lenguaje Natural

Mensajepor Dalamar » 05 Nov 2017 15:32

Un kernel muy interesante para problemas de NLP:

https://www.kaggle.com/abhishek/approaching-almost-any-nlp-problem-on-kaggle

Otro articulo del mismo que sin ser especifico de NLP es muy interesante:

http://blog.kaggle.com/2016/07/21/approaching-almost-any-machine-learning-problem-abhishek-thakur/
¿Te ha gustado este hilo? Compartelo en las redes sociales para que se sume mas gente a la conversacion!


Volver a “Inteligencia Artificial”

cron

Ingresar