Introducción al Procesamiento del Lenguaje Natural

Germán Grandas

¿Qué es PLN?

¿Cómo se transforma el lenguaje?

Modelo Probabilístico

Bag of Words

        
        " The Dog is on the Table"





       [ 12 , 50 , 3 , 30 , 12 , 42 ] 

            
        [ 3 , 12 , 50 , 30 , 3 , 42 ] 



 ...[1]...[0,0,0,1,0]...[0,0,1,0,0]...[1]...[0,1]...

Pre-procesamiento del Texto

Eliminación del ruido

"Hay una palabra para el #DebateCaribe y es: MEMORABLE 
efecto bumerang -->  pic.twitter.com/TuBzSL9AJw"

"Hay una palabra para el DebateCaribe y es MEMORABLE 
 efecto bumerang"

Tokenización,Lemanización

o Stemming

 
  "Hay una palabra para el  DebateCaribe y es MEMORABLE efecto bumerang"

["Hay","una", "palabra","para","el", "DebateCaribe", "y", "es","MEMORABLE","efecto", "bumerang"]

Lemanización

Went

Go

Stemming

Crying

Cry

Demo

Recursos

https://www.nltk.org/

https://medium.com/greyatom/a-dive-into-natural-language-processing-103ae9b0a588

Gracias!