Latent Semantic Analysis using SVD

Germán Grandas

Conceptos Básicos en NLP

Bag of Words

        
        " The Dog is on the Table"





       [ 12 , 50 , 3 , 30 , 12 , 42 ] 
            
        [ 3 , 12 , 50 , 30 , 3 , 42 ] 



 ...[1]...[0,0,0,1,0]...[0,0,1,0,0]...[1]...[0,1]...

Tf-IDF

Pre-procesamiento del Texto

Eliminación del ruido

"Hay una palabra para el #DebateCaribe y es: MEMORABLE 
efecto bumerang -->  pic.twitter.com/TuBzSL9AJw"
"Hay una palabra para el DebateCaribe y es MEMORABLE 
 efecto bumerang"

Tokenización,Lemanización

o Stemming

 
  "Hay una palabra para el  DebateCaribe y es MEMORABLE efecto bumerang"
["Hay","una", "palabra","para","el", "DebateCaribe", "y", "es","MEMORABLE","efecto", "bumerang"]

Lemanización

 

Went

Go

Stemming

 

Crying

Cry

Truncated SVD

Demo

Latent Semantic Analysis

By Germán Grandas

Latent Semantic Analysis

  • 316