Tokenizacja jest procesem w wyniku którego z podanego ciągu tekstowego (zdania/zdań) powstają podzielone kawałki tego tekstu. Te kawałki tekstu nazywają się: tokeny. Program, który wykonuje tokenizacje nazywamy tokenizatorem.

Tokeny mogą być dzielone w tekście m.in.:

• białymi znakami (np.: spacja)
• znakami interpunkcyjnymi
• tagami (znacznikami)

Ei mutat utamur explicari quo. Duo at quem scripta, pertinax indoctum mel an, est ne duis populo appareat

Sentencja

Tokenizacja

Ei mutat utamur explicari quo. Duo at quem scripta, pertinax indoctum mel an, est ne duis populo appareat

Sentencja

Tokenizacja

Problemem dla wielu tokenizatorów jest rozpoznawanie adresów URL różnych protokołów, niektóre potrafią wydzielić adres. Problemem jednak jest jednak rozpoznanie adresu w protokole.

Patterns

Tokenizer

https://www.wmi.amu.edu.pl/pl/kontakt

ftp://www.wmi.amu.edu.pl/

Tokenizatory mają też problemy z nazwami własnymi, są to m.in.: nazwiska, nazwy obiektów czy też nazwy geograficzne. Rozwiązaniem jest wprowadzenie bazy wiedz nazw własnych w konkretny językum (większość dostępnych jest po angielsku).

Patterns

Tokenizer

Jan Nowak-Jeziorański

Most św. Rocha

Zielona Góra

Kolejnym źródłem kłopotów stają się miary takie jak: waluty, jednostki wagi, odległośći pojemności, procenty itp. Unikatowe jednostki miar ("m", "kg", "l") powinny być z zasady rozpoznawane wszędzie, jednak tak nie jest. Poza tym problemem staje się też liczba rzeczywista, a znak "%", który piszę się bez spacji, jest także dzielony przez tokenizer.

Patterns

Tokenizer

10 zł

1,5 m

10 kg

2 l

100%

Tytuły, stopnie zawodowe czy też naukowe, a także różne inne skróty, chociażby znak "." używanych w datach; potrafią być kłopotliwe. Najwięcej problemów budzi jednak znak spacji, który czasami powinien być splitem, a czasami nie.

Patterns

Tokenizer

dr Who

inż. Kowalski

lata 80. XX wieku

2000r.

/<p\b[^>]*>(.*?)<\/p>

Wzorzec na przykładzie znacznika <p> języka HTML

Przykład użycia

/^<([a-z]+)([^<]+)*(?:>(.*)<\/\1>|\s+\/>)$

Wzorzec dowolnego znacznika HTML

/^([a-z0-9_\.-]+)@([\da-z\.-]+)\.([a-z\.]{2,6})$/

Wzorzec

Przykłady użycia

/^([a-z0-9_\.-]+)@([\da-z\.-]+)\.([a-z\.]{2,6})$/

Wzorzec

Przykłady użycia

/^[0-9]{2}-[0-9]{3}$

Wzorzec

Przykłady użycia

The Laws of the Game were originally codified in England by The Football Association in 1863. Association football is governed internationally by the International Federation of Association Football (FIFA; French: Fédération Internationale de Football Association), which organises World Cups for both men and women every four years.

http://morphadorner.northwestern.edu/wordtokenizer/example/

1

Tokenizer ten jest wart uwagi ze względu na to iż rozpoznaje język, co przekłada się na lepszy podział tekstu w danym języku. Ponadto w swoich podziałach wyznacza wyrazy oraz dzielące je punktory. 

http://text-processing.com/demo/tokenize/

2

Reguła, która zapobiega łamaniu zdania po kropce poprzedzonej regexem (jak w kodzie)

  <languagerules>
   <languagerule languagerulename="default">
    <rule break="no">
     <beforebreak>([A-Z]\.){2,}</beforebreak>
     <afterbreak>\s</afterbreak>
    </rule>
    <rule break="yes">
     <beforebreak>\.</beforebreak>
     <afterbreak>\s</afterbreak>
    </rule>
   </languagerule>
  </languagerules>

Zdanie testowe

I'm in the U.K. for now. But I plan to move to Papua New Guinea.

Po segmentacji

[I'm in the U.K. for now.]
[ But I plan to move to Papua New Guinea.]

[I'm in the U.K.]
[ for now.]
[ But I plan to move to Papua New Guinea.]

Bez pierwszej reguły