Tokenizatory online
Zdania testowe
The Laws of the Game were originally codified in England by The Football Association in 1863. Association football is governed internationally by the International Federation of Association Football (FIFA; French: Fédération Internationale de Football Association), which organises World Cups for both men and women every four years.
Północnoangielski Sheffield Football Club założony w 1857 r. spisał w tym samym roku własne reguły, które miały znacząco wpłynąć na rozwój gry. Dopiero w 1908 zorganizowano turniej piłkarski we współczesnym kształcie, tj. z reprezentacjami narodowymi. Początkowo prestiż imprezy był duży, jednak drastycznie zmniejszył się od czasu zainaugurowania mistrzostw świata w piłce nożnej (1930 r.), a potem w latach „olimpijskich” mistrzostw Europy (od 1960 r.).
Źródło: http://www.fifa.com/
Tokenizator nr 1
http://morphadorner.northwestern.edu/wordtokenizer/example/
1
Tokenizer ten jest wart uwagi ze względu na to iż rozpoznaje język, co przekłada się na lepszy podział tekstu w danym języku. Ponadto w swoich podziałach wyznacza wyrazy oraz dzielące je punktory.
Tokenizator nr 1 - test
1
53 words in 2 sentences found.
S#W#TokenType
| 1 | 1 | The | token |
| 1 | 2 | Laws | token |
| 1 | 3 | of | token |
| 1 | 4 | the | token |
| 1 | 5 | Game | token |
| 1 | 6 | were | token |
| 1 | 7 | originally | token |
| 1 | 8 | codified | token |
| 1 | 9 | in | token |
| 1 | 10 | England | token |
| 1 | 11 | by | token |
| 1 | 12 | The | token |
| 1 | 13 | Football | token |
| 1 | 14 | Association | token |
| 1 | 15 | in | token |
| 1 | 16 | 1863. | number |
| 2 | 1 | Association | token |
| 2 | 2 | football | token |
| 2 | 3 | is | token |
| 2 | 4 | governed | token |
| 2 | 5 | internationally | token |
| 2 | 6 | by | token |
| 2 | 7 | the | token |
| 2 | 8 | International | token |
| 2 | 9 | Federation | token |
| 2 | 10 | of | token |
| 2 | 11 | Association | token |
| 2 | 12 | Football | token |
| 2 | 13 | ( | punctuation |
| 2 | 14 | FIFA | token |
| 2 | 15 | ; | punctuation |
| 2 | 16 | French | token |
| 2 | 17 | : | punctuation |
| 2 | 18 | Fédération | token |
| 2 | 19 | Internationale | token |
| 2 | 20 | de | token |
| 2 | 21 | Football | token |
| 2 | 22 | Association | token |
| 2 | 23 | ) | punctuation |
| 2 | 24 | , | punctuation |
| 2 | 25 | which | token |
| 2 | 26 | organises | token |
| 2 | 27 | World | token |
| 2 | 28 | Cups | token |
| 2 | 29 | for | token |
| 2 | 30 | both | token |
| 2 | 31 | men | token |
| 2 | 32 | and | token |
| 2 | 33 | women | token |
| 2 | 34 | every | token |
| 2 | 35 | four | token |
| 2 | 36 | years | token |
| 2 | 37 | . | punctuation |
Tokenizator nr 1 - test
2
84 words in 6 sentences found.
S#W#TokenType
| 1 | 1 | Północnoangielski | token |
| 1 | 2 | Sheffield | token |
| 1 | 3 | Football | token |
| 1 | 4 | Club | token |
| 1 | 5 | założony | token |
| 1 | 6 | w | token |
| 1 | 7 | 1857 | number |
| 1 | 8 | r | token |
| 1 | 9 | . | punctuation |
| 1 | 10 | spisał | token |
| 1 | 11 | w | token |
| 1 | 12 | tym | token |
| 1 | 13 | samym | token |
| 1 | 14 | roku | token |
| 1 | 15 | własne | token |
| 1 | 16 | reguły | token |
| 1 | 17 | , | punctuation |
| 1 | 18 | które | token |
| 1 | 19 | miały | token |
| 1 | 20 | znacząco | token |
| 1 | 21 | wpłynąć | token |
| 1 | 22 | na | token |
| 1 | 23 | rozwój | token |
| 1 | 24 | gry | token |
| 1 | 25 | . | punctuation |
| 2 | 1 | Dopiero | token |
| 2 | 2 | w | token |
| 2 | 3 | 1908 | number |
| 2 | 4 | zorganizowano | token |
| 2 | 5 | turniej | token |
| 2 | 6 | piłkarski | token |
| 2 | 7 | we | token |
| 2 | 8 | współczesnym | token |
| 2 | 9 | kształcie | token |
| 2 | 10 | , | punctuation |
| 2 | 11 | tj | token |
| 2 | 12 | . | punctuation |
| 3 | 1 | z | token |
| 3 | 2 | reprezentacjami | token |
| 3 | 3 | narodowymi | token |
| 3 | 4 | . | punctuation |
| 4 | 1 | Początkowo | token |
| 4 | 2 | prestiż | token |
| 4 | 3 | imprezy | token |
| 4 | 4 | był | token |
| 4 | 5 | duży | token |
| 4 | 6 | , | punctuation |
| 4 | 7 | jednak | token |
| 4 | 8 | drastycznie | token |
| 4 | 9 | zmniejszył | token |
| 4 | 10 | się | token |
| 4 | 11 | od | token |
| 4 | 12 | czasu | token |
| 4 | 13 | zainaugurowania | token |
| 4 | 14 | mistrzostw | token |
| 4 | 15 | świata | token |
| 4 | 16 | w | token |
| 4 | 17 | piłce | token |
| 4 | 18 | nożnej | token |
| 4 | 19 | ( | punctuation |
| 4 | 20 | 1930 | number |
| 4 | 21 | r | token |
| 4 | 22 | . | punctuation |
| 5 | 1 | ) | punctuation |
| 5 | 2 | , | punctuation |
| 5 | 3 | a | token |
| 5 | 4 | potem | token |
| 5 | 5 | w | token |
| 5 | 6 | latach | token |
| 5 | 7 | „ | punctuation |
| 5 | 8 | olimpijskich | token |
| 5 | 9 | ” | punctuation |
| 5 | 10 | mistrzostw | token |
| 5 | 11 | Europy | token |
| 5 | 12 | ( | punctuation |
| 5 | 13 | od | token |
| 5 | 14 | 1960 | number |
| 5 | 15 | r | token |
| 5 | 16 | . | punctuation |
| 5 | 17 | ) | punctuation |
| 5 | 18 | . | punctuation |
| 6 | 1 | Źródło | token |
| 6 | 2 | : | punctuation |
| 6 | 3 | http://www.fifa.com/ | token |
Tokenizator nr 2
http://text-processing.com/demo/tokenize/
2
Tokenizator wyświetla wynik podziału sentencji wg różnych kryteriów, są to:
- TreebankWordTokenizer
- WordPunctTokenizer
- PunctWordTokenizer
- WhitespaceTokenizer
"Pod maską" ma silnik NLTK dla Pythona.
Tokenizator nr 2 - test
1/1
Tokenizator nr 2 - test
1/2
Tokenizator nr 2 - test
1/3
Tokenizator nr 2 - test
1/4
Tokenizator nr 2 - test
2/1
Tokenizator nr 2 - test
2/2
Tokenizator nr 2 - test
2/3
Tokenizator nr 2 - test
2/4
Tokenizator nr 3
http://www.freeformatter.com/string-utilities.html
Jest to uproszczona wersja tokenizatora, przydatna ze względu na to iż użytkownik może ustawić własny string, który będzie stringiem dzielącym. To narzędzie potrafi także zliczać słowa, wyrazy czy też modyfikować string wejściowy.
3
Tokenizator nr 3 - test
1
The
Laws
of
the
Game
were
originally
codified
in
England
by
The
Football
Association
in
1863.
Association
football
is
governed
internationally
by
the
W tym teści użytym splitem jest " "
International
Federation
of
Association
Football
(FIFA;
French:
Fédération
Internationale
de
Football
Association),
which
organises
World
Cups
for
both
men
and
women
every
four
years.
Tokenizator nr 3 - test
2
Północnoangielski Sheffield Football Club założony w 1857 r
spisał w tym samym roku własne reguły, które miały znacząco wpłynąć na rozwój gry
Dopiero w 1908 zorganizowano turniej piłkarski we współczesnym kształcie, tj
z reprezentacjami narodowymi
Początkowo prestiż imprezy był duży, jednak drastycznie zmniejszył się od czasu zainaugurowania mistrzostw świata w piłce nożnej (1930 r
), a potem w latach „olimpijskich” mistrzostw Europy (od 1960 r
)
Źródło: http://www
fifa
com/
W tym teści użytym splitem jest "."
Tokenizatory online
By madjer22
