dr Bogna Zacny

Katedra Inżynierii Wiedzy

Wydział Informatyki i Komunikacji

Czy komputer potrafi czytać?

Agenda

Python
- obiekty
- operacje
Analiza tekstu
- Przygotowanie tekstu
- Istotność słów

Python

Język programowania wysokiego poziomu, ogólnego przeznaczania

Charakteryzuje się przejrzystością i zwięzłością

Skrypty nie są kompilowane tylko interpretowane przez dedykowany interpreter

Typy danych

Atomowe

Kolekcje

Typy danych

Atomowe

Typy danych

Atomowe

tekstowe

a = 'p'
b = '1'
c = '.'

Typy danych

Atomowe

tekstowe

a = 'p'
b = '1'
c = '.'

liczbowe

a = 123
b = 12.3
c = 0.8721

Typy danych

Kolekcje

Typy danych

Kolekcje

lista =>[ ]

a = ['mój', 'samochód', 'mój', 'wybór']
b = ['Meritum', 'ZSTiO', 2019]
c = [1, 1, 2, 3, 4.5, 1201, 1]

Typy danych

Kolekcje

lista =>[ ]

a = ['mój', 'samochód', 'mój', 'wybór']
b = ['Meritum', 'ZSTiO', 2019]
c = [1, 1, 2, 3, 4.5, 1201, 1]

d = 'Meritum'

Typy danych

Kolekcje

lista =>[ ]

a = ['mój', 'samochód', 'mój', 'wybór']
b = ['Meritum', 'ZSTiO', 2019]
c = [1, 1, 2, 3, 4.5, 1201, 1]

zbiór =>{ }

a = {'samochód', 'mój', 'wybór'}
b = {'Meritum', 'ZSTiO', 2019}
c = {1, 2, 3, 4.5, 1201}

Typy danych

Kolekcje

lista =>[ ]

a = ['mój', 'samochód', 'mój', 'wybór']
b = ['Meritum', 'ZSTiO', 2019]
c = [1, 1, 2, 3, 4.5, 1201, 1]

zbiór =>{ }

a = {'samochód', 'mój', 'wybór'}
b = {'Meritum', 'ZSTiO', 2019}
c = {1, 2, 3, 4.5, 1201}

słowik =>{:}

a = {'imię': 'Jan', 'nazwisko': 'Nowak', 'wiek': 23}
b = {'dok1': ['mój', 'samochód', 'mój', 'wybór'],
     'dok2': ['mocna', 'herbata', 'na', 'nastrój']}

dok1 = {'mój': 2, 'samochód': 1, 'wybór': 1}

Iteracja

Pętla iteracyjna

Pętla repetycyjna

for

while

Iteracja

for

for i in range(5):
    print(i)

Pętla iteracyjna

Iteracja

for

for i in range(5):
    print(i)

Pętla iteracyjna

Iteracja

for

for i in [11, 22, 33]:
    print(i)

Pętla iteracyjna

11
22
33

Iteracja

for

for i in 'ABC':
    print(i)

Pętla iteracyjna

A
B
C

Iteracja

for

Pętla iteracyjna

lista = [0,0,0,0,0,0,0,0,0,0]

for i in range(10):
    lista[i] = i

print(lista)

Iteracja

for

Pętla iteracyjna

lista = [0,0,0,0,0,0,0,0,0,0]

for i in range(10):
    lista[i] = i

print(lista)

[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

Iteracja

Pętla iteracyjna - tworzenie kolekcji

Iteracja

Pętla iteracyjna - tworzenie kolekcji

lista = [0,0,0,0,0,0,0,0,0,0]

for i in range(10):
    lista[i] = i

print(lista)

[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

Iteracja

lista = [i for i in range(10)]
print(lista)

Pętla iteracyjna - tworzenie kolekcji

lista = [0,0,0,0,0,0,0,0,0,0]

for i in range(10):
    lista[i] = i

print(lista)

[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

Iteracja

lista = [i for i in range(10)]
print(lista)

Pętla iteracyjna - tworzenie kolekcji

{0: 100, 1: 101, 2: 102, 3: 103, 4: 104,
 5: 105, 6: 106, 7: 107, 8: 108, 9: 109}

słownik = {i: i + 100 for i in range(10)}
print(słownik)

Instrukcja warunkowa

if

if x > 0:
    print('Liczba jest dodatnia')

Instrukcja warunkowa

if

if x > 0:
    print('Liczba jest dodatnia')

if else

if x > 0:
    print('Liczba jest dodatnia')
else:
    print('Liczba jest ujemna')

Instrukcja warunkowa

if

if x > 0:
    print('Liczba jest dodatnia')

if else

if x > 0:
    print('Liczba jest dodatnia')
else:
    print('Liczba jest ujemna')

if elif else

if x > 0:
    print('Liczba jest dodatnia')
elif x == 0:
    print('Zero')
else:
    print('Liczba jest ujemna')

Analiza tekstu

półautomatyczny proces mający na celu wydobycie z zasobów tekstowych informacji

Analiza tekstu

bezbarwne zielone idee wściekle śpią

Noam Chomsky

Analiza tekstu

Wydrze wydrzę wydrze wydrze wydrze wydrzę

Analiza tekstu

Wydrze wydrzę wydrze wydrze wydrze wydrzę

Buffalo buffalo Buffalo buffalo buffalo buffalo Buffalo buffalo

Analiza tekstu

Wydrze wydrzę wydrze wydrze wydrze wydrzę

Buffalo buffalo Buffalo buffalo buffalo buffalo Buffalo buffalo

The Buffalo bisons that Buffalo bisons intimidate, intimidate Buffalo bisons.

Przygotowanie tekstu

przekształcenie dokumentów źródłowych do postaci odpowiedniej do dalszej analizy

tokenizacja
normalizacja
lematyzcja

Przygotowanie tekstu

dokA: "Mocna herbata jest zła na zły nastrój!"
dokB: "Mocna kawa jest dobra na zły nastrój!"

Przygotowanie tekstu

Tokenizacja

dokA = ["Mocna", "herbata", "jest", "zła", "na", "zły", "nastrój!"]

docB = ["Mocna", "kawa", "jest", "dobra", "na", "zły", "nastrój!"]

Przygotowanie tekstu

Normalizacja

dokA = ["Mocna", "herbata", "jest", "zła", "na", "zły", "nastrój!"]

docB = ["Mocna", "kawa", "jest", "dobra", "na", "zły", "nastrój!"]

Przygotowanie tekstu

Normalizacja

dokA = ["mocna", "herbata", "jest", "zła", "na", "zły", "nastrój!"]

docB = ["mocna", "kawa", "jest", "dobra", "na", "zły", "nastrój!"]

Przygotowanie tekstu

Normalizacja

dokA = ["mocna", "herbata", "jest", "zła", "na", "zły", "nastrój!"]

docB = ["mocna", "kawa", "jest", "dobra", "na", "zły", "nastrój!"]

Przygotowanie tekstu

Normalizacja

dokA = ["mocna", "herbata", "jest", "zła", "na", "zły", "nastrój"]

docB = ["mocna", "kawa", "jest", "dobra", "na", "zły", "nastrój"]

Przygotowanie tekstu

Lematyzacja

dokA = ["mocna", "herbata", "jest", "zła", "na", "zły", "nastrój"]

docB = ["mocna", "kawa", "jest", "dobra", "na", "zły", "nastrój"]

Przygotowanie tekstu

Lematyzacja

dokA = ["mocna", "herbata", "jest", "zły", "na", "zły", "nastrój"]

docB = ["mocna", "kawa", "jest", "dobra", "na", "zły", "nastrój"]

Istotność słów

Jak znaleźć tekst dla słowa kluczowego?

Istotność słów

dokA = ["mocna", "herbata", "jest", "zły", "na", "zły", "nastrój"]

docB = ["mocna", "kawa", "jest", "dobra", "na", "zły", "nastrój"]

Które słowa występują najczęściej?

Istotność słów

dokA = ["mocna", "herbata", "jest", "zły", "na", "zły", "nastrój"]

docB = ["mocna", "kawa", "jest", "dobra", "na", "zły", "nastrój"]

zbiórAB = {'mocna', 'kawa', 'herbata', 'jest', 'nastrój', 'dobra', 'zły', 'na'}

Które słowa występują najczęściej?

Istotność słów

wekA = {'mocna': 1, 'kawa': 0, 'herbata': 1, 'jest': 1, 'nastrój': 1, 'dobra': 0, 'zły': 2, 'na': 1}
wekB = {'mocna': 1, 'kawa': 1, 'herbata': 0, 'jest': 1, 'nastrój': 1, 'dobra': 1, 'zły': 1, 'na': 1}

Które słowa występują najczęściej?

Istotność słów

Które słowa występują najczęściej?

	dobra	herbata	jest	kawa	mocna	na	nastrój	zły
dokA	0	1	1	0	1	1	1	2
dokB	1	0	1	1	1	1	1	1

Istotność słów

Które słowa występują najczęściej?

	dobra	herbata	jest	kawa	mocna	na	nastrój	zły
dokA	0	1	1	0	1	1	1	2
dokB	1	0	1	1	1	1	1	1

Jak znaleźć tekst dla słowa kluczowego?

Istotność słów

Miara ważności TF-IDF

TF-IDF (term frequency-inverse document frequency) polega na ustalaniu względnej częstotliwości słów w danym, lokalnym dokumencie i porównaniu z odwróconą częstotliwością słowa w całej kolekcji dokumentów.

Istotność słów

Miara ważności TF-IDF

Istotność słów

Miara ważności TF-IDF

Istotność słów

TF - częstotliwość słów w dokumencie

	dobra	herbata	jest	kawa	mocna	na	nastrój	zły
dokA	0	1	1	0	1	1	1	2
dokB	1	0	1	1	1	1	1	1

tf(słowo, dok) = \frac{n_{słowo}}{n_{dok}}

Istotność słów

TF - częstotliwość słów w dokumencie

	dobra	herbata	jest	kawa	mocna	na	nastrój	zły	Suma
dokA	0	1	1	0	1	1	1	2	7
dokB	1	0	1	1	1	1	1	1	7

Istotność słów

TF - częstotliwość słów w dokumencie

	dobra	herbata	jest	kawa	mocna	na	nastrój	zły	Suma
dokA	0	1	1	0	1	1	1	2	7
dokB	1	0	1	1	1	1	1	1	7

tf(dobra, dok1) = 0/7

Istotność słów

TF - częstotliwość słów w dokumencie

	dobra	herbata	jest	kawa	mocna	na	nastrój	zły	Suma
dokA	0	1	1	0	1	1	1	2	7
dokB	1	0	1	1	1	1	1	1	7

tf(herbata, dok1) = 1/7

Istotność słów

TF - częstotliwość słów w dokumencie

	dobra	herbata	jest	kawa	mocna	na	nastrój	zły	Suma
dokA	0	0,14	1	0	1	1	1	2	7
dokB	1	0	1	1	1	1	1	1	7

tf(jest, dok1) = 1/7

Istotność słów

TF - częstotliwość słów w dokumencie

	dobra	herbata	jest	kawa	mocna	na	nastrój	zły	Suma
dokA	0	0,14	0,14	0	1	1	1	2	7
dokB	1	0	1	1	1	1	1	1	7

tf(kawa, dok1) = 0/7

Istotność słów

TF - częstotliwość słów w dokumencie

	dobra	herbata	jest	kawa	mocna	na	nastrój	zły	Suma
dokA	0	0,14	0,14	0	1	1	1	2	7
dokB	1	0	1	1	1	1	1	1	7

tf(mocna, dok1) = 1/7

Istotność słów

TF - częstotliwość słów w dokumencie

	dobra	herbata	jest	kawa	mocna	na	nastrój	zły	Suma
dokA	0	0,14	0,14	0	0,14	1	1	2	7
dokB	1	0	1	1	1	1	1	1	7

tf(na, dok1) = 1/7

Istotność słów

TF - częstotliwość słów w dokumencie

	dobra	herbata	jest	kawa	mocna	na	nastrój	zły	Suma
dokA	0	0,14	0,14	0	0,14	0,14	1	2	7
dokB	1	0	1	1	1	1	1	1	7

tf(nastrój, dok1) = 1/7

Istotność słów

TF - częstotliwość słów w dokumencie

	dobra	herbata	jest	kawa	mocna	na	nastrój	zły	Suma
dokA	0	0,14	0,14	0	0,14	0,14	0,14	2	7
dokB	1	0	1	1	1	1	1	1	7

tf(zły, dok1) = 2/7

Istotność słów

TF - częstotliwość słów w dokumencie

	dobra	herbata	jest	kawa	mocna	na	nastrój	zły	Suma
dokA	0	0,14	0,14	0	0,14	0,14	0,14	0,29	1
dokB	1	0	1	1	1	1	1	1	7

Istotność słów

TF - częstotliwość słów w dokumencie

	dobra	herbata	jest	kawa	mocna	na	nastrój	zły	Suma
dokA	0	0,14	0,14	0	0,14	0,14	0,14	0,29	1
dokB	1	0	1	1	1	1	1	1	7

Istotność słów

TF - częstotliwość słów w dokumencie

	dobra	herbata	jest	kawa	mocna	na	nastrój	zły	Suma
dokA	0	0,14	0,14	0	0,14	0,14	0,14	0,29	1
dokB	0,14	0	0,14	0,14	0,14	0,14	0,14	0,14	1