Zadanie 01

Opracować wyspecjalizowanego robota internetowego pobierającego artykuły z danej strony w określnej formie.

Zadanie 02

Opracować prostą (ale skalowalną) wyszukiwarkę.

Prosty (lecz duży) plik tekstowy. Zakładamy, że w każdym wierszu jest osobny dokument.

Wejście

wejściowy plik tekstowy powinien zostać zindeksowany.
wyszukuje wszystkie dokumenty zawierające słowa z zapytania (wszystkie słowa — czyli zapytanie interpretujemy jako koniunkcję),
wypisuje na standardowym wyjściu wszystkie pasujące dokumenty,
wyszukiwanie dla pojedynczego zapytania ma być możliwie szybkie,
słownik powinien być trzymany w pamięci, ale indeks odwrócony — na dysku

Oczekiwany efekt

./search.sh retroc/train/train.tsv kot pies

BM25(q,d)=\sum_{t\in \mathbb{q}}^{n} idf_t \cdot \frac{tf_{t,d}}{tf_{t,d}+k_1 \ \cdot \ ((1-b) \ + \ b \ \cdot \frac{|d|}{avgdl})}

BM25(q,d)=\sum_{t\in \mathbb{q}}^{n} idf_t \cdot \frac{tf_{t,d}}{tf_{t,d}+k_1 \ \cdot \ ((1-b) \ + \ b \ \cdot \frac{|d|}{avgdl})}

idf_t \ = \ log \frac{N-df_t \ + \ 0.5} {df_t \ + \ 0.5}

idf_t \ = \ log \frac{N-df_t \ + \ 0.5} {df_t \ + \ 0.5}

Zadanie 03

W oparciu o zadanie 02 zaimplementować miarę relewantności (spośród omawianych na wykładzie).

Wykorzystalismy algorytm BM25.

|d| - długość dokumentu d

avgdl - średnia długość dokumentu

k_1, b - parametry(reczne\ dostrajane)

k_1, b - parametry(reczne\ dostrajane)

./search.sh retroc/train/train.tsv kot pies

Zadanie 04

Zaimplementować algorytm PageRank.

PageRank: n: 11
Matrix: 
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0
0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0
0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0
1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0
0, 1, 0, 1, 0, 1, 0, 0, 0, 0, 0
0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0
0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0
0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0
0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0
0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0
0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0
Ranks: [0.0239608, 0.432355, 0.372284, 0.0286842, 0.0587739, 0.0286842, 0.0110514, 0.0110514, 0.0110514, 0.0110514, 0.0110514]
Elements sorted: [1, 2, 4, 3, 5, 0, 6, 7, 8, 9, 10]