Uczenie maszynowe
w medycynie

Michał Bieroński, 218324

Mateusz Burniak, 218321

Agenda

  • Czym jest uczenie maszynowe?
    • Kategorie
    • Algorytmy
      • Regresja liniowa
      • Drzewa decyzyjne
      • Random Forest
      • KNN
  • Zastosowania
    • Obrazowanie siatkówki
    • Rak skóry
    • Rak piersi + demo
  • Ciekawostki
    • Kaggle, YOLO, MarI/O, Muzyka

Uczenie maszynowe

Dziedziny zastosowania

  • Usługi finansowe (oszutwa, analiza giełdy)
  • Rząd (przestępstwa, analiza budżetu)
  • Medycyna (diagnozowanie chorób)
  • Marketing (spersonalizowane reklamy)
  • Przemysł energetyczny (posz. nowych źr. energii)

Kategorie

  • Nadzorowane (Supervised)
  • Nienadzorowane (Unsupervised)
  • Przez wzmacnianie (Reinforcement)

Uczenie nadzorowane

Znane są poprawne wartości dla danych uczących.

  • regresja
  • drzewa decyzyjne
  • random forest
  • KNN

Uczenie nienadzorowane

Nie są znane dane wyjściowe.

Uczenie przez wzmacnianie

Metoda prób i błędów.

Algorytmy

Regresja liniowa

Szukamy funkcji opisującej zależność jednej zmiennej w zależności od innych zmiennych (często pozornie nie związanych ze sobą)

Drzewa decyzyjne

Podział danych względem
najbardziej znaczących atrybutów.

Drzewa decyzyjne

Random Forest

Połączenie wielu drzew decyzyjnych w multiklasyfikator.

KNN

  • Jeden z najprostszych klasyfikatorów
  • Dobra jakość predykcji, lecz wolny

A teraz przykłady...

Obrazowanie siatkówki

Retinopatia cukrzycowa

Obrazowanie siatkówki

Retinopatia cukrzycowa

Obrazowanie siatkówki

Retinopatia cukrzycowa

Obrazowanie siatkówki

Retinopatia cukrzycowa

Rak piersi

Jednym z zastosowań uczenia maszynowego w medycynie jest klasyfikacja raka piersi

Procentowy rozkład zachorowań na nowotwory

ML w praktyce

Problem klasyfikacji złośliwości raka piersi

  • złośliwy
  • łagodny

Zestaw cech w pliku csv

  • id
  • diagnoza (M = złośliwy, B = łagodny)
  • promień
  • tekstura
  • obwód
  • obszar
  • gładkość
  • zawartość
  • wklęsłość
  • punkty wklęsłe
  • symetria
  • wymiar fraktalny
#header oznacza, że wiersz 0 będzie zawierać etykiety dla naszych danych
data = pd.read_csv("../input/data.csv",header=0)

#możemy teraz wypisać sobie przykładowo 2 wiersze danych
print(data.head(2))

#teraz chcielibyśmy uzyskać trochę informacji o wczytanych danych
data.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 569 entries, 0 to 568
Data columns (total 33 columns):
id                         569 non-null int64
diagnosis                  569 non-null object
radius_mean                569 non-null float64
texture_mean               569 non-null float64
perimeter_mean             569 non-null float64
area_mean                  569 non-null float64
smoothness_mean            569 non-null float64
...
texture_worst              569 non-null float64
concave points_worst       569 non-null float64
symmetry_worst             569 non-null float64
fractal_dimension_worst    569 non-null float64
Unnamed: 32                0 non-null float64
dtypes: float64(31), int64(1), object(1)
memory usage: 146.8+ KB

Let's code!

#usuwamy pustą, nadmiarową kolumnę o nazwie "Unnamed: 32"
data.drop("Unnamed: 32",axis=1,inplace=True)

#sprawdźmy czy kolumna została porzucona
data.columns

Index(['id', 'diagnosis', 'radius_mean', 'texture_mean', 'perimeter_mean',
       'area_mean', 'smoothness_mean', 'compactness_mean', 'concavity_mean',
       'concave points_mean', 'symmetry_mean', 'fractal_dimension_mean',
       'radius_se', 'texture_se', 'perimeter_se', 'area_se', 'smoothness_se',
       'compactness_se', 'concavity_se', 'concave points_se', 'symmetry_se',
       'fractal_dimension_se', 'radius_worst', 'texture_worst',
       'perimeter_worst', 'area_worst', 'smoothness_worst',
       'compactness_worst', 'concavity_worst', 'concave points_worst',
       'symmetry_worst', 'fractal_dimension_worst'],
      dtype='object')

#analogicznie pozbywamy się kolumny id
data.drop("id",axis=1,inplace=True)

Selekcja cech

#Dzielimy cechy według odpowiednich kategorii
features_mean = list(data.columns[1:11])
features_se = list(data.columns[11:20])
features_worst = list(data.columns[21:31])
print(features_mean)
print("-----------------------------------")
print(features_se)
print("------------------------------------")
print(features_worst)

['radius_mean', 'texture_mean', 'perimeter_mean', 'area_mean', 'smoothness_mean', 'compactness_mean', 'concavity_mean', 'concave points_mean', 'symmetry_mean', 'fractal_dimension_mean']
-----------------------------------
['radius_se', 'texture_se', 'perimeter_se', 'area_se', 'smoothness_se', 'compactness_se', 'concavity_se', 'concave points_se', 'symmetry_se']
------------------------------------
['radius_worst', 'texture_worst', 'perimeter_worst', 'area_worst', 'smoothness_worst', 'compactness_worst', 'concavity_worst', 'concave points_worst', 'symmetry_worst', 'fractal_dimension_worst']

#Na koniec mapujemy typy diagnozy na łatwiejsze do przetwarzania
data['diagnosis'] = data['diagnosis'].map({'M':1,'B':0})

Selekcja cech

#Narysujmy sobie wykres częstości występowania danego typu diagnoz
sns.countplot(data['diagnosis'],label="Count")

Analiza danych

#Teraz wykorzystamy funkcje corr do znalezienia korelacji pomiędzy cechami

corr = data[features_mean].corr()

#A następnie utworzymy sobie tzw. heatmap'e, 
#która ładnie nam też zależności przedstawi

plt.figure(figsize=(14,14))
sns.heatmap(corr, cbar = True,  
            square = True, 
            annot=True, 
            fmt= '.2f',
            annot_kws={'size': 15},
            xticklabels= features_mean, 
            yticklabels= features_mean,
            cmap= 'coolwarm')

Analiza danych

#od teraz będziemy używać tylko tych cech
prediction_var = ['texture_mean','perimeter_mean','smoothness_mean',
                  'compactness_mean','symmetry_mean']

#dzielimy zbiór danych
train, test = train_test_split(data, test_size = 0.3)

train_X = train[prediction_var] # cechy wejściowe
train_y=train.diagnosis # spodziewane wyjścia

#tak samo dla zbioru testowego
test_X= test[prediction_var] 
test_y =test.diagnosis 


  • radius, parameter oraz area są mocno skorelowane, więc wystaczy wybrać jedną z nich
  • analogicznie compactness_mean, concavity_mean and concavepoint_mean

Odrzucamy nadmiarowe cechy

#Tworzymy model klasyfikatora
model=RandomForestClassifier(n_estimators=100)

#Trenujemy model
model.fit(train_X,train_y)

#dokonujemy predykcji na zbiorze testowym
prediction = model.predict(test_X)

#Mierzymy otrzymaną poprawnosc klasyfikatora
metrics.accuracy_score(prediction,test_y)

0.92982456140350878

Trenujemy i testujemy model

Nowotwór skóry

  • Najpopularniejszy nowotwór w USA
  • 1 na 5 Amerykanów będzie chorować
  • W 2017 będzie 90k nowych zachorowań na czerniaka,
    z czego 10k śmiertelnych

 

 

  • Przeżywalność czerniaka to 98%
  • W 2020 będzie w obiegu ponad 6 mld smartfonów    

Nowotwór skóry

łagodny

złośliwy

Nowotwór skóry

Ciekawostki

Ciekawostki

MarI/O

Ciekawostki

YOLO

Ciekawostki

Kompozycja muzyki

Zadanie domowe

Kaggle

Michał Bieroński, 218324

Mateusz Burniak, 218321

im-sem

By Mateusz Burniak

im-sem

  • 354