Apache Spark et le machine learning : rêves et réalités

Nastasia Saby

@saby_nastasia

Zenika

Scala.io 2019

Nombre	Calcul	Résultat
5	1,5 + 1,5 + 917 + 1	921

Nombre	Calcul	Résultat
5	1,5 + 1,5 + 917 + 1	921
6.5	1.5 + 2 + 915.5 + 2.5	921.5

Nombre	Calcul	Résultat
5	1,5 + 1,5 + 917 + 1	921
6.5	1.5 + 2 + 915.5 + 2.5	921.5
4.5	1.5 + 2 + 917.5 + 4	925
922	917 + 915.5 + 917.5 + 918	3 668
4	1 + 2.5 + 0.5 + 918	922

Nombre	Calcul	Résultat
5	1,5 + 1,5 + 917 + 1	921
6.5	1.5 + 2 + 915.5 + 2.5	921.5
4.5	1.5 + 2 + 917.5 + 4	925
922	917 + 915.5 + 917.5 + 918	3 668
4	1 + 2.5 + 0.5 + 918	922

Photo by Rene Böhmer on Unsplash Bonjour, je m'appelle Nastasia et je suis contente d'être au Scala.io aujourd'hui pour discuter de Spark et machine learning.

Apache Spark et le machine learning : rêves et réalités Nastasia Saby @saby_nastasia Zenika Scala.io 2019

Transcription Scala.io - Apache Spark et ML

By nastasiasaby

Transcription Scala.io - Apache Spark et ML

Présentation Scala.io 2019

5 years ago
1,428

	val citrouilles: DataFrame = Seq(
	Citrouille("Petit1", 5),
	Citrouille("Petit2", 6),
	Citrouille("Petit3", 4),
	Citrouille("Moyen1", 100),
	Citrouille("Moyen2", 101),
	Citrouille("Moyen3", 102),
	Citrouille("Grand1", 1000),
	Citrouille("Grand2", 1001),
	Citrouille("Grand3", 1002)
	).toDF

	citrouilles.show

	val vectorAssembler = new VectorAssembler().
	setInputCols(Array("poids")).
	setOutputCol("features")

	val citrouillesPretes: DataFrame = vectorAssembler.
	transform(citrouilles)

	citrouillesPretes.show

	val kmeans: KMeans = new KMeans().setK(3)

	val kmeansModel: KMeansModel = kmeans.
	fit(citrouillesPretes)

	kmeansModel.transform(citrouillesPretes).show

	//Calculer toutes les distances par rapport aux centres
	val clusteredCitrouilles: Dataset[ClusteredCitrouilles] = ...

	clusteredCitrouilles.
	map(clusteredCitrouille: ClusteredCitrouille => {
	//Récupérer les centres

	//Calculer la distance de la citrouille par rapport à tous les centres
	})

	//Calculer toutes les distances par rapport aux centres
	clusteredCitrouilles.
	map(clusteredCitrouille: ClusteredCitrouille => {
	//Récupérer les centres
	val first = clusteredCitrouille.centres(0)
	val second = //
	val third = //

	//Calculer la distance de la citrouille par rapport à tous les centres
	})

Apache Spark et le machine learning : rêves et réalités

Statistiques, prédictions, clustering

Apprentissage supervisé

Apprentissage non supervisé

Faire des clusters avec des citrouilles selon poids

Citrouilles bizarres : pas assez mûres, hantées.

KMeans

Demo

Type d'algo

Feature engineering

Des trucs que j'aime pas : Vector Assembler, DataFrame

Le centre des données

Le centre des clusters

KMeans

KMedoids

KMeans VS KMedoids

Spark Packages

Appelle un copain

Machine learning = if/else

On reprend le contrôle

Dataset

Au revoir vector assembler !

Tuning party !

A toutes les étapes : machine learning, feature engineering

Dynamic Time Warping

Merci et joyeux halloween

Transcription Scala.io - Apache Spark et ML

Transcription Scala.io - Apache Spark et ML

nastasiasaby

Apache Spark et le machine learning : rêves et réalités

Transcription Scala.io - Apache Spark et ML

More from nastasiasaby