Démo Spark - Prédire le prix de ma super bière

Nastasia Saby

@saby_nastasia

Zenika

Nom Note donnée par Beer Addicts Anonymes Prix
Quinarelle 9/10 6
Tripel Karmeliet 8/10 6
Kriek 3/10 3
Punk IPA 6/10 4
Nom Note donnée par Beer Addicts Anonymes Prix
Ma super bière 7/10 ?

Data

Fonction

Algorithme

Zenika Night    -      Nastasia Saby @saby_nastasia      -     Zenika

Data

Fonction

Zenika Night    -      Nastasia Saby @saby_nastasia      -     Zenika

Triple Karmeliet, Kriek, etc

Ma super bière

Le super prix que

mérite ma bière

Algorithme

TerraBytes - PetaBytes

Travail sur machine 1

Travail sur machine 2

Travail sur machine 3

SPARK

Zenika Night    -      Nastasia Saby @saby_nastasia      -     Zenika

Régression linéaire

Note

Prix

Zenika Night    -      Nastasia Saby @saby_nastasia      -     Zenika

Note

Prix

Zenika Night    -      Nastasia Saby @saby_nastasia      -     Zenika

val spark: SparkSession = SparkSession.builder.master("local").getOrCreate

/**************************************************************************
*  1. Lire les données qui vont servir à construire la fonction/le modèle **
************************************************************************/
   
/*******************************
*  2. Préparation de la donnée **
******************************/
    
/*************************************
*  3. Algorithme régression linéaire **
************************************/
   

/***************************************************************************************
*  4. Construction de la pipeline : préparation des données + algo régression linéaire **
**************************************************************************************/


/*********************************************************************
*  5. Construction du model en utilisant la pipeline sur les données **
********************************************************************/

/**********************************************
*  6. Application du modèle sur ma super beer **
*********************************************/
val spark: SparkSession = SparkSession.builder.master("local").getOrCreate
/**************************************************************************
*  1. Lire les données qui vont servir à construire la fonction/le modèle **
************************************************************************/
val trainingBeers: DataFrame = spark.
      read.
      option("header", true).
      option("inferSchema", true).
      csv("src/main/resources/trainingBeers")
/*******************************
*  2. Préparation de la donnée **
******************************/
val dataPreparation: VectorAssembler = new VectorAssembler()
      .setInputCols(Array("note par les beer addicts anonymes"))
      .setOutputCol("features")
 /*************************************
*  3. Algorithme régression linéaire **
************************************/

 val linearRegression: LinearRegression = new LinearRegression()
      .setLabelCol("prix")
      .setFeaturesCol("features")
/***************************************************************************************
*  4. Construction de la pipeline : préparation des données + algo régression linéaire **
**************************************************************************************/

val pipeline: Pipeline = new Pipeline().setStages(Array(dataPreparation, linearRegression))
/*********************************************************************
*  5. Construction du model en utilisant la pipeline sur les données **
********************************************************************/
 val model: PipelineModel = pipeline.fit(trainingBeers)
/**********************************************
*  6. Application du modèle sur ma super beer **
*********************************************/

val mySuperBeer: DataFrame = spark.
      read.
      option("header", true).
      option("inferSchema", true).
      csv("src/main/resources/mySuperBeer")

model.transform(mySuperBeer).show
model.transform(mySuperBeer).show
Nom Note par les beer addicts anonymes Prix Features Prédiction
Ma super bière 7 null [7.0] 5.023809523809524

 

 

 

 

 

 

Merci

Nastasia Saby

@saby_nastasia

Zenika

Transcription - Demo Spark - Prédire le prix de ma super bière

By nastasiasaby

Transcription - Demo Spark - Prédire le prix de ma super bière

  • 159
Loading comments...

More from nastasiasaby