7 conseils pour démarrer avec Spark
Nastasia Saby
@saby_nastasia
Zenika
Data
Data
Transformation
LavaJug - Nastasia Saby @saby_nastasia - Zenika
| Utilisateurs | Films | Quand |
|---|---|---|
| Samantha | Dans ses yeux | 22/12 à 1h |
| Renzo | The Island | 22/12 à 12h |
| Renzo | Parvarna | 23/12 à 18h |
| Nils | Aquaman | 24/12 à 20h |
LavaJug - Nastasia Saby @saby_nastasia - Zenika
Nos utilisateurs sont-ils plutôt des addicts, des occasionnels, des noctambules, etc ?
10 millions d'utilisateurs tous les jours
Travail sur machine 1
Travail sur machine 2
Travail sur machine 3
SPARK
LavaJug - Nastasia Saby @saby_nastasia - Zenika
1. utilise le spark-shell
2. Fais bien la différence entre les transformations et les actions
3. Apprends les bases de Scala
4. Apprends et désapprends les RDDs
5. Replonge-toi dans du SQL
6. Ne cherche pas à tout faire avec les udfs
LavaJug - Nastasia Saby @saby_nastasia - Zenika
| price | color |
|---|---|
| 236 | Red |
| 344 | Yellow |
| price | color | code |
|---|---|---|
| 236 | Red | R236 |
| 344 | Yellow | Y344 |
LavaJug - Nastasia Saby @saby_nastasia - Zenika
def createCode = {
//Pur scala code
}
//Enregistrer dans Spark la fonction "createCode"
//L'appeler
LavaJug - Nastasia Saby @saby_nastasia - Zenika
LavaJug - Nastasia Saby @saby_nastasia - Zenika
Etre aussi simple que possible
Être pur
Tests
LavaJug - Nastasia Saby @saby_nastasia - Zenika
Performance
=> Eviter les UDFs
LavaJug - Nastasia Saby @saby_nastasia - Zenika
Spark SQL built in functions combinaisons
LavaJug - Nastasia Saby @saby_nastasia - Zenika
7. Ouvre ton esprit pour tester avec spark
case class Diamond(cut: String, price: Int)val diamonds = spark.read.csv("diamonds.csv").
as[Diamond]LavaJug - Nastasia Saby @saby_nastasia - Zenika
val diamonds: Dataset[Diamond] = ...
diamonds.map(diamond => {
diamond.price
})LavaJug - Nastasia Saby @saby_nastasia - Zenika
val diamonds: Dataset[Diamond] = ...
def selectPrice(diamond: Diamond) = {
diamond.price
}
diamonds.map(selectPrice)LavaJug - Nastasia Saby @saby_nastasia - Zenika
| color | price |
|---|---|
| Vert | 1200 |
| Rouge | 700 |
Diamonds
| color | score |
|---|---|
| Vert | 7 |
| Rouge | 4 |
TrendyColors
LavaJug - Nastasia Saby @saby_nastasia - Zenika
case class Result(price: Int)
LavaJug - Nastasia Saby @saby_nastasia - Zenika
1) Joindre les 2 objets => DataFrame
LavaJug - Nastasia Saby @saby_nastasia - Zenika
2) Filtrer pour avoir les éléments les plus tendances ( >5) => DataFrame
LavaJug - Nastasia Saby @saby_nastasia - Zenika
3) Sélectionner le prix => Dataset[Result]
LavaJug - Nastasia Saby @saby_nastasia - Zenika
def priceOfDiamondsWithTrendyColors(
diamonds: ...,
trendyColors: ...,
spark: SparkSession
) = {
import spark.implicits._
//Jointure des diamants et couleurs tendances
//Filtrage des éléments les plus tendances
//Sélection du prix
//Cast en Dataset de Result
}
LavaJug - Nastasia Saby @saby_nastasia - Zenika
trait SparkSessionTestWrapper {
val spark: SparkSession = ...
}
LavaJug - Nastasia Saby @saby_nastasia - Zenika
"test" in {
val result: DataFrame = priceOfDiamondsWithTrendyColors(
diamonds,
trendyColors,
spark
)
//Make test
}LavaJug - Nastasia Saby @saby_nastasia - Zenika
result.collect must beEqualTo(expected)
result.count must beEqualTo(3)LavaJug - Nastasia Saby @saby_nastasia - Zenika
result.collect must beEqualTo(expected)
// => Lance la jointure, le filtrage, la sélection
result.count must beEqualTo(3)
// => Lance la jointure, le filtrage, la sélectionLavaJug - Nastasia Saby @saby_nastasia - Zenika
val good: Array = result.collect
good must beEqualTo(expected)
good.size must beEqualTo(3)LavaJug - Nastasia Saby @saby_nastasia - Zenika
val good: Array = result.collect
//=> Lance la jointure, le filtrage et la sélection
good must beEqualTo(expected)
//=> Utilise le résultat
good.size must beEqualTo(3)
//=> Utilise le résultatLavaJug - Nastasia Saby @saby_nastasia - Zenika
MERCI
Des questions ?
Nastasia Saby
@saby_nastasia
Zenika
Notes JUG 7 conseils pour démarrer avec Spark
By nastasiasaby
