Big Data Meetup

Földi Tamás - Starschema

@tfoldi

Oké, szóval kicsit random lesz, személyes és elfogult.

Snowflake IPO

Frank Slootman

 Executive Officer Frank Slootman one of the best-paid technology executives. A compensation package he received upon joining Snowflake in April 2019 awards him a batch of options every month — for four years — that are now worth almost *$95 million each, or about $1.1 billion annually.

*Hó eleji SMS:

27.895.801.856 Ft

Óradíj:

174.348.761 Ft

Az "adattárház"

újra szexi

ONE COPY

 

 MULTIPLE WORKLOAD

Cserébe drága.

Analitikus

DWH

AWS Redshift?

https://cloudwars.co/oracle/oracles-larry-ellison-admits-snowflake-is-killing-amazon-redshift/

Azure Synapse?

Pro

Működik. Többnyire.

Eléggé fejlesztik.

Egy platform, Databricks/Spark, ADF, DL

 

Contra

Nincs rendes storage-computation szétválasztás

Kicsit olyan mint majális, van benne minden is

Single-cloud

Harmadszorra nevezik át

Analitikus

DWH

JÖVŐBELÁTÁS 1:
TOVÁBBRA IS TAROL A SNOWFLAKE

2021-BEN

JÖVŐBELÁTÁS 2:
NINCS EGYÉRTELMŰ GYŐZTES A "SPEED LAYER" KATEGÓRIÁBAN

Big Data

Hadoop = ✞

1 - Project Hydrogen

Erről még lesz szó.

2. Delta Lake

Delta Lake Megoldások

Python

Python

Lassú, interpretált

Nem-típusos, None

GIL

Eager execution 

Borzasztó vektorizálás

Halál csomagkezelés

Rakás külső függés (BLAS)

+1 Python 2 vs Python 3

Normális nyelv

Gyors (JIT vagy LLVM)

Típusos

Lock-free

Lazy-execution

Vektorizálás

Cargo/Cabal/Go csomagk.

Minimum külső függés

Python, mint de facto data nyelv egy tévedés

Pandas tuning

bodo.ai

JÖVŐBELÁTÁS 3: HPC/MPI LEVÁLTJA A "SMALL TASK" MÓDSZERT

2021 Trendek

Data Literacy

ML assisted Data Management (Alation, BigId, Collibra)

SQL/Python DWH Frameworks (dbt)

Accelerated Visualization (streamlit, panel, plotly)

Data Science Model Management as a Service

Data Marketplaces 

Kubernetes 

Multi-cloud disaster recovery

Köszike