O que vem antes do Engenheiro de Dados?

 

O Engenheiro de Software, o legado!

Engenheiro de Software, o seu juramento!

• Engenharia de Projeto de Software
  • big bang/ Gênesis 1 -> requisitos -> análise -> desenvolvimento / teste -> produção
  • O Manifesto Ágil

Engenheiro de Software, o seu juramento!

• O ciclo de vida do Software (ALM - Application lifecycle management )
  • Processos / Atividades (tickets) / Documentação / etc...
  • SCV (versionamento)
  • CD/CI / GMUD

Engenheiro de Software, o seu juramento!

• Arquitetura de Software
  • Segurança / criptografia dos dados
  • Monolito / micro-service
  • Single tenant / multi tenancy
  • Aplicações distribuídas

Engenheiro de Software, o seu juramento!

• Perfil
  • Dev fullstack + DevOps + arquiteto

Engenheiro de Dados, o seu juramento!

• Engenheiro de Dados é o profissional dedicado ao desenvolvimento, construção, teste e manutenção de arquiteturas para toda cadeia de processamento de dados.

Engenheiro de Dados, o seu juramento!

• Seu mind set deve ser: criar e implementar métodos e técnicas para melhorar a eficiência, a qualidade, a confiabilidade dos dados e garantir o fluxo de dados de maneira ininterrupta.

Engenheiro de Dados, o seu juramento!

• Um engenheiro de dados é aquele que compreende as várias tecnologias, alto conhecimento em frameworks e como combiná-las para criar soluções que permitem que os processos de negócios fluam com a pipelines de dados.

Engenheiro de Dados, o seu juramento!

• Um engenheiro de dados é aquele que compreende as várias tecnologias, alto conhecimento em frameworks e como combiná-las para criar soluções que permitem que os processos de negócios fluam com a pipelines de dados.

Engenheiro de Dados, o seu juramento!

• Basic skills:
  • Programação (de preferência poliglota)
  • SQL e NoSQL
  • Ecossistema Hadoop
  • Linux cloud computing (mínimo aws)
• Perfil
  • Dev fullstack + DevOps + arquiteto + analista de dados

Engenharia de Dados, o Pipeline e Tools!

Pipeline

Pipeline

Pipeline

#Engenharia de Dados

1° - Origem dos dados

• Estruturados: SQL - Banco de dados relacional, CSV , planilhas, etc...
• Semi-estruturados
  • XML, JSON, YML, etc...
  • NoSQL - Banco de dados orientado a documentos, orientado a grafos, tabular, etc...
• Não-estruturados
  • arquivos texto (logs), steaming, redes sociais, IOT.

Pipeline

#Engenharia de Dados

2° - Digestão dos dados / Integração

 

Pipeline

#Engenharia de Dados

2° - Digestão dos dados / Integração de dados

ETL - Extract Transform Load

• Batch (tools open source e enterprise)
  • Pentaho-PDI, Talent, Tableau-Prep, Qlik Sense, Alooma, SAS, SSIS, Oracle Data Integrator, etc...
• Cloud native (ELT - is designed with cloud computing in mind.)
  • Alooma, Fivetran, Matillion, Snaplogic, Stitch Data
• Real-time
  • Alooma, Confluent, StreamSets, Striim

Pipeline

#Engenharia de Dados

2° - Digestão dos dados / Integração

ETL                                            ELT (Cloud native)

X

Pipeline

#Engenharia de Dados

Pipeline

#Engenharia de Dados

3° - Orquestração dos dados

 

Tem como objetivo mapear e gerenciar origens e destinos dos dados.

Destaque para o Apache Kafka

 

Pipeline - #Engenharia de Dados

3° - Orquestração dos dados

Pipeline - #Engenharia de Dados

3° - Orquestração dos dados

Pipeline

#Preparação de Dados

1° - Processamento

 

Os principais objetivos do engenheiro de dados nessa etapa são:

 

• Garantir a disponibilidade dos dados
• Garantir os processos de data munging e data wrangling
• Garantir o processamento dos algoritmos de ML desenvolvidos pelo cientista de dados

Pipeline

#Preparação de Dados

1° - Processamento

 

ATENÇÃO:

Qual é o tamanho do seus dados?

Processamento

Simples x Distribuído (paralelo)

Pipeline

#Preparação de Dados

1° - Processamento

Apache Hadoop (clusterização) - baseado no Google File System (GFS)

• Não é um banco de dados, é um frameworks para armazenamento e processamento de dados
• HDFS - armazenamento distribuído os dados (gerencia os sistemas de arquivo no cluster)
• MapReduce - processamento distribuído dos dados (em batch)
  • mapea e reduz os dados a estrutura key:value

Pipeline

#Preparação de Dados

1° - Processamento 

Pipeline

#Preparação de Dados

1° - Processamento

Apache Spark

• Processamento distribuído dos dados em streaming
• É muito mais rápido que MapReduce
• Melhor para menos dados

 

"É o Hadoop para dados streaming!"

Pipeline

#Preparação de Dados

2° - Enriquecimento

 

Acrescentar e calcular dados externos aos dados brutos
Ex. Clima / Tempo, IBGE, APIs publicas, etc ...
 

Caso: "ocorrências no período"

Pipeline

#Análise de Dados

 

 

Disponibilidade dos dados por meio de informação enriquecida com agregação de contexto.

 

Outputs...

Outputs...

• Big Data
  • Data Lake (pool de dados)
    • DW / Data Marts
    • NoSQL
      • Documentos / Grafos / Tabular / etc..
  • APIs

Pipeline

#Análise de Dados

+ Outputs

• Cubos OLAP
• Dashboards
• Relatórios
• Storytelling
• Push Notification em apps analíticos*

• Previsões
• Sistema de Recomendação
• Metadados
• Ontologias / Taxiomas

Pipeline

#Análise de Dados

Engenheiro de Dados Toolbox

• Linguagens hype:
  • Python, Java, Scala e Shell script
• Tool's full stack :
  • AWS, Google Cloud, Azure
• Stack híbridas
  • Ex. AWS + Pentaho PDI + Apache Hadoop + Power BI
• Diferencial: Docker

Engenheiro de Dados #7 Princípios

Cap 2 - Perspectives on Data Science for Software Engineering
[tradução adaptada]       

#1 - Humanos antes de algoritmos

#2 - Tenha um plano para escalar seu pipelines

#3 - Busque obter feedback mais cedo

#4 - Mantenha a mente aberta​

Engenheiro de Dados #7 Princípios

Cap 2 - Perspectives on Data Science for Software Engineering
[tradução adaptada]       

#5 - Seja inteligente com os algoritmos de ML

#6 - Viva com os dados que você tem em mãos

#7 - Acompanhe o desenvolvimento da suas habilidades e use as "big tools" (ferramentas conceituadas)​