Que belo dia para a ciência :)

Harvard Business Review

Data Never Sleep

http://www.ibtimes.co.uk/political-revolution-how-big-data-won-us-presidency-donald-trump-1602269

”Data is the new oil. It’s valuable, but if unrefined it cannot be used. It has to be changed into gas, plastic, chemicals, etc. to create a valuable entity that drives profitable activity; so, must data be broken down, analyzed for it to have value.” Clive Humbly

Porque "ciência"?

O que a ciência de dados engloba?

Relatórios

Análises Exploratórias

Aprendizado de Máquina

Inteligência Artificial

Big Data

Deep Learning

Processamento Natural de Linguagem

Modelagens preditivas

Análises Estatísticas

Data Science vs Big Data

Data Science looks to create models that capture the underlying patterns of complex systems, and codify those models into working applications.

Big Data looks to collect and manage large amounts of varied data to serve large scale web applications and vast sensor networks.  

https://www.linkedin.com/pulse/data-science-big-two-very-different-beasts-sean-mcclure-ph-d-?trk=prof-post

O que a ciência de dados não é?

Text

Spurious Correlation

Preciso entender de matemática?

Habilidades necessárias?

CAPACIDADE DE IDENTIFICAR E RESOLVER PROBLEMAS!

The only Skill you should be concerned with

Data Processing

• Seus dados contém mesma quantidade de colunas?
• Você tem informações sobre todas as colunas do dado?
• Seus dados contém NaN (existem dados faltantes?)
• Seus dados tem variáveis categóricas?
• Você consegue ler seu dado todo na memória?
• Todas as informações necessárias estão disponíveis para você?
• As informações estão armazenadas da forma como elas devem ser? (Datas em datetime e números como inteiros)

Capacidade de comunicar resultados

Porque Python?

kdnuggets.com

https://stackoverflow.blog/2017/09/06/incredible-growth-python/#.WbA74_Kzifw.twitter

https://www.quora.com/Why-is-Python-a-language-of-choice-for-data-scientists?share=1

kdnuggets.com

O que preciso aprender?

Show me the code!

Caso: Detecção de Câncer de Mama

Caso: Detecção de Câncer de Mama

Olhando os dados

Variáveis Independentes (X)

Como funciona um processo de modelagem?

import pandas as pd
import numpy as np
from sklearn.datasets import load_breast_cancer as array_set
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import f1_score, classification_report
from sklearn.model_selection import train_test_split

data = array_set()
X = pd.DataFrame(data.data, columns=data.feature_names, 
                    dtype=np.float)
y = pd.DataFrame(data.target, columns=['y'], dtype=bool)

X_train, X_test, y_train, y_test = train_test_split(X,
                                                    y,
                                                    test_size=0.3,
                                                    random_state=42)

X

X_test

X_train

Model = LogisticRegression()
Model.fit(X_train, y_train)

X_train

Modelo

y_pred = Model.predict(X_test)

Modelo

y_pred

X_test

score = classification_report(y_test, y_pred)

X_test

Modelo

y_pred

X_test

E agora?

Ciclo de Vida de um Projeto

Nem sempre mais é melhor...

Falta de previsibilidade

Incerteza na alocação de recursos

Estratégias emergenciais

PIB

Selic

Desemprego

Inflação

Confiança na justiça

Produtividade do tribunal

Quantidade de advogados

Crescimento vegetativo

Otimização na alocação de recursos

Planejamento orçamentário

Estratégias preventivas

Onde aprender?

Onde aprender?

github.com/leportella/data-science-roadmap