Big Data + Data Science

Truth or Dare?

Rayssa Küllian

=

Sobre mim


- Partner / Head of Analytics and Insights (eGenius Founders)

- Instrutora de Big Data (Semantix)

- Mestranda em Ciência da Computação (IME/USP)

- Oito anos de experiência em TI: Unicsul, BASF, ACE Group, Ericsson, IBM Brazil Software Lab., boo-box, Genesys, IBM Watson

Agenda

 

- Big Data

- Data Science Inteligência Artificial

- Como entrei nesse universo?

- O que já fiz?

- Carreiras

O que estudar?

O que é?

...pelo começo?

Começar...

o que NÃO é?

O que

realmente

é então?

o que é?

volume

velocidade

variedade

o que é?

VOLUME

volume

1.44 MB

3 TB

volume

Petabyte, Exabyte,  Zettabyte, Yottabyte,  Xenottabyte, Shilentnobyte, DOMEGEMEGROTTEBYTE(!)...

volume

YEAR         CAPACITY (GB)        GB COST (USD)

1997                    2.1                             $157

2004                   200                            $1.05

2014                  3.000                         $0.036

o que é?

VELOCIDADE

60sec na web?

60sec na web?

60sec na web?

60sec na web?

92% DOS DADOS

foram criados nos DOIS últimos anos

o que é?

VARIEDADE

de onde vem?

de onde vem?

4vs?

VERACIDADE

?

tecnologias

- Apache Foundation

- Open Source

- Armazenamento e processamento distribuído

- Maiores colaboradores: Facebook, Yahoo, Google

-

-

-

-

tecnologias

players

BI x Big Data

?

+confusão

- Cookies

- Flash cookies

- Web Beacon

-

-

-

+confusão

Privacidade
​Seriously

?

?!

Data Science?

Inteligência Artificial 

Data Science

O que é?

...pelo começo?

Começar...

o que NÃO é?

o que NÃO é?

o que NÃO é?

o que NÃO é?

o que NÃO é?

o que NÃO é?

o que NÃO é?

o que é?

"Automatização de atividades que associamos ao pensamento humano, como a tomada de decisões, a resolução de problemas, o aprendizado..."

- Bellman, 1978

-

história

- Gestação: 1943-1955
Macculloch, Pitts, Turing ("Computing Machinery and Intelligence")
 

- Nascimento: 1956
McCarthy, Minsky, Shannon e Rochester

 

- Indústria: 1980

Digital Equipment Corporation, Du Pont

áreas 

+

Machine Learning

Natural Language
Processing

natural language processing

A habilidade de um computador em interpretar linguagem natural

Chatbot

- Correção gramatical

- Tradução automática

- Análise de personalidades

- Autenticação pela escrita

- Análise de sentimentos

- Detecção de spam

natural language processing

natural language processing

Part of Speech (PoS) Tagging

I

eat

pizza

with

a

fork

.

noun phrase

NOUN

PREPOSITION

NOUN

VERB

SUBJECT

OBJECT

ferramentas

NLTK (Natural Language Toolkit)

machine learning

 "Campo de estudo que dá ao computador a habilidade de aprender sem ser explicitamente programado."

- Arthur Samuel, 1959

-

algoritmos

supervisionado

não-supervisionado

aprendizado indutivo

por reforço

supervisionado

supervisionado

classificação

regressão

não-supervisionado

não-supervisionado

agrupamento

sumarização

associação

machine learning

- Predição de taxas de cura de pacientes com diferenças doenças

- Detecção de fraudes em cartões de crédito

- Sugestões de produtos similares em eCommerce

- Validação de autenticidade de reviews na Amazon

- Predição de revoltas populares

- Observatório da Dengue (UFMG)

ferramentas

linguagens

Como entrei nesse universo?

minha história

minha história

minha história

+

+

minha história

+

+

minha história

minha história

O que eu já fiz?

minha carreira

minha carreira

IBM Watson

minha carreira

IBM Bluemix

minha carreira

minha carreira

Carreiras

carreiras

- Big Data Consultant

- Hadoop Developer

- Hadoop Administrator

- Data Analyst

- Data Scientist

carreiras

O que estudar?

cursos

- Cloudera Apache HBase

- Cloudera Search com Apache Solr

- Cloudera Developer for Apache Hadoop 

- Cloudera Data Analytics with Hive, Pig and Impala

- Cloudera Administrator for Apache Hadoop

- Cloudera Developer for Apache Spark

cursos

cursos

- Machine Learning (Stanford)

- Natural Language Processing (Stanford)

certificações

pós

pós

pós

mestrado

MBA

x

Rayssa Küllian

contato@rayssak.com.br

g+,