Rafael monteiro

Fundamentos estatísticos

Desafio

Você tem a tarefa de fazer uma pesquisa de satisfação da companhia por todo o país.

Infelizmente, será impossível bater de porta em porta para saber a opinião de cada consumidor.

Teremos que coletar a opinião de uma subgrupo menor de consumidores (i.e., uma amostra).

Como fazer isso?

Como fazer essa pesquisa?

Estatística!

• Amostragem
• Inferência
• Correlação
•  

Por que o design de um experimento importa?

Nas eleições norte-americanas de 1936, dois candidatos pleiteavam o cargo de presidente: Roosevelt e Landon.

Por que o design de um experimento importa?

Uma pesquisa da então prestigiada revista Literary Digest, previa que Landon ganharia com 62% dos votos. A pesquisa se baseava na maior pesquisa eleitoral já feita no mundo até então, com 2.4 milhões de eleitores.

Por que o design de um experimento importa?

Uma pesquisa da então prestigiada revista Literary Digest, previa que Landon ganharia com 62% dos votos. A pesquisa se baseava na maior pesquisa eleitoral já feita no mundo até então, com 2.4 milhões de eleitores.

Ao mesmo tempo, uma pesquisa feita por George Gallup com apenas 50 mil eleitores previa o resultado contrário: Roosevelt ganharia, com 56% dos votos.

Por que o design de um experimento importa?

Uma pesquisa da então prestigiada revista Literary Digest, previa que Landon ganharia com 62% dos votos. A pesquisa se baseava na maior pesquisa eleitoral já feita no mundo até então, com 2.4 milhões de eleitores.

Ao mesmo tempo, uma pesquisa feita por George Gallup com apenas 50 mil eleitores previa o resultado contrário: Roosevelt ganharia, com 56% dos votos.

No dia da eleição, Roosevelt ganhou com 62 % dos votos válidos.

Por que o design de um experimento importa?

Como isso foi possível?

Como, com uma “amostra” tão grande, a Literary Digest conseguiu errar tão feio?

Por que o design de um experimento importa?

A resposta se encontra em diversos fatores do design da amostragem da Literary Digest, que consistia em:

• Enviar pesquisas pelo correio, a 10 milhões de leitores.

• O nome e endereço dessas pessoas viriam de listas telefônicas e listas de membros de clubes (à época, apenas 1 em cada 4 casas tinha telefone).

O que pode haver de errado com esse procedimento?

Por que o design de um experimento importa?

A resposta se encontra em diversos fatores do design da amostragem da Literary Digest, que consistia em:

• Enviar pesquisas pelo correio, a 10 milhões de leitores.

• O nome e endereço dessas pessoas viriam de listas telefônicas e listas de membros de clubes (à época, apenas 1 em cada 4 casas tinha telefone).

O que pode haver de errado com esse procedimento?

Viés.

Por que o design de um experimento importa?

A resposta se encontra em diversos fatores do design da amostragem da Literary Digest, que consistia em:

• Enviar pesquisas pelo correio, a 10 milhões de leitores.

• O nome e endereço dessas pessoas viriam de listas telefônicas e listas de membros de clubes (à época, apenas 1 em cada 4 casas tinha telefone).

O que pode haver de errado com esse procedimento?

Viés. Em particular, dois tipos dele:

• A seleção exclui pessoas com menor renda (viés de seleção).

• Dos 10 M que receberam o questionário, apenas 2.4M responderam (viés de resposta).

Moral da estória

Nenhuma amostra grande melhora um experimento enviesado.

NEste caso, quanto maior a amostra, mais o erro inicial se amplifica, em uma escala cada vez maior.

Voltando ao nosso Desafio

Você tem a tarefa de fazer uma pesquisa de satisfação da companhia por todo o país.

Infelizmente, será impossível bater de porta em porta para saber a opinião de cada consumidor.

Teremos que coletar a opinião de uma subgrupo menor de consumidores (i.e., uma amostra).

Como fazer isso de forma a evitarmos viés?

Terminologia básica

População 

conjunto de dados que contém uma característica ou qualidade que queremos estudar. (Ex.: todos os eleitores de uma eleição presidencial).

População 

conjunto de dados que contém uma característica ou qualidade que queremos estudar. (Ex.: todos os eleitores de uma eleição presidencial).

No entanto, acesso à população inteira é impraticável e somente parte dela nos é acessível; a esta parte damos o nome de amostra.

Amostra

subconjunto de uma população

Amostra

subconjunto de uma população

AmostraGEM

PROCESSO de seleção de uma amostra

Amostra

subconjunto de uma população

AmostraGEM

PROCESSO de seleção de uma amostra

Chama-se inferência o processo de fazermos generalizações da parte (amostra) para o todo (população).

(Vocês estudarão este tema numa próxima aula.)

Diferentes tipos de amostragem

Amostragem aleatória simples

Amostragem aleatória simples

Média

Qual o valor usual de uma venda realizada em janeiro?

Média

Qual o valor usual de uma venda realizada em janeiro?

Média

Quanto, em média, é o valor de cada venda realizada em janeiro?

Soma todos os elementos

Média

Quanto, em média, é o valor de cada venda realizada em janeiro?

Soma todos os elementos

Divide pela quantidade de elementos

Média - definição

A média é uma medida de tendência central,  agindo como um centro de massa de um conjunto de dados. Ela resume esse conjunto em um único número representativo. 

O caso geral é dado pela equação abaixo:

Média - Visualização

Barras vermelhas indicam o quanto cada cliente comprou.

Média - Peculiaridades

A média resume valores, mas é incapaz de capturar variações entre eles.

Média - peculiaridades

É fortemente influenciada por valores muito discrepantes (outliers).

Mediana - definição

Também é uma medida de tendência central que representa o valor que separa um conjunto de dados ordenado em duas partes de mesmo tamanho.

Dados desordenados

Mediana - número ímpar de dados

Também é uma medida de tendência central que representa o valor que divide um conjunto de dados ordenado em partes iguais.

1. Ordena-se os dados
   [800; 2.375; 12.000; 13.080; 2.250.000,00];
    
2. Pega-se ​o elemento do meio;
   [800; 2.375; 12.000; 13.080; 2.250.000,00]

Valor da mediana

Mediana - NÚMERO PAR DE DADOS

No exemplo anterior a quantidade de valores da base de dados era ímpar (5 dados). Agora vamos supor que nós tivéssemos 6 dados no conjunto, como que se calcula a mediana?

1. Ordena-se os dados:
   [800; 2.375; 12.000; 13.080; 26.000,00; 2.250.000,00]​
2. Pega-se ​os elementos do meio:
   [800; 2.375; 12.000; 13.080; 26.000,00;  2.250.000,00]
3. Faz a média dos 2 elementos centrais:
   (12.000 + 13.080) / 2 = 12.540

Valor da mediana

MEDIANA - Visualização

Barras vermelhas indicam o quanto cada cliente comprou.

outra medida de tendência central que pode ser usada é a moda

exemplo utilização da moda

Por exemplo, se fizermos um gráfico de frequência dos seguintes dados:

                           0, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 5, 8, 8

Quando usar a média e quando usar a mediana?

Quantificando a  dispersão dos dados 

variância e desvio padrão

Indica dispersão dos valores numéricos em torno da média.

variância e desvio padrão

Indica dispersão dos valores numéricos em torno da média.

VARIÂNCIA E DESVIO PADRÃO

Indica dispersão dos valores numéricos em torno da média.

Variância baixa indica dados concentrados ao redor da média.

Variância alta indica dados dispersos. O mesmo se aplica ao desvio padrão.

Intervalos interquartis

Quantifica dispersão dos dados ao redor da mediana. Para entendê-los precisamos da ideia de percentis.

Intervalos interquartis

Quantifica dispersão dos dados ao redor da mediana. Para entendê-los precisamos da ideia de percentis.

Quando os dados são ordenados, chamamos de percentis as faixas de corte que separam os dados em x% dos valores mais baixos.

Os valores de x mais utilizados são:

• 25% (o primeiro quartil, ou Q1);

• 50% (segundo quartil, ou mediana); ou

• 75% (terceiro quartil, ou Q3).

Intervalos interquartis

Quantifica dispersão dos dados ao redor da mediana. Para entendê-los precisamos da ideia de percentis.

Quando os dados são ordenados, chamamos de percentis as faixas de corte que separam os dados em x% dos valores mais baixos.

Os valores de x mais utilizados são:

• 25% (o primeiro quartil, ou Q1);

• 50% (segundo quartil, ou mediana); ou

• 75% (terceiro quartil, ou Q3).

O intervalo interquartil (IIQ) é dado pela diferença Q3 - Q1.

Diante dessas definições, podemos construir boxplots.

OUTLIERS  E BOXPLOT

Com o boxplot é possível visualizarmos a dispersão dos dados ao redor da mediana.

Boxplots também são usados para identificarmos outliers, cuja caracterização dependerá do contexto.

outliers  e boxplot

No nosso caso, temos o seguinte:

Não temos outliers, porém temos valores distantes da média e mediana

O que Fazer Quando outliers são

"um problema"?

Muitas vezes, outliers podem distorcer uma estatística (como vimos, no caso da média).

Em caso como este, não é incomum:

Muitas vezes, outliers podem distorcer uma estatística (como vimos, no caso da média).

Em caso como este, não é incomum:

• Ignorarmos os outliers;
• Substituirmos outliers por valores mais significativos (como a média ou mediana);
• Separarmos os outliers do restante dos dados e tratá-los à parte.

exemplos extras e recomendações

Recebi ofertas de emprego de duas empresas com mesma média salarial!

Recebi ofertas de emprego de duas empresas com mesma média salarial!

1.   Sou um estagiário?  

2.   SOU UM CEO?   

 SE LEVARMOS EM CONTA SOMENTE A REMUNERAÇÃO, COMO USAR A VARIÂNCIA DE SALÁRIO (SE ALTA OU BAIXA) PARA DECIDIR EM QUAL DELAS É MELHOR TRABALHAR SE:

Recebi ofertas de emprego de duas empresas com mesma média salarial!

1.   Sou um estagiário?  

2.   SOU UM CEO?   

 SE LEVARMOS EM CONTA SOMENTE A REMUNERAÇÃO, COMO USAR A VARIÂNCIA DE SALÁRIO (SE ALTA OU BAIXA) PARA DECIDIR EM QUAL DELAS É MELHOR TRABALHAR SE:

Var. baixa é melhor!

Recebi ofertas de emprego de duas empresas com mesma média salarial!

1.   Sou um estagiário?  

2.   SOU UM CEO?   

 SE LEVARMOS EM CONTA SOMENTE A REMUNERAÇÃO, COMO USAR A VARIÂNCIA DE SALÁRIO (SE ALTA OU BAIXA) PARA DECIDIR EM QUAL DELAS É MELHOR TRABALHAR SE:

Var. baixa é melhor!

Var. alta é melhor!

qual a diferença entre os alvos de cima e os de baixo?

Livro:
“Noise, a flaw in human judgement”,
Kahneman, Sibony, e Sunstein, 2021

qual a diferença entre os alvos de cima e os de baixo?

Maior Variância

Livro:
“Noise, a flaw in human judgement”,
Kahneman, Sibony, e Sunstein, 2021

qual a diferença entre os alvos de cima e os de baixo?

Maior Variância

Maior Viés

Livro:
“Noise, a flaw in human judgement”,
Kahneman, Sibony, e Sunstein, 2021

Em um relatório de apresentação de resultados encontramos a seguinte frase:

“... constatamos que depois da contratação do novo serviço de cantina, a média de espera em fila caiu em mais de  20 minutos: na média, hoje espera-se 5 minutos em fila, com variância 4 minutos².”

Existe algum erro nessa frase?

variância ou desvio padrão?

variância ou desvio padrão?

Em um relatório de apresentação de resultados encontramos a seguinte frase:

“... constatamos que depois da contratação do novo serviço de cantina, a média de espera em fila caiu em mais de  20 minutos: na média, hoje espera-se 5 minutos em fila, com variância 4 minutos².”

Existe algum erro nessa frase?

Sim, pois a medida da variância está diferente da medida da média. Portanto precisamos tirar a raíz para termos o DESVIO PADRÃO

curiosidade - curva de pareto

É muito comum na área de negócios utilizarmos os dados ordenados (do maior para o menor) e acumulados para gerarmos uma curva, conhecida como curva de Pareto.

8  empresas sozinhas  “fizeram” 80% das  vendas de 2023.

histograma

Histogramas são gráficos de barras, onde o eixo horizontal representa (faixas de) valores coletados, enquanto o eixo vertical denota a frequência dos valores obtidos.

Explore How Income Influences Attendance at 139 Top Colleges, New York times, 11 de Setembro de 2023

até agora vimos tudo com apenas 1 variável. mas e se precisarmos realizar estudos com 2 ou mais variáveis

Por exemplo, uma pergunta que poderíamos tentar responder: o número de horas de treinamento de um vendedor impacta na sua média mensal de vendas? 

gráfico de dispersão

Imaginem o seguinte gráfico para o ano de 2023

Aparentemente as horas de treinamento impactam a média de vendas positivamente.

correlação é um número que aponta a associação entre 2 variáveis

onde cov denota a covariância entre x e y, calculada como

Correlação varia entre -1 e 1. Quanto mais próximo desses extremos, mais uma variável pode ser usada para explicar o comportamento médio da outra.

reta da equação de regressão

No caso estudado, temos:

Primeiramente, calculamos o centro médio da nuvem de pontos.

Se calcularmos correlação (denotada como r), variâncias amostrais em x e y, podemos traçar uma “tendência” dos dados a partir do seu centro médio.

No caso estudado, temos:

reta da equação de regressão

Para os dados que temos, obtivemos correlação r = 0.89.
Como interpretar esse índice?

No caso estudado, temos:

reta da equação de regressão

A leitura que se faz é a seguinte: associado a um aumento de 𝜎x em x, há um aumento médio de r 𝜎y  em y.

No caso estudado, temos:

reta da equação de regressão

A reta que traçamos é conhecida como reta de regressão de y em x.

No caso estudado, temos:

reta da equação de regressão

Probabilidade

De certa maneira, todos nós temos uma ideia intuitiva de como se calcula a probabilidade de alguns eventos.

Por exemplo: se retirássemos uma bolinha aleatoriamente da caixa acima, qual a probabilidade dela ser vermelha?

De certa maneira, todos nós temos uma ideia intuitiva de como se calcula a probabilidade de alguns eventos.

Por exemplo: se retirássemos uma bolinha aleatoriamente da caixa acima, qual a probabilidade dela ser vermelha?

Evento Aleatório

situação ou acontecimento no qual há incerteza não podendo ser previsto com certeza.

PREVISÃO DO TEMPO, LOTERIAS, JOGOS DE FUTEBOL, CARA-COROA, LANÇAMENTO DE DADO.

espaço amostral

Conjunto de todos os possíveis resultados de um evento aleatório.

Os subconjuntos do espaço amostral são chamados “eventos.” Visualmente, podemos entendê-los como divisões de um terreno de área total 1.

probabilidade

Dado que temos um espaço amostral com eventos que o constituem, podemos quantificar a ideia de incerteza introduzindo a noção de probabilidade.

Probabilidade:  é uma função avaliada em subconjuntos de um espaço amostral E, de tal forma que

Variável aleatória (v.a.): é uma função X que assume valores seguindo uma lei probabilistica: 

Exemplo:

Um dado não viciado modela a seguinte Variável aleatória (v.a.):

Variável aleatória (v.a.): é uma função X que assume valores seguindo uma lei probabilistica: 

Exemplo:

Um dado não viciado modela a seguinte Variável aleatória (v.a.):

Ou seja:

Variável aleatória (v.a.): é uma função X que assume valores seguindo uma lei probabilistica: 

variáveis independentes

Um outro conceito muito importante é o de independência de eventos.

Eventos independentes: dois eventos A e B são independentes quando a seguinte propriedade é válida:

qual a probabilidade de jogarmos dados 2 vezes e tirarmos os Números 1 e 2 (Em qualquer ordem)?

qual a probabilidade de jogarmos dados 2 vezes e tirarmos os Números 1 e 2 (Em qualquer ordem)?

Chance

de tirarmos

1 e 2

qual a probabilidade de jogarmos dados 2 vezes e tirarmos os Números 1 e 2 (Em qualquer ordem)?

Chance

de tirarmos

1 e 2

Chance

de tirarmos

2 e 1

qual a probabilidade de jogarmos dados 2 vezes e tirarmos os Números 1 e 2 (Em qualquer ordem)?

Chance

de tirarmos

1 e 2

Chance

de tirarmos

2 e 1

Dado que numa corrente a probabilidade de um elo quebrar é de 1%, qual é a chance de uma corrente com 50 elos independentes se romper?

(*)

Sabemos que

Dado que numa corrente a probabilidade de um elo quebrar é de 1%, qual é a chance de uma corrente com 50 elos independentes se romper?

(*)

Por independência, temos que

Sabemos que

Dado que numa corrente a probabilidade de um elo quebrar é de 1%, qual é a chance de uma corrente com 50 elos independentes se romper?

Dado que numa corrente a probabilidade de um elo quebrar é de 1%, qual é a chance de uma corrente com 50 elos independentes se romper?

Logo, por (*), a chance de rompimento é de quase 30%!

(*)

Por independência, temos que

Sabemos que

Algumas distribuições

Distribuição Uniforme (discreta):
U é distribuída com pesos iguais para todo possível resultado

Distribuição Bernoulli:

Y é variável aleatória com dois possíveis valores, por ex, 0 e 1.

Algumas distribuições

Distribuição Uniforme (discreta):
U é distribuída com pesos iguais para todo possível resultado

Distribuição Bernoulli:

Y é variável aleatória com dois possíveis valores, por ex, 0 e 1.

Distribuição Uniforme (contínua)

U é distribuída com pesos iguais para todo possível intervalo de mesmo tamanho

Distribuição Uniforme (contínua)

Curiosamente, se geramos um grande número de variáveis uniformes independentes e plotarmos o histograma, obtemos uma curva parecida com a função densidade de probabilidade.

Distribuição exponencial

Y é variável aleatória que assume valores não-negativos, com alta probabilidade de valores próximos a zero e baixa probabilidade de valores altos.

Distribuição exponencial

Como no caso anterior, se geramos um grande número de variáveis uniformes independentes e plotarmos o histograma, obtemos uma curva parecida com a função densidade de probabilidade.

Distribuição normal

A mais utilizada. Modela diversos fenômenos: taxa de crescimento de uma ação com relação ao dia anterior, distribuição de estaturas numa população etc.

Probabilidades 

são calculadas por

onde

O teorema central do Limite

O maior motivo pelo qual a distribuição normal é utilizada é o seguinte

O teorema central do Limite

O maior motivo pelo qual a distribuição normal é utilizada é o seguinte

média

amostral

desvio padrão amostral

O teorema central do Limite

Por exemplo: se plotarmos o histograma de              em amostras de

tamanho n, onde Xi foi extraído de uma uniforme (0,1), obtemos as seguintes visualizações

O teorema central do Limite

Por exemplo: se plotarmos o histograma de              em amostras de

tamanho n, onde Xi foi extraído de uma exponencial, obtemos as seguintes visualizações

O teorema central do Limite

Em resumo

• Quanto maior N, melhor a aproximação.

• Acima de tudo, este resultado é universal, não dependendo da distribuição de X.

Exemplo de uso do teorema central do Limite

A empresa resolveu fazer uma promoção em suas bebidas, atribuindo tampas premiadas aleatoriamente a 10% da sua produção.

Em um engradado com 50 garrafas, qual é a chance de  termos 10 ou mais delas premiadas?

Exemplo de uso do teorema central do Limite

Podemos modelar o problema da

seguinte forma:

uma garrafa é uma variável aleatória de valor 1 se premiada,

ou valor 0 caso contrário.

Exemplo de uso do teorema central do Limite

Note que a pergunta que foi feita é equivalente à seguinte:

Exemplo de uso do teorema central do Limite

Note que a pergunta que foi feita é equivalente à seguinte:

Ou seja, podemos calcular a probabilidade da média amostral ser maior que                            

(a média amostral observada).

Exemplo de uso do teorema central do Limite

Note que a pergunta que foi feita é equivalente à seguinte:

Ou seja, podemos calcular a probabilidade da média amostral ser maior que                            

(a média amostral observada).

Agora, usamos o TCL:

Exemplo de uso do teorema central do Limite

Note que a pergunta que foi feita é equivalente à seguinte:

Ou seja, podemos calcular a probabilidade da média amostral ser maior que                            

(a média amostral observada).

Agora, usamos o TCL:

Exemplo de uso do teorema central do Limite

Note que a pergunta que foi feita é equivalente à seguinte:

Ou seja, podemos calcular a probabilidade da média amostral ser maior que                            

(a média amostral observada).

Agora, usamos o TCL:

(aprox.) Normal com média 0 e variância 1

Exemplo de uso do teorema central do Limite

Note que a pergunta que foi feita é equivalente à seguinte:

Ou seja, podemos calcular a probabilidade da média amostral ser maior que                            

(a média amostral observada).

Agora, usamos o TCL:

(aprox.) Normal com média 0 e variância 1

Recomendações

• https://www.alura.com.br/artigos/media-ou-mediana-entendendo-cada-uma

• https://www.alura.com.br/artigos/o-que-e-um-histograma

• https://www.alura.com.br/artigos/funcao-de-autocorrelacao

Quem é

Rafael Monteiro é formado em Matemática Aplicada pela USP, SP. 

Passou alguns anos morando no RJ para fazer um mestrado em modelagem matemática e computacional no IMPA, de onde seguiu para um PhD na Indiana University, nos EUA.

Seguiu na área acadêmica por alguns anos, até chegar no mundo industrial, onde trabalha com data science & data analytics, além de atuar como consultor. 

Você pode encontrá-lo no linkedin.