k-means

• Classificação
• Não-Supervisionada
• por Particionamento

É bom

• Simples
• Flexível
• Relativamente rápido
• Mesmo com dados obscuros
• Fácil de entender e implementar

Funcionamento

Desafios

• Determinando o "K"
• Inicializando os "K" centróides
• Aumentando a escala

Determinando o "K"

1. Rodar várias vezes
2. Medir o "erro" 
3. Tomar decisão

Qual o "K" Correto?

Qual o "K" Correto?

Determinando o "K"

Mais de 40 métodos e índices, com 9 principais

Determinando o "K"

Mais de 40 métodos e índices, com 9 principais

Método "Silhouette"

Entre eles: Silhouette, Dendogram, gap

Determinando o "K"

Mais de 40 métodos e índices, com 9 principais

Entre eles: Silhouette, Dendogram, gap

Método "Dendogram"

Determinando o "K"

Mais de 40 métodos e índices, com 9 principais

Método "gap"

Entre eles: Silhouette, Dendogram, gap

Determinando o "K"

Mais de 40 métodos e índices, com 9 principais

Método "gap"

Entre eles: Silhouette, Dendogram, gap

Desafios

• Determinando o "K"
• Inicializando os "K" centróides
• Aumentando a escala

Inicializando "K" Centróides

Método tradicional: Elemento aleatório

2)

1)

3)

5)

4)

6)

Inicializando "K" Centróides

Método otimizado: Elementos distantes (k-means++)

Desafios

• Determinando o "K"
• Inicializando os "K" centróides
• Aumentando a escala

Aumentando a escala

• Otimizações na inicialização
  • k-means||
• Otimizações nas iterações
  • mini-batch (exemplo, sklearn-comparison)
• Paralelismo
  • k-means||
  • MapReduce
  • BSP (Bulk Synchronous Parallel)