Elo7 - Introd. a DP

Por que DP?

(Ou por que usar matemática em privacidade)

Análise de Dados com Privacidade

Publicar análise estatística

Objetivo:

Tomar decisões com base em dados

Usar um modelo de machine learning

Sem revelar informação privada de ninguém

Exemplos

Publicar anualmente estatisticas sobre salários

Mas o que eu quero dizer com "informação privada"?

Treinar modelos de ML

Liberar informação histórica

O Que é Informação Privada

Pergunta:

O que é informação privada?

Dados com informações médicas de fumantes e não fumantes

Análise revela fumantes tem mais chance de ter câncer

Participantes fumantes podem ter problemas com seguro

Descobrir pessoa é fumante sem ela ter revelado essa info

Informação privada foi vazada nesse caso?

Conclusão não depende de uma pessoa específica

NÃO

Objetivo:

Aprender sobre a população sem aprender sobre qualquer pessoa em específico

Anonimizar os Dados Não Basta

O caso do Prêmio Netflix

Anonimizar os Dados Não Basta 2

NYC Taxi Driver Dataset

Campos (anonimizados):

medallion, hack license

Campos (anonimizados):

Reddit percebeu um padrão...

Esse usuário aqui faz MUITAS corridas

cfcd208495d565ef66e7dff9f98764da

Taxi "NULL"

md5 0

Anonimizar os Dados Não Basta 3

Onde DP é Usada

https://desfontain.es/privacy/real-world-differential-privacy.html

US Census, Facebook, Microsoft, Google, Apple, Linkedin

O Que é DP?

Modelo de Computação

Servidor Confiável

Limite de Confiança

Local

Differential Privacy

Adversário

Differential Privacy - Ideia

Ted's blog: https://desfontain.es/privacy/differential-privacy-in-more-detail.html

O Que É Differential Privacy

Algoritmo (média, mediana, fit de modelo de ML)

\mathcal{M}

D, D'

Bancos de dados diferindo em uma entrada

\mathbb{P}(\mathcal{M(D)} \in A) \leq e^{\varepsilon} \cdot \mathbb{P}(\mathcal{M(D')} \in A)

\(\mathcal{M}\) é \(\varepsilon\)-DP se, para qualquer conjunto de possiveis resultados \(A\),

\varepsilon

"Privacy budget"

(menor = mais privado)

"Mudar só um usuário não muda muito o resultado"

"Um usuário participar não afeta a chance de algo ruim acontecer"

Análise de pior caso

O Que É Differential Privacy

Ted's blog: https://desfontain.es/privacy/differential-privacy-in-more-detail.html

Exemplo - Randomized Response

Cada usuário

Cada usuário tem uma resposta binária: SIM ou NÃO

Responde Verdade

com probabilidade 3/4

Responde Mentira

com probabilidade 1/4

\displaystyle \Bigg \{

\mathcal{M(D)} =

% de usuários com resposta SIM

\(\log 3\)-Differentially Private

Local

Propriedades - Pós-processamento

Nenhum tipo de pós-processamento (sem acesso a dados) pode destruir a garantia de privacidade

f(\mathcal{M(D)})

\(\varepsilon\)-DP

Impossível extrair mais informação só do resultado de um algoritmo DP

\mathcal{M(D)}

\(\varepsilon\)-DP

f

Função de pós-proc.

\displaystyle \Bigg\}

Propriedades - Composição

Se mais informação privada é liberada de forma DP, as garantias degradam de forma graciosa

\mathcal{M}_2(\mathcal{M}_1(D),D)

\((\varepsilon_1 + \varepsilon_2)\)-DP

Mesmo se um mesmo usuário tem mais de uma entrada nos dados, ainda temos garantias de privacidade

\mathcal{M}_1(D)

\(\varepsilon_1\)-DP

\displaystyle \Bigg\}

\mathcal{M}_2(\textrm{aux}, D)

\(\varepsilon_2\)-DP

Differential Privacy Aproximada

As vezes \(\varepsilon\)-DP pode ser muito estringente

\(0.1\)-DP quase sempre, mas raramente acontece de ser \(15\)-DP

D, D'

Bancos de dados diferindo em uma entrada

\mathbb{P}(\mathcal{M(D)} \in A) \leq e^{\varepsilon} \cdot \mathbb{P}(\mathcal{M(D')} \in A)

\(\mathcal{M}\) é \((\varepsilon, \delta)\)-DP se, para qualquer conjunto de possiveis resultados \(A\),

+~~ \delta

Com probabilidade \(\delta\), o alg. \(\mathcal{M}\) é \(\varepsilon\)-DP.

\(\varepsilon \approx 0.1, 1, 8\)

\(O(1)\)

\(\delta \ll 1/n\)

\(O(1/n^{\omega(1)})\)

Differential Privacy Aproximada

Differential Privacy aproximada é mais fácil de garantir

mas pode ser muito fraca!

Um algoritmo que revela todos os dados com

probabilidade \(\delta\) é \((0, \delta)\)-DP

Um exemplo mais natural:

Cada usuário tem probabilidade \(\delta\) de vazar informação privada

\(n \) usuários \(\implies\) \(\approx \delta \cdot n\) probabilidade de dados vazarem

\(\delta \approx 1/n\) significa alta chance de dados vazarem

\((0, \delta)\)-DP

\(\delta > 1/n\) não garante muita coisa

Como é DP?

('return result + rand(10)' )

Exemplo Corrente - Média

x_1, \dotsc, x_n

vetores com \(d\) dimensões de um conj.

\(d = 1\) são números, o suficiente para entender quase tudo

Impossível calcular média DP de números de tamanho arbitrário

\mathcal{X}

\displaystyle \Bigg \}

D

Queremos calcular

f(D) = \displaystyle \frac{1}{n}\sum_{i = 1}^n x_i

de forma privada

Os algoritmos vão depender da sensibilidade da média

\displaystyle \Delta_1 = \max_{D,D' \in \mathcal{X}^n} \lVert{f(D) - f(D')}\rVert_1

vizinhos

Mecanismo Laplace

x_1, \dotsc, x_n

\displaystyle \Bigg \}

D

\in \mathcal{X}

Queremos calcular

f(D) = \displaystyle \frac{1}{n}\sum_{i = 1}^n x_i

de forma privada

\displaystyle \Delta_1 = \max_{D,D' \in \mathcal{X}^n} \lVert{f(D) - f(D')}\rVert_1

vizinhos

Algoritmo \(\varepsilon\)-DP:

\displaystyle \mathcal{M}(D) = \frac{1}{n} \sum_{i = 1}^n x_i + \mathrm{Lap}\Big(\frac{\Delta_1}{\varepsilon}\Big)

Mecanismo Gaussiano

\displaystyle \Delta_1 = \max_{D,D' \in \mathcal{X}^n} \lVert{f(D) - f(D')}\rVert_1

vizinhos

Algoritmo \((\varepsilon, \delta)\)-DP:

\displaystyle \mathcal{M}(D) = \frac{1}{n} \sum_{i = 1}^n x_i + \mathcal{N}\Bigg(0, O\Big(\log\Big(\frac{1}{\delta}\Big)\frac{\Delta_2^2}{\varepsilon^2} \Big)\Bigg)

Sensibilidade \(\ell_2\)

\displaystyle \Delta_2 \leq \Delta_1 \leq \sqrt{d} \cdot \Delta_2

Dependencia na dimensão pode ser muito melhor

\displaystyle \Delta_2 = \max_{D,D' \in \mathcal{X}^n} \lVert{f(D) - f(D')}\rVert_2

vizinhos

Machine Learning - Exemplos

Alguns exemplos de como treinar modelos de ML com DP

Use dados tratados com DP na fonte

Output perturbation

Adiciona ruido no modelo

Objective perturbation

Adiciona ruido na loss function

Algumas técnicas mais "famosas"

Stochastic Gradient Descent com (mais) ruido

DP-SGD

Private fine-tuning

Private aggregation

PATE

Além do Básico de DP

Controle Fino de Privacidade

\displaystyle \mathcal{L}_{D, D'} = \log \Bigg( \frac{\mathbb{P}(\mathcal{M}(D) = o)}{\mathbb{P}(\mathcal{M}(D') = o)}\Bigg)

Privacy Loss Random Variable

o \sim \mathcal{M}(D)

onde

Mas \(\mathcal{L}_{D, D'}\) tem uma distribuição, as definições acima são bem simplistas

Concentrated DP, zero Concentrated DP, Renyi DP, etc...

\(\varepsilon\)-DP

\displaystyle \mathcal{L}_{D, D'} \leq \varepsilon

\iff

com probabilidade 1

\((\varepsilon, \delta)\)-DP

\iff

\displaystyle \mathcal{L}_{D, D'} \leq \varepsilon

com probabilidade \(1 - \delta\)

Catadão de Tópicos

Exponential Mechanism

Sanitização de Banco de Dados - Histogramas e Queries

Private Multiplicative Weights Update

"Local" Sensitivity

Adaptive Data Analysis

Composição Avançada

Catadão de Fontes

Livro/Survey: Aaron Roth & Cynthia Dwork

Curso Online de Waterloo: Gautam Kamath - Fall 2020

Ted's Blog: https://desfontain.es/privacy/

Uma Introdução Sucinta a Differential Privacy

Por que DP?

Análise de Dados com Privacidade

O Que é Informação Privada

Anonimizar os Dados Não Basta

Anonimizar os Dados Não Basta 2

Anonimizar os Dados Não Basta 3

Onde DP é Usada

O Que é DP?

Modelo de Computação

Differential Privacy - Ideia

O Que É Differential Privacy

O Que É Differential Privacy

Exemplo - Randomized Response

Propriedades - Pós-processamento

Propriedades - Composição

Differential Privacy Aproximada

Differential Privacy Aproximada

Como é DP?

Exemplo Corrente - Média

Mecanismo Laplace

Mecanismo Gaussiano

Machine Learning - Exemplos

Além do Básico de DP

Controle Fino de Privacidade

Catadão de Tópicos

Catadão de Fontes

Uma Introdução Sucinta a Differential Privacy