Flaky Tests

Você confia na sua suite de testes?

É considerado Flaky Test aquele teste que sem nenhuma alteração de código passa de um test "passando" para "falhando"

 “Um teste não confiável não é um teste.”

Nem tudo é fácil, senta que lá vem história.

Build de 2h com 1 teste funcional falhando

O que você faz?

Rodar de novo, mas...

Imagina depois de 10 builds falhando...

 

Qual teste falha de vez em quando?

Qual eu tenho que alterar?

Por que um teste pode falhar?

Concorrência
Dependência externa
Problemas de infra
Problema no "Timing"

Setup (estado conhecido) ...

Como resolvemos?

Flaky tests no azure devops

A piramide de testes

Made with Slides.com