Мутационное тестирование в PHP

Макс Рафалко

Минск, Беларусь

Infection

@infection_php

Макс Рафалко

Что же такое

Code Coverage?

@maks_rafalko

Типы Code Coverage

  • Line Coverage
  • Branch Coverage
  • Condition Coverage
function fibonacci(int $n) {
+    return ($n === 0 || $n === 1) ? $n : fibonacci($n - 1) + fibonacci($n - 2);
}

fibonacci(0); // 0

0, 1, 1, 2, 3, 5, 8, 13, 21, 34 ...

@maks_rafalko

Path Coverage в PHPUnit

@maks_rafalko

<?xml version="1.0" encoding="UTF-8"?>
<phpunit xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:noNamespaceSchemaLocation="https://schema.phpunit.de/9.3/phpunit.xsd">
    <testsuites>
        <testsuite name="default">
            <directory>tests</directory>
        </testsuite>
    </testsuites>

    <coverage pathCoverage="true">
        <include>
            <directory suffix=".php">src</directory>
        </include>
    </coverage>
</phpunit>

https://doug.codes/php-code-coverage

Тип Line Coverage

  • Показывает выполненные строки, а не протестированные

Покрытие кода, 100%

Протестированный

код, 60%

Проблема #1

@maks_rafalko

class IdGenerator
{
    public function uuid(): string
    {
        // generating logic ...

        return $id;
    }
}

Проблема #2: неявное покрытие

@maks_rafalko

class UserCreator
{
    public function __construct(
        private IdGenerator $idGenerator
    ) {}

    public function create(string $name, int $age): User
    {
        // some logic ...

        return new User(
            $this->idGenerator->uuid(),
            $age,
            $name
        );
    }
}

Проблема #2: неявное покрытие

@maks_rafalko

class UserCreatorTest extends TestCase
{
    public function test(): void
    {
        $userCreator = new UserCreator(
            new IdGenerator()
        );

        self::assertInstanceOf(
            User::class,
            $userCreator->create('Ivan', 33)
        );

        // .. other asserts
    }
}

Проблема #2: неявное покрытие

@maks_rafalko

@covers

<phpunit>
    <!-- ... -->

    <listeners>
        <listener class="Symfony\Bridge\PhpUnit\CoverageListener" />
    </listeners>
</phpunit>
/**
 * @covers App\UserCreator
 */
class UserCreatorTest extends TestCase
{
    public function test(): void
    {
        $userCreator = new UserCreator(
            new IdGenerator()
        );

        // ...
    }
}

@maks_rafalko

Code Coverage помечает как выполненный весь "затронутый" код

 

Используйте @covers-аннотацию

@maks_rafalko

https://martinfowler.com/bliki/TestCoverage.html

@maks_rafalko

Coverage показывает, какой код не протестирован

https://martinfowler.com/bliki/AssertionFreeTesting.html

"Assertion Free"-тестирование

@maks_rafalko

Эксперимент

@maks_rafalko

100% Coverage ничего не говорит о качестве тестов

@maks_rafalko

Как измерить качество автоматических тестов?

Мутационное Тестирование

@maks_rafalko

Терминология Мутационного Тестирования

  • Mutation - единичное изменение кода
- $a = $b + $c;
+ $a = $b - $c;
  • Mutant - мутированный исходный код
  • Mutation Operator
Оригинал Мутация
> >=
=== !==
&& ||
'/^test$/' '/test$/' и '/^test/'
return true; return false;
foreach ($someVar as …) foreach ([] as …);
... ...

@maks_rafalko

Алгоритм Мутационного Тестирования

  • Шаг за шагом мутируем исходный код
  • Запускаем тесты для каждого Мутанта
  • Тесты падают - Мутант считается убитым 👍
  • Тесты проходят - Мутант считается выжившим 👎
  • Получаем метрику (Mutation Score Indicator)
  • Идемпотентность
MSI = (TotalKilledMutants / TotalMutantsCount) * 100;

@maks_rafalko

                        Тест #
Мутант #		 1 2 3 4 5 6 7 8 Результат
         1 ("+" ➝ "-") ✅ ✅ ✅ ❌ Убит
         2 (">" ➝ ">=") ⏳
         3 ("==" ➝ "!=)
         4 (true ➝ false)

@maks_rafalko

                        Тест #
Мутант #		 1 2 3 4 5 6 7 8 Результат
         1 ("+" ➝ "-") ✅ ✅ ✅ ❌ Убит
         2 (">" ➝ ">=") ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ Выжил
         3 ("==" ➝ "!=) ⏳
         4 (true ➝ false)

@maks_rafalko

                        Тест #
Мутант #		 1 2 3 4 5 6 7 8 Результат
         1 ("+" ➝ "-") ✅ ✅ ✅ ❌ Убит
         2 (">" ➝ ">=") ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ Выжил
         3 ("==" ➝ "!=) ✅ ❌ Убит
         4 (true ➝ false) ✅ ✅ ❌ Убит

@maks_rafalko

class UserAgeFilter
{
    private const AGE_THRESHOLD = 18;

    private int $ageThreshold;

    public function __construct(int $ageThreshold = self::AGE_THRESHOLD)
    {
        $this->ageThreshold = $ageThreshold;
    }

    /** @param array<int, User> $collection */
    public function __invoke(array $collection)
    {
        return array_filter(
            $collection,
            function (User $user) {
                return $user->getAge() >= $this->ageThreshold;
            }
        );
    }
}

Пример

public function test_it_filters_adults(): void
{
    $users = [
        User::withAge(20),
    ];

    $filter = new UserAgeFilter();

    $filteredUsers = $filter($users);

    assertCount(1, $filteredUsers);
}

@maks_rafalko

Infection

PHP Mutation Testing Library

@maks_rafalko

Результат

class UserAgeFilter
{
    // ...

    /** @param array<int, User> $collection */
    public function __invoke(array $collection)
    {
-        return array_filter($collection, function (User $user) {
-            return $user->getAge() >= $this->ageThreshold;
-        });
+        return $collection;
    }
}

Мутация #1

@maks_rafalko

public function test_it_filters_adults(): void
{
    $users = [
        User::withAge(20),
    ];

    $filter = new UserAgeFilter();

    $filteredUsers = $filter($users);

    assertCount(1, $filteredUsers);
}

@maks_rafalko

public function test_it_filters_adults(): void
{
    $users = [
+       User::withAge(15),
        User::withAge(20),
    ];

    $filter = new UserAgeFilter();

    $filteredUsers = $filter($users);

    assertCount(1, $filteredUsers);
}

@maks_rafalko

@maks_rafalko

class UserAgeFilter
{
    // ...

    /** @param array<int, User> $collection */
    public function __invoke(array $collection)
    {
        return array_filter(
            $collection,
            function (User $user) {
-                return $user->getAge() >= $this->ageThreshold;
+                return $user->getAge() > $this->ageThreshold;
            }
        );
    }
}

Мутация #2

@maks_rafalko

public function test_it_filters_adults(): void
{
    $users = [
        User::withAge(15),
        User::withAge(20),
    ];

    $filter = new UserAgeFilter();

    $filteredUsers = $filter($users);

    assertCount(1, $filteredUsers);
}

@maks_rafalko

public function test_it_filters_adults(): void
{
    $users = [
        User::withAge(15),
+       User::withAge(18),
        User::withAge(20),
    ];

    $filter = new UserAgeFilter();

    $filteredUsers = $filter($users);

-   assertCount(1, $filteredUsers);
+   assertCount(2, $filteredUsers);
}

@maks_rafalko

@maks_rafalko

public function deactivateInactiveUsers(): void
{
    $users = $this->userRepository->findInactiveUsers();

    foreach ($users as $user) {
        $user->deactivate();

-       $this->entityManager->persist($user);
    }

    $this->entitymanager->flush();
}

Мутационное Тестирование находит бесполезный код

public function deletePhoneNumber(User $data, int $id): void
{
    // ...

    $data->getPhoneNumbers()->removeElement($phoneNumber);
-   $this->em->remove($phoneNumber);

    $this->em->flush();
}

Мутационное Тестирование находит бесполезный код

Проблемы

  • Скорость (N * t)
    • N - количество Мутантов
    • ​t - время выполнения тестов​
  • Эквивалентные Мутанты
- $a = $b * (-1);
+ $a = $b / (-1);
- $a = $b * $c;
+ $a = $b / $c;

@maks_rafalko

Как ускорить Мутационное Тестирование?

  • Запускать тесты только для мутированной строки
  • Запускать наиболее быстрые тесты первыми
  • Запускать мутации параллельно
  • Избегать бесполезные мутации
  • Запускать МТ только для измененных файлов
- $result = [$a, $b] + [$c, $d];
+ $result = [$a, $b] - [$c, $d];

@maks_rafalko

infection --git-diff-filter=AM --git-diff-base=master

https://infection.github.io/guide/command-line-options.html#git-diff-filter

Запуск для измененных файлов

@maks_rafalko

Запуск "убивающих" тестов первыми

@maks_rafalko

                        Тест #
Мутация #		 1 2 3 Результат
                1 ✅ 0.132с ✅
0.387с		 ❌
0.399с		 Убит
                2 ✅ ✅ ✅ Выжил
                3 ✅ ❌ Убит
                4 ✅ ✅ ❌ Убит

RFC https://github.com/infection/infection/issues/1519

@maks_rafalko

                        Тест #
Мутация #		 1 2 3 Результат
                1 ❌
0.399с		 ✅
0.387с		 ✅ 0.132с Убит
                2 ✅ ✅ ✅ Выжил
                3 ❌ ✅ Убит
                4 ❌ ✅ ✅ Убит

RFC https://github.com/infection/infection/issues/1519

Запуск "убивающих" тестов первыми

@maks_rafalko

                        Тест #
Мутация #		 1 2 3 Результат
                1 ❌
0.399с		 Убит
                2 ✅ ✅ ✅ Выжил
                3 ❌ Убит
                4 ❌ Убит

RFC https://github.com/infection/infection/issues/1519

Запуск "убивающих" тестов первыми

Как использовать МТ ежедневно?

  • Пишете новый функционал, покрываете тестами
  • Запускаете Infection
$ infection --git-diff-filter=AM --threads=4 --show-mutations
  • Запуск на CI сервере
$ infection --min-covered-msi=100

@maks_rafalko

5) /srv/api/src/User/Status/StatusTransitioner.php:22    [M] PublicVisibility

--- Original
+++ New
@@ @@

-    public function isAllowedTransitionTo(User $user, UserStatus $toStatus) : bool
+    protected function isAllowedTransitionTo(User $user, UserStatus $toStatus) : bool
     {
         if ($user->isDraft()) {
             return $toStatus->isActive() || $toStatus->isDeleted();

Как МТ помогает с Code Review?

@maks_rafalko

Infection Playground

@maks_rafalko

https://infection-php.dev

Infection Playground

@maks_rafalko

https://infection-php.dev

Поддерживаемые фреймворки:

  • PHPUnit
  • Pest
  • Codeception
  • phpspec

 

Поддерживаемые Coverage драйвера:

  • Xdebug
  • phpdbg        
  • pcov

 

Версии PHP: ^7.1 || ^8.0

@maks_rafalko

AST

Abstract Syntax Tree

@maks_rafalko

Абстрактные Синтаксические Деревья

$a = $b + $c;

array(
    0: Expr_Assign(
        var: Expr_Variable(
            name: a
        )
        expr: Expr_BinaryOp_Plus(
            left: Expr_Variable(
                name: b
            )
            right: Expr_Variable(
                name: c
            )
        )
    )
)

=

a

+

b

c

https://github.com/nikic/PHP-Parser

@maks_rafalko

array(
    0: Expr_Assign(
        var: Expr_Variable(
            name: a
        )
-        expr: Expr_BinaryOp_Plus(
+        expr: Expr_BinaryOp_Minus(
            left: Expr_Variable(
                name: b
            )
            right: Expr_Variable(
                name: c
            )
        )
    )
)

=

a

-

b

c

Code → AST → Мутация AST → Мутант

- $a = $b + $c;
+ $a = $b - $c;

@maks_rafalko

final class Plus extends Mutator
{
    /**
     * Replaces "+" with "-"
     *
     * @param Node\Expr\BinaryOp\Plus $node
     */
    public function mutate(Node $node): iterable
    {
        yield new Node\Expr\BinaryOp\Minus($node->left, $node->right, $node->getAttributes());
    }

    public function canMutate(Node $node): bool
    {
        if (!$node instanceof Node\Expr\BinaryOp\Plus) {
            return false;
        }

        if ($node->left instanceof Array_ || $node->right instanceof Array_) {
            return false;
        }

        return true;
    }
}

Выводы

  • Более надежные тесты
  • Меньше ошибок в коде
  • Помощь в Code Review
  • Поиск мертвого и бесполезного кода
  • "Condition coverage" вместо "Line Coverage"

@maks_rafalko

 

@maks_rafalko

Ссылки

Вопросы?

Made with Slides.com