Обзор будущих технологий тестирования

@bahmutov

glebbahmutov.com

Глеб Бахмутов

QA Fest

Kiev, 2015

Kensho

Тестирование?

Скучно ...

Приходится делать

Лишний груз

Напиши 100 тестов и заработай $0

// add.js
module.exports = function add(a, b) {
  return a + b;
};

Можно тестировать легко и быстро

// add-spec.js
var add = require('./add');
describe('addition', function () {
  it('adds 2 numbers', function () {
    console.assert(add(2, 3) === 5);
  });
});

Пример теста

Тест!

Автоматическое тестирование

travis-ci.org

Плохой коммит не пройдет

npm install --save-dev pre-git

1

Что мы тестируем?

покрытие кода тестами в GT по умолчанию

Код протестирован

code-coverage / index.html

{
  "/Users/kensho/git/quick-testing/add.js": {
    "path": "/Users/kensho/git/quick-testing/add.js",
    "s": {
      "1": 1,
      "2": 1
    },
    "b": {},
    "f": {
      "1": 1
    },
...

каждая строка кода

каждое условие

каждая функция

Код протестирован

code-coverage.json

За последний месяц

coveralls.io

Каждый файл

Автоматическая документация с примерами

lodash.com/docs#compact

/**
 * Creates an array with all falsey values removed. 
 * The values `false`, `null`,
 * `0`, `""`, `undefined`, and `NaN` are falsey.
 *
 * @static
 * @memberOf _
 * @category Array
 * @param {Array} array The array to compact.
 * @returns {Array} Returns the new array of filtered values.
 * @example
 *
 * _.compact([0, 1, false, 2, '', 3]);
 * // => [1, 2, 3]
 */
function compact(array) { ... }

_.compact

xplain - тесты в примеры

/**
 * Creates an array with all falsey values removed. 
 * The values `false`, `null`,
 * `0`, `""`, `undefined`, and `NaN` are falsey.
 *
 * @static
 * @memberOf _
 * @category Array
 * @param {Array} array The array to compact.
 * @returns {Array} Returns the new array of filtered values.
 */
function compact(array) { ... }

lodash.js

/**
 * Creates an array with all falsey values removed. 
 ...
 */
function compact(array) { ... }

lodash.js

/**
 * @example compact
 */
it('removes falsy values', function () {
  assert(_.compact([0, 1, false, 2, '', 3]) === [1, 3, 3]);
});

compact-spec.js

xplain lodash.js lodash-spec.js

xplain

Проще: README.md

/**
 * @example compact
 */
it('removes falsy values', function () {
  assert(_.compact([0, 1, false, 2, '', 3]) === [1, 3, 3]);
});

compact-spec.js

xplain lodash.js lodash-spec.js -o README.md

Сложный код

(function foo(a, b) {
  if (a === 42 && b === 20) {
    return baz(a) || 100;
  } else {
    doSomething(a, b);
    doSomethingElse(a + b, b - a);
  }
}(100, 40));

function isCondition(a, b) {
  return a === 42 && b === 20;
}
function compute(a) {
  return baz(a) || 100;
}
function foo(a, b) {
  if (isCondition(a, b)) {
    return compute(a);
  }
  doSomething(a, b);
  doSomethingElse(a + b, b - a);
}
foo(100, 40);

Как измерить?

Измерить легко

jsc, grunt-complexity, complexity-report, plato

CodeClimate.com

Codacy.com

Risk map

плохо

хорошо

glebbahmutov.com/risk-map/

автоматический апгрейд версий

{
  "name": "my app",
  "version": "1.0.0",
  "dependencies": {
    "foo": "0.5.0",
    "bar": "0.1.0"
  }
}

{
  "name": "my app",
  "version": "1.0.0",
  "dependencies": {
    "foo": "0.5.0",
    "bar": "0.1.0"
  }
}

Можно ли автоматически

1. Установить каждую новую версию

2. Прогнать все наши тесты

3. Если

   1. Все тесты работают - использовать новую версию

   2. Что-то перестало работать - оставаться на той же версии

Ответ: next-update

next-update, watch,

modular development blog posts

Качество без тестов ...

Все ошибки - нам

Sentry, Raygun

Know unknown unknowns with Sentry

Вся информация: стэк, переменные и т.д.

Легко и просто

github.com/getsentry/sentry

Престиж в тестирование

// typical AngularJS unit test
describe('typical test', function () {
    var $rootScope, foo;
    beforeEach(function () {
        angular.mock.module('A');
        // other modules
    });
    beforeEach(inject(function (_$rootScope_, _foo_) {
        $rootScope = _$rootScope_;
        foo = _foo_;
    }));
    it('finally a test', function () {
        $rootScope.$apply(); // for example
        expect(foo).toEqual('bar');
    });
});

Краткость - сестра таланта

+ 1000 downloads / month

Мой код - моя визитная карточка