이호성

• Enswers
• DevOps
• Python, Cloud Computing
• 함께하는 개발 
• http://blog.novice.io

• 2014 Pycon Korea 구경
• Pycon 2014 Getting
  Started Testing 

테스팅이 처음이신 분들께

테스팅을 이미 (잘) 하고
계신 분들께

누군가는 여러분의 코드를 테스트 해야 합니다

길게 보면 시간이
절약 됩니다

변경에 대한 자신감을 얻으세요

더 나은 코드를
만들어 줍니다

 Python 은
컴파일러가 없잖아요

수많은 종류의 테스트가 있습니다

• Testing Types

  • Installation testing

  • Compatibility testing

  • Smoke and sanity testing

  • Regression testing

  • Acceptance testing

  • Alpha testing

  • Beta testing

  • Functional vs non-functional testing

  • Destructive testing

  • Software performance testing

  • Usability testing

  • Accessibility testing

  • Security testing

  • Internationalization and localization

  • Development testing

  • A/B testing

  • Concurrent testing

  • Conformance testing or type testing

•  Testing levels

  • Unit testing

  • Integration testing

  • Component interface testing

  • System testing

  • Operational Acceptance testing

• Testing methods

  • Static testing

  • Dynamic testing

  • Whitebox testing

  • Blackbox testing

단위 테스트

(Unit Test)

기능 테스트

(Function Test)

• 개발자 뷰
• 함수 단위
• Mock 을 사용 
• 빠름
• 더 좋은 코드에 기여

• 사용자 뷰
• 요구사항 단위
• Fixture 를 사용
• 느림
• 퇴근에 기여

Portfolio

# portfolio.py from http://nedbatchelder.com/text/st.html#7

class Portfolio(object):
    """간단한 주식 포트폴리오"""
    def __init__(self):
        # stocks is a list of lists:
        #   [[name, shares, price], ...]
        self.stocks = []
 
    def buy(self, name, shares, price):
        """name 주식을 shares 만큼 주당 price 에 삽니다"""
        self.stocks.append([name, shares, price])
 
    def cost(self):
        """이 포트폴리오의 총액은 얼마일까요?"""
        amt = 0.0
        for name, shares, price in self.stocks:
            amt += shares * price
        return amt

첫번째 테스트 - 쉘

Python 3.4.0 (default, Jun 19 2015, 14:20:21) 
[GCC 4.8.2] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> from portfolio import Portfolio
>>> p = Portfolio()
>>> print(p.cost())
0.0
>>> p.buy('Google', 100, 176.48)
>>> p.cost()
17648.0
>>> p.buy('Yahoo', 100, 36.15)
>>> p.cost()
21263.0

• Good
  • 테스트 했어요! 

•   Bad
  • 다시 테스트 하려면? 
  • 직접 입력 
  • 그래서 잘 된건가?

두번째 테스트 - 기대값

from portfolio import Portfolio

p = Portfolio()
print("Empty portfolio cost: %s, should be 0.0" % p.cost())
p.buy('Google', 100, 176.48)
print("With 100 Google @ 176.48: %s, should be 17648.0" % p.cost())
p.buy('Yahoo', 100, 36.15)
print("With 100 Yahoo @ 36.15: %s, should be 21263.0" % p.cost())

• Good
  • 테스트 했음
  • 다시 테스트 할 수 있음
  • 잘 된건지 확인 가능 

•   Bad
  • 눈으로 확인 해야 함

Empty portfolio cost: 0.0, should be 0.0
With 100 Google @ 176.48: 17648.0, should be 17648.0
With 100 Yahoo @ 36.15: 21263.0, should be 21263.0

세번째 테스트 - 결과 확인

from portfolio import Portfolio

p = Portfolio()
print("Empty portfolio cost: %s, should be 0.0" % p.cost())
p.buy('Google', 100, 176.48)
assert p.cost() == 17649.0 # Failed
print("With 100 Google @ 176.48: %s, should be 17648.0" % p.cost())
p.buy('Yahoo', 100, 36.15)
assert p.cost() == 21263.0
print("With 100 Yahoo @ 36.15: %s, should be 21263.0" % p.cost())

• Good
  • 다시 테스트 할 수 있음
  • 잘 된건지 자동으로 확인 가능 

•   Bad
  • 왜 틀렸는지 알기 힘듬
  • 두번째 테스트가 실행 되지 않음

Empty portfolio cost: 0.0, should be 0.0
Traceback (most recent call last):
  File "portfolio_test2.py", line 6, in <module>
    assert p.cost() == 17649.0 # Failed
AssertionError

점점 복잡해 진다. (코드와 함께)

unittest

• 파이썬 표준 라이브러리

• 테스트 자동화 

• 테스트 구조화

• 테스트 결과 보고 

TestCase

독립적인  테스트 단위

TestSuite

TestCase 의 묶음

TestRunner

테스트를 실제로 수행하고
 결과를 레포트 한다.

First Unittest

# portfolio_test3.py
import unittest
from portfolio import Portfolio
    
class PortfolioTest(unittest.TestCase):
    def test_google(self):
        p = Portfolio()
        p.buy("Google", 100, 176.48)
        self.assertEqual(17648.0, p.cost())
    
if __name__ == '__main__':
    unittest.main()

$ python portfolio_test3.py 
.
----------------------------------------------------------------------
Ran 1 test in 0.000s

OK

테스트 추가

# portfolio_test4.py
import unittest
from portfolio import Portfolio

class PortfolioTestCase(unittest.TestCase):
    def test_google(self):
        p = Portfolio()
        p.buy("Goole", 100, 176.48)
        self.assertEqual(17648.0, p.cost())

    def test_google_yahoo(self):
        p = Portfolio()
        p.buy("Google", 100, 176.48)
        p.buy("Yahoo", 100, 36.15)
        self.assertEqual(21264.0, p.cost()) # 21263.0

if __name__ == '__main__':
    unittest.main()

Unittest 실패

$ python portfolio_test4.py
.F
======================================================================
FAIL: test_google_yahoo (__main__.PortfolioTestCase)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "portfolio_test4.py", line 15, in test_google_yahoo
    self.assertEqual(21264.0, p.cost())
AssertionError: 21264.0 != 21263.0

----------------------------------------------------------------------
Ran 2 tests in 0.005s

FAILED (failures=1)

•  Good
  • 테스트 실패가 다른 테스트에 영향을 미치지 않음
  • 실패한 위치와 이유를 알 수 있음

Test 고르기

$ python portfolio_test4.py PortfolioTestCase.test_google_yahoo
F
======================================================================
FAIL: test_google_yahoo (__main__.PortfolioTestCase)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "portfolio_test4.py", line 15, in test_google_yahoo
    self.assertEqual(21264.0, p.cost())
AssertionError: 21264.0 != 21263.0

----------------------------------------------------------------------
Ran 1 test in 0.005s

FAILED (failures=1)

•  Good
  • 원하는 테스트만 빠르게 실행 해 볼 수 있음
  • 출력이 간단해짐

 테스트 한꺼번에 실행하기

$ python -m unittest discover --help
Usage: python -m unittest discover [options]

Options:
  ,,,
  -s START, --start-directory=START
                        Directory to start discovery ('.' default)
  -p PATTERN, --pattern=PATTERN
                        Pattern to match tests ('test*.py' default)
  -t TOP, --top-level-directory=TOP
                        Top level directory of project (defaults to start
                        directory)
$ python -m unittest discover

----------------------------------------------------------------------
Ran 15 tests in 0.130s

OK

•  Good
  • 복수개의 파일을 한꺼번에 테스트를 실행 할 수있음

Portfolio - 타입 확인

class Portfolio(object):
    """간단한 주식 포트폴리오"""
    def __init__(self):
        # stocks is a list of lists:
        #   [[name, shares, price], ...]
        self.stocks = []
 
    def buy(self, name, shares, price):
        """name 주식을 shares 만큼 주당 price 에 삽니다"""
        self.stocks.append([name, shares, price])
        if not isinstance(shares, int):
            raise Exception("shares must be an integer")
 
    def cost(self):
        """이 포트폴리오의 총액은 얼마일까요?"""
        amt = 0.0
        for name, shares, price in self.stocks:
            amt += shares * price
        return amt

  Exception 을 발생시키는 테스트

import unittest
from portfolio import Portfolio
    
class PortfolioTestCase(unittest.TestCase):
    def test_google(self):
        p = Portfolio()
        p.buy("Goole", "many", 176.48)
        self.assertEqual(17648.0, p.cost())
    
if __name__ == '__main__':
    unittest.main()

$ python ./portfolio_test5.py 
E
======================================================================
ERROR: test_google (__main__.PortfolioTestCase)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "./portfolio_test5.py", line 8, in test_google
    p.buy("Goole", "many", 176.48)
  File "/home/leclipse/git/pycon-testing/unit_test/portfolio.py", line 14, in buy
    raise Exception("shares must be an integer")
Exception: shares must be an integer

----------------------------------------------------------------------
Ran 1 test in 0.001s

FAILED (errors=1)

  Exception 을 테스트

import unittest
from portfolio import Portfolio
    
class PortfolioTestCase(unittest.TestCase):
    def test_google(self):
        p = Portfolio()
        with self.assertRaises(Exception) as context:
            p.buy("Goole", "many", 176.48)

        self.assertTrue("shares must be an integer", context.exception)
    
if __name__ == '__main__':
    unittest.main()

$ python ./portfolio_test6.py 
.
----------------------------------------------------------------------
Ran 1 test in 0.004s

OK

적절한 assert 의 사용은 테스트 코드를 간단하게 합니다.

TestCase.assert*

Unittest Assert Methods

import unittest

class WidgetTestCase(unittest.TestCase):
    def setUp(self):
        self.widget = Widget('The widget')

    def tearDown(self):
        self.widget.dispose()
        self.widget = None

    def test_default_size(self):
        self.assertEqual(self.widget.size(), (50,50),
                         'incorrect default size')

    def test_resize(self):
        self.widget.resize(100,150)
        self.assertEqual(self.widget.size(), (100,150),
                         'wrong size after resize')

setUp(), tearDown()

 반복되는 테스트 실행하기

import unittest

class NumberTest(unittest.TestCase):

    def test_even(self):
        for i in range(0, 6):
            self.assertEqual(i % 2, 0)

    def test_even_with_subtest(self):
        for i in range(0, 6):
            with self.subTest(i=i):
                self.assertEqual(i % 2, 0)

unittest.main()

• 0 부터 5 까지 짝수인지를 테스트 합니다.

 Subtest 실행 결과

$ python ./subtest.py 
F
======================================================================
FAIL: test_even (__main__.NumberTest)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "./subtest.py", line 7, in test_even
    self.assertEqual(i % 2, 0)
AssertionError: 1 != 0

======================================================================
FAIL: test_even_with_subtest (__main__.NumberTest) (i=1)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "./subtest.py", line 12, in test_even_with_subtest
    self.assertEqual(i % 2, 0)
AssertionError: 1 != 0

======================================================================
FAIL: test_even_with_subtest (__main__.NumberTest) (i=3)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "./subtest.py", line 12, in test_even_with_subtest
    self.assertEqual(i % 2, 0)
AssertionError: 1 != 0

======================================================================
FAIL: test_even_with_subtest (__main__.NumberTest) (i=5)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "./subtest.py", line 12, in test_even_with_subtest
    self.assertEqual(i % 2, 0)
AssertionError: 1 != 0

----------------------------------------------------------------------
Ran 2 tests in 0.001s

FAILED (failures=4)

• Good
  • 중단 되지 않고 모두 테스트
  • 변경 되는 값을 확인 할 수 있다. 

python 3.4  에 추가 되었음

# test_runner.py
def do_test():
    for testcase in testsuite:
        for test_method in testcase.test_methods:
            try: 
                testcase.setUp()  
            except: 
                [record error] 
            else: 
                try: 
                    test_method() 
                except AssertionError: 
                    [record failure] 
                except: 
                    [record error] 
                else: 
                    [record success] 
                finally: 
                    try: 
                        testcase.tearDown()  
                    except: 
                        [record error]
print(do_test())

다시 보는 unittest 구조

 의존성이 있는 코드

def get_username(user_id):
    user = db.user.query(user_id = user_id)
    return user.name

def delete_user(user_id):
    return db.user.delete(user_id = user_id)
    

• DB 가 있어야 테스트 할 수 있음

• DB 에 테스트전 데이터를 넣어 주어야 함

• CI 에서는 어떻게 실행 할까?

 mock
을 사용합시다.

Mock

unittest.mock

• 파이썬 표준 라이브러리 (3.3 부터)
• 이전 버젼은 pip install mock
• python object 들을 동적으로 대체하고 
  사용 결과를 확인 하기 위한 다양한 기능들을 제공

의존성이 있는것들을 실제로 실행시키지 말고 호출 여부, 인터페이스만  확인 하자

Monkey Patch

>>> class Class():
...    def add(self, x, y):
...       return x + y
...
>>> inst = Class()
>>> def not_exactly_add(self, x, y):
...    return x * y
...
>>> Class.add = not_exactly_add
>>> inst.add(3, 3)
9

• 런타임에 클래스, 함수등을 변경하는 것

mock 사용 예

>>> from unittest.mock import MagicMock
>>> thing = ProductionClass()
>>> thing.method = MagicMock(return_value=3)
>>> thing.method(3, 4, 5, key='value')
3
>>> thing.method.assert_called_with(3, 4, 5, key='value')

• thing.method 가 monkey patch 되었음
• 이를 테스트에 어떻게 활용 할까?

test rm

첫번째 Mock test

import os.path
import tempfile
import unittest
from unittest import mock

from Rm import rm

class RmTestCase(unittest.TestCase):

    @mock.patch('Rm.os')
    def test_rm(self, mock_os):
        rm('/tmp/tmpfile')
        mock_os.remove.assert_called_with('/tmp/tmpfile')

if __name__ == '__main__':
    unittest.main()

•  Good
  • setUp, tearDown 이 없어졌음
  • 실제로 os.remove 이 호출되지 않았음
  • os.remove 가 호출되었는지는 확인 했음

test_rm

Rm.rm

os.remove

mock_os.
remove

어떻게 된걸까?

Mock  대상이 되는 것

• 시간이 오래 걸리는 것
• 값이 변하는 것
• 상태가 유지 되는 것 
  (다른 테스트에 영향을 주는 것)
• 시스템 콜
• 네트워크로 연결된 것
• 준비하기 복잡한 것

Realworld example

 Mock - 조건 확인

# 24시간이 지난 경우에만 삭제 합니다.
def rm(filename):
    file_modified = datetime.datetime.fromtimestamp(os.path.getmtime(filename))
    if datetime.datetime.now() - file_modified > datetime.timedelta(hours=24):
        os.remove(filename)

class RmTestCase(unittest.TestCase):

    @mock.patch('__main__.os')
    def test_rm(self, mock_os):
        mock_os.path.getmtime.return_value = time.time()
        rm('/tmp/tmpfile')
        self.assertFalse(mock_os.remove.called)

        mock_os.path.getmtime.return_value = time.time() - 86400*2
        rm('/tmp/tmpfile')
        mock_os.remove.assert_called_with('/tmp/tmpfile')

 보통 분기를 따라가면서 테스트 하기는 쉽지 않음

 Mock 예외

# Rm.py
class MyError(Exception):
    pass

def rm(filename):
    try:
        os.remove(filename)
    except FileNotFoundError:
        raise MyError

class RmTestCase(unittest.TestCase):

    @mock.patch.object(os, 'remove', side_effect=FileNotFoundError)
    def test_rm_without_file(self, mock_remove):
        with self.assertRaises(MyError) as context:
            rm('not_exist_file')

 Exception 이 발생되는 경우를 만들지 않아도 됨

Integration Test

• 테스트 환경이 동작하지 않아요.
• 프로덕션 환경이랑 테스트 환경이 다른 것 같은데요?
• 저 지금 테스트 환경에 배포 해도 돼요?
• 제가 지금 테스트 하고 있으니, 다른 분은 나중에 테스트 해주세요.

다른 모듈,서비스 등을 붙여서 그 관계에서의 
문제점을 확인하는 과정

나만 쓰는 프로덕션 환경과 동일한 테스트 환경이 있으면 좋겠다.

 Redis Client

# client.py
import sys
import redis

class Client():
    def __init__(self):
        self.conn = redis.StrictRedis("redis")

    def set(self, key, value):
        self.conn.set(key, value)

    def get(self, key):
        return self.conn.get(key)

실제 Redis 와 연결했을 때 잘 동작하는지 확인이 필요하다.

# test_client.py
import unittest
from client import Client

class ClientTestCase(unittest.TestCase):

    def test_with_redis(self):
        client = Client()
        client.set('tomato', 2)
        self.assertEqual(2, int(client.get('tomato')))

나만 쓰는 프로덕션 환경과 동일한 테스트 환경이 있으면 좋겠다.

Host

Host

 Docker

• https://www.docker.com/
• Linux Container 를 이용
• 가벼운 VM 이라고 생각하자
• Host 와 격리시킬 수 있음

 Dockerfile

FROM python:3.4
MAINTAINER lee ho sung

RUN pip install redis

RUN mkdir /code
ADD . /code
WORKDIR /code

CMD python -m unittest discover

Docker 이미지를 정의한다.

 Docker-compose

• https://github.com/docker/compose
• Python!  프로젝트
• 복수개의 Docker Container 를 관리

docker-compose.yml

client:
    build: .
    links:
        - redis
redis:
    image: redis
    ports:
        - 6379:6379

192.168.0.2

192.168.0.1

/etc/hosts

 redis 192.168.0.2

docker-compose up

• Good
  • Localhost 에서 모든 테스트가 가능
  • Host 에 영향 없음
  • CI 에서도 실행 가능

$ docker-compose up 
redis_1  | 1:M 28 Aug 06:05:53.613 # Server started, Redis version 3.0.3
redis_1  | 1:M 28 Aug 06:05:53.613 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.
redis_1  | 1:M 28 Aug 06:05:53.613 # WARNING you have Transparent Huge Pages (THP) support enabled in your kernel. This will create latency and memory usage issues with Redis. To fix this issue run the command 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' as root, and add it to your /etc/rc.local in order to retain the setting after a reboot. Redis must be restarted after THP is disabled.
redis_1  | 1:M 28 Aug 06:05:53.613 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
redis_1  | 1:M 28 Aug 06:05:53.614 * DB loaded from disk: 0.000 seconds
redis_1  | 1:M 28 Aug 06:05:53.614 * The server is now ready to accept connections on port 6379
client_1 | .
client_1 | ----------------------------------------------------------------------
client_1 | Ran 1 test in 1.003s
client_1 | 
client_1 | OK
integrationtest_client_1 exited with code 0
Gracefully stopping... (press Ctrl+C again to force)
Stopping integrationtest_redis_1... done
$

 Selenium

• https://github.com/seleniumhq/selenium
• 웹 브라우저 자동화 툴/라이브러리

from selenium import webdriver

driver = webdriver.Firefox()
driver.get("http://www.python.org")
assert "Python" in driver.title

사람과 동일한 방식으로!

Test Pycon 2015

import unittest
from selenium import webdriver
from selenium.webdriver.common.keys import Keys

class PyconUserTestCase(unittest.TestCase):

    def setUp(self):
        self.driver = webdriver.Firefox()

    def test_log_in_pycon_2015(self):
        driver = self.driver
        driver.get("http://www.pycon.kr/2015/login")

        # US1 : 사용자는 Pycon Korea 2015 페이지 제목을 볼 수 있습니다.
        self.assertIn("PyCon Korea 2015", driver.title)

        # US2 : 사용자는 로그인을 할 수 있습니다. 
        #       로그인 하면 "One-time login token ..." 메시지를 볼 수 있습니다.
        elem = driver.find_element_by_id("id_email")
        elem.send_keys("email-me@gmail.com")
        elem.send_keys(Keys.RETURN)
        self.assertIn("One-time login token url was sent to your mail",
                      driver.page_source)

    def tearDown(self):
        self.driver.close()

if __name__ == "__main__":
    unittest.main(warnings='ignore')

최소 :  테스트 케이스가 메인 로직을 검증 한다.

최대 : 개발 시간의 2배 이상을 쓰지 않는다.

이 사이에서 가장 가성비 높은 지점을 
찾아내는 것이 좋은 개발자!

문제는 빠르게 찾을 수록 좋습니다. 
가능한 자주 실행 합니다.

• 개발할 때 
• commit 할 때
• push 할 때
• CI 서버에서
• 오픈 소스를 받자마자 

• 한번에 하나만 테스트 합니다

• 실패가 명확해야 합니다

• 빠르게 테스트 되어야 합니다

• 중복 되지 않습니다

• 자동화 되어야 합니다

• 독립적이어야 합니다
  (다른것의 영향을 받지 않습니다)

• 테스트를 작성 하는 이유

• 간단한 테스트

• unittest 의 사용

• 의존성이 있을 때 mock 사용하기 

• docker 사용해서 통합 테스트 하기

• selenium을 사용해서 웹 테스트 하기 

테스트는 힘들지만
가치 있는 일입니다

지금 시작하세요!

• Pycon 2014 Getting Started Testing 
• Python Testing Style Guide
• An Introduction to mocking in Python
• Test Driven Development with Python