Pycon Ru 2014

http://2m.ahref.ws

Обзор некоторых выступлений, Mail.RU, Александр Емелин

Как не надо делать, чтобы ваш open-source продукт стал пользоваться успехом

Андрей Светлов, LevelUP

http://2o.ahref.ws

Документация на английском

ReadTheDocs

Тесты (95 %)

coverage.py

CI

Setup.py

Pypi

Обратная совместимость публичного API

_не _нужно _бояться _приватных _подчеркиваний

Если тяжело писать документацию

значит

API плохой

Пишите читаемый код

Pep8

Правильные имена (master-slave)

Понятные тесты

Многозадачность в Python и других языках

Андрей Власовских, JetBrains

http://2k.ahref.ws

Треды

~ 20 кб/тред, ограничение 2048 тредов

1 ядро из-за GIL, race conditions, блокирующий IO

Процессы

~ 10 мб/процесс, N ядер

Медленное общение между процессами

Кооперативный подход

~ 1 кб/dispatcher, 1 ядро, С10K

Erlang, Go

Share Memory By Communicating

Do Not Communicate Using Shared Memory

Asyncio

Твиттер-клиент на asyncio

с применением концепции акторов

http://tinyurl.com/twitter-asyncio

Как писать для asyncio. Советы разработчика библиотеки

Андрей Светлов, LevelUP

http://2n.ahref.ws

PEP 3156

Пример

import json
import asyncio
import aiohttp

URL = 'http://p.corp.mail.ru/api/json'

@asyncio.coroutine
def get_free_parking_places():
    response = yield from aiohttp.request('GET', URL)
    body = yield from response.read_and_close()
    return json.loads(body.decode())['places']


@asyncio.coroutine
def main():
    result = yield from get_free_parking_places()


if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())

Обзор API

yield from

sleep

wait_for

call_soon

call_later

run_in_executor

gather

lock

queue

Явный loop

@coroutine
def sleep(delay, result=None, *, loop=None):
    """Coroutine that completes after a given time (in seconds)."""
    future = futures.Future(loop=loop)
    h = future._loop.call_later(delay, future.set_result, result)
    try:
        return (yield from future)
    finally:
        h.cancel()

Stream API

Не всегда нужно писать протоколы - есть Stream API

(High-level API)

@asyncio.coroutine
def print_http_headers(url):
    url = urllib.parse.urlsplit(url)
    reader, writer = yield from asyncio.open_connection(url.hostname, 80)
    query = (
        'HEAD {url.path} HTTP/1.0\r\n'
        'Host: {url.hostname}\r\n'
        '\r\n'
    ).format(url=url)
    writer.write(query.encode('latin-1'))
    while True:
        line = yield from reader.readline()
        if not line:
            break
        print(line.decode('latin1').rstrip())

Subprocess

Тоже есть High-level API

yield from asyncio.create_subprocess_shell(...)

yield from asyncio.create_subprocess_exec(...)

Подумали о путанице при создании Subprocess

(cmd - список или строка, когда shell=True или False)

Библиотеки

aiohttp

aiopg

aiozmq

aioredis в планах

Дебаг

import asyncio

@asyncio.coroutine
def test():
    print("never scheduled")

test()

Решение

export PYTHONASYNCIODEBUG=1

(env) MacAir:env fz$ PYTHONASYNCIODEBUG=1 python test.py 
Coroutine 'test' defined at test.py:3 was never yielded from

Дебаг, PDB

next, step работают корректно в PYTHON 3.4

Тестирование

class MyTest(unittest.TestCase):
    
    def setUp(self):
        self.loop = asyncio.new_event_loop()
        asyncio.set_event_loop(None)

    def tearDown(self):
        self.loop.close()

    def test_some_case():
        @asyncio.coroutine
        def run():
            yield from asyncio.sleep(0.5, loop=self.loop)

        self.loop.run_until_complete(run())

Trollius

yield From(f())

вместо

yield from f()

Библиотеки от asyncio на Trollius работать не будут и мало кто будет поддерживать 2 версии