Python Дайджест. Выпуск 120

Раз в год мы собираем в Питере python-программистов из разных уголков, чтобы послушать доклады и пообщаться. Мы считаем, что конференции не для обучения, а для общения и обмена опытом. Приходить на конференцию чтобы слушать то, что можно за пять минут прочитать на stackoverflow — не самое лучшее занятие. Приходить, чтобы пообщаться с коллегами-разработчиками, обсудить индустрию, подзардиться позитивной энергетикой — правильный способ максимально эффективно использовать возможности конференции.

Статья описывает исследование пользователя в соц. сети Facebook. Автор попытался выявить интересы и построить всяческие схемы.

Автор описывает как провел анализ истории текстового файла на Dropbox. Он изучил размер файла во времени, количество слов и другое.

Короткая статья, описывет опыт использования нормализации данных для денег с учетом инфляции

Привет! Я воплощаю интересные идеи на python и рассказываю о том, что из этого вышло. В прошлый раз я пробовал найти аномалии на карте цен недвижимости. Просто так. На этот раз идея была построить систему, которая смогла бы сама решать очень популярную ныне Google Recaptcha 2.0, основываясь на некоторых алгоритмах и большой базе обучающих примеров. 
Google Recaptcha 2.0 представляет собой набор изображений (9 или 16 квадратных картинок под одной инструкцией), среди которых пользователю, для подтверждения своей разумности, нужно выбрать все изображения одной категории. Речь пойдет НЕ о построении системы машинного обучения — распознавать мы будем именно капчи!

Данная статья расскажет о попытке подружить AWS Lamba и python в истинном смысле этого слова. Под истинным смыслом я понимаю возможность взаимодействовать c сервисом (создавать, обновлять и вызывать лябда-функции) непосредственно из пайтона. Если вам интересны AWS Lambda и python, представляю вашему вниманию proof-of-concept библиотеки lambdify.

Стек рассматриваемых технологий: Postgresql 9.3, Python 2.7 с установленным модулем «psycopg2».

Проблема
Как часто в вашей практике приходилось сталкиваться с задачей обработки таблиц большого объема (более 10 млн. записей)? Думаю вы согласитесь, что данная задача является довольно ресурсоемкой как в плане времени обработки, так и задействованных ресурсов системы. Сегодня я постараюсь показать альтернативный способ решения задачи.

Когда прочитал публикацию про запуск беспилотных гоночных автомобилей — подумал, было бы интересно сделать что-то подобное. Конечно не гоночный болид, но по крайней мере мобильный робот, что ориентируется в пространстве посредством камеры — распознаванием образов.

В нашем хакспейсе — создать робота не такая большая проблема. Но не у всех и не всегда есть возможность экспериментировать с реальным «железом» — поэтому интересно было попробовать решить задачу — в виртуальной среде, и после уже оживить «железо».

Так и возникла идея серии статей, про решение простейшей задачи ориентации робота в пространстве — от виртуальной симуляции, до воплощения в реальном мобильном роботе:
 

Подробное руководство по созданию REST системы на Flask

В статье вы найдете пример простых конструкций для упрощения работы с JSON в Flask

Если вы занимаетесь мета-программированием, то сталкиваетесь с необходимостью работы с типами, а не объектами.

В статье вы найдете необходимую базу для понимания типов в Python

Замыкания - простой и мощный инструмент для сокрытия переменных в локальном Scope между вызовами функций. Статья описывает способ пересоздания замыканий.

Разработчики PyPy сообщили об улучшении разогрева виртуальной машины PyPy. Было получено ускорение до 2.5%

Чуть более года назад мы разрабатывали приложения для Digium телефонов. Несмотря на то, что планы были обширными, мы остановились только на следующих вариациях:

• Погода с сайта гисметео
• Курс валют с сайта центробанка
• RSS лента с новостных порталов

Данные приложения были написаны, чтобы ознакомить сообщество с API и примерами, даже больше just for fun. Cофт, если так можно его назвать, не несет себе никакого уникального применения, которое было бы полезно реальному бизнесу. 

Сегодня мы решили вернуться к этой теме, и поделиться другим, на наш взгляд намного более интересным приложением, которое отображает вызов на экране телефона, если пользователи находятся в одной пикап группе и позволяет его перехватить.

Вторая часть статьи про написание Telegram бота на Python/Django. В ней мы поговорим о процессе деплоя в production.

Пишем Telegram бота через простейшее веб-приложение на Django.

Статья описывает использование Tkinter в Python 3.5

import sqlite3
import tornado.ioloop
import tornado.web
import tornado_jsonapi.handlers
import tornado_jsonapi.resource

schema = {
    "title": "post",
    "properties": {
        "text":
        {
            "type": "string"
        },
        "author":
        {
            "type": "string"
        }
    }
}

res = tornado_jsonapi.resource.DBAPI2Resource(
    schema, sqlite3, sqlite3.connect(':memory:'))
res._create_table()

application = tornado.web.Application([
    (
        r"/api/posts/([^/]*)",
        tornado_jsonapi.handlers.APIHandler,
        dict(resource=res)
    )
])
application.listen(8888)
tornado.ioloop.IOLoop.current().start()

Модуль позволяет настроить порядок исполнения тестов исходя из их названий. Вы можете разделить тесты на unit, интеграционные.

Этот boilerplate/Шаблон реализует поддержку различных соц.сетей, прикручен Django Rest Framework, документация и много чего еще.

Код из статьи http://erikbern.com/2016/04/04/nyc-subway-math.html

Модуль позволяет реализовать цепочки http запросов, например, достать данные из одного источника, а затем эти данные послать в другой сервис

Фреймворк для простого создания интерфейсов командной строки.. Изменения описаны по ссылке https://allmychanges.com/p/python/click/#6.5. Скачать можно по ссылке: https://pypi.python.org/pypi/click/

Библиотека для Python, которая позволяет вам писать асинхронные сетевые приложение использую синхронный API. Изменения описаны по ссылке https://allmychanges.com/p/python/gevent/#1.1.1. Скачать можно по ссылке: http://pypi.python.org/pypi/gevent/

Python модуль для создания заглушек (mock-объект) при тестировании. Изменения описаны по ссылке https://allmychanges.com/p/python/mock/#2.0.0. Скачать можно по ссылке: http://pypi.python.org/pypi/mock/

Исправление важного бага

В 4.0 версии появился навигатор для запуска модулей