Python Дайджест. Выпуск 137

3-4 июля недалеко от Москвы прошла четвертая международная конференция python-разработчиков PyCon Russia. Под катом — много видео, презентации и фотографии. А еще посмотрите отчетный ролик — в нем коротко о том, что было на PyCon-2016 плюс немного из истории конференции

Статья об использовании модуля concurrent.futures

Короткая статья на тему - как выпрыгивать из вложенных циклов

Статья о том, почему большинство разработчиков пишут декораторы неправильно

Каждый должен делать свою работу качественно и в срок. Допустим, вам нужно сделать веб-сервис классификации картинок на базе обученной нейронной сети с помощью библиотекиcaffe. В наши дни качество — это асинхронные неблокирующие вызовы, возможность параллельного исполнения нескольких заданий при наличии свободных процессорных ядер, мониторинг очередей заданий… Библиотека RQ позволяет реализовать все это в сжатые сроки без изучения тонны документации.

Сегодня расскажу о том, как управлять компьютером с мобильного устройства. Нет, это не очередной аналог radmin'a, и не пример того, как можно поиздеваться над компьютером друга. Речь пойдет об удаленном управлении демоном, а точнее — о создании интерфейса для управления демоном, написанном на Python.

Этим постом я начну цикл «Нейронные сети для новичков». Он посвящен искусственным нейронным сетям (внезапно). Целью цикла является объяснение данной математической модели. Часто после прочтения подобных статей у меня оставалось чувство недосказанности, недопонимания — НС по-прежнему оставались «черным ящиком» — в общих чертах известно, как они устроены, известно, что делают, известны входные и выходные данные. Но тем не менее полное, всестороннее понимание отсутствует. А современные библиотеки с очень приятными и удобными абстракциями только усиливают ощущение «черного ящика». Не могу сказать, что это однозначно плохо, но и разобраться в используемых инструментах тоже никогда не поздно. Поэтому моей первичной целью является подробное объяснение устройства нейронных сетей так, чтобы абсолютно ни у кого не осталось вопросов об их устройстве; так, чтобы НС не казались волшебством. Так как это не математический трактат, я ограничусь описанием нескольких методов простым языком (но не исключая формул, конечно же), предоставляя поясняющие иллюстрации и примеры.

История началась, когда я переехал жить на остров Декабристов в Санкт-Петербурге. Ночью, когда мосты развели, этот остров вместе с Васильевским полностью изолирован от большой земли. Мосты при этом нередко сводят досрочно, иногда на час раньше опубликованного расписания, но оперативной информации об этом нигде нет. После второго "опоздания" на мосты, я задумался об источниках информации о досрочной сводке мостов. Одним из пришедших в голову вариантов была информация с публичных веб-камер. Вооружившись этими данными и остаточными знаниями со специализации по ML от МФТИ и Яндекса, я решил попробовать решить задачу "в лоб". Картинки и кишочки под катом

На той неделе darkk описал свой подход к проблеме распознавания состояния моста(сведён/разведён).

Алгоритм, описанный в статье использовал методы компьютерного зрения для извлечения признаков из картинок и скармливал их логистической регрессии для получения оценки вероятности того, что мост сведён.

Статья описывает использование os.kill метода

Приветствую, уважаемое сообщество! Забегая вперед прошу прощения у тех, кто ожидает новизны или революционных идей. Их тут нет. Но есть вполне хорошая прикладная система. Системы поддержки принятия решений сейчас набирают обороты. Причем я не буду особо останавливаться на перечислении способов реализации. Оговорюсь только об основных свойствах. Я бы очень упрощенно и обобщенно назвал эти системы вероятностными. То есть они выдают рекомендации с известной долей вероятности используя накопленную и проанализированную статистику. Не скажу что это плохо. Тема BigData и Machine learning нынче в тренде. Так же эти системы работают по принципу черного ящика. Поэтому проверить достоверность работы заложенной модели не всегда можно выявить. Читать дальше →

Подготовка релиза картографических данных включают в себя запуск массовой обработки данных. Некоторые задачи хорошо ложатся на идеологию Map-Reduce. В этом случае задача инфраструктуры традиционно решается использованием Hadoop или YT

В реальности часть задач таковы, что разбиение их на маленькие подзадачи невозможно, или нецелесообразно (из-за наличия существующего решения и дорогой разработки, например). Для этого мы в Яндекс.Картах разработали и используем свою систему планирования и выполнения взаимосвязанных задач. Одним из элементов такой системы является планировщик, запускающий задачи на кластере с учетом доступных ресурсов.

Случается в нашей жизни, уважаемые коллеги, что хочешь сделать как проще, а получается как у новичка. И, что интересно, существует не мало мощных инструментов, которые предлагают простое решение в обмен на душу. Я имею ввиду, что цена абстракции бывает несоразмерна красоте её использования. Для меня примером такого неравноценного обмена стал Django Rest Framework 3.4.0, его механизм ViewSets и необходимость вывести подробную документацию по разрабатываемому API. 

Хочу поделиться с вами горячими клавишами, которыми пользуюсь или к которым пытаюсь привыкнуть в своей повседневной работе. В современных средах их количество может просто зашкаливать, но постепенное добавление новых сочетаний в копилку, способно значительно повысить вашу продуктивноть. Приведенные сочетания относятся к редактированию, навигации, рефакторингу и справедливы только для раскладки Default for XWin (Linux). Читать дальше →

C++, Java и .NET предоставляют сортированные коллекции прямо из коробки, а хотели бы вы иметь их в Питоне? Если посмотреть вокруг, то можно обнаружить индексы DataFrame в Pandas, базы данных в памяти Sqlite, сортированные множества в redis-py. Этот выступление посвящено модулю SortedContainers, который создавался с целью заполнить пробел: добавить в Питон реализации сортированных списков, словарей, множеств. Написан он на чистом Питоне, но в общем случае, быстрее аналогичных модулей, написанных на Си. Давайте посмотрим как это работает. В выступлении информация об используемых подходах и алгоритмах, а также много графиков производительности.

На Moscow Python Meetup 37 Григорий Петров выступил с импровизацией на тему quality assurance.

Евангелисты MoscowPython Валентин Домбровский и Григорий Петров открывают 37-й митап MoscowPython и рассказывают о предстоящей конференции Moscow Python Conf. http://conf.python.ru

Интересовались ли вы когда-нибудь, как именно Питон исполняет ваш код? А хотите научиться создавать байткод Питона кустарным методом? В этом выступлении мы разберём внутреннее представление байкода CPython, а также продемонстрируем некоторые техники изменения объектов кода для просто так и для пользы.

Доклад про то как использование множества современных технологий не всегда позволяет реализовать проект в срок. Александр Боргардт @ Moscow Python Meetup 37 Слайды: http://www.moscowpython.ru/meetup/37/how-not-to-drown-in-a-sea-of-tech/

Умные часы и фитнес-браслеты могут показывать не только число шагов и время, но и много других вещей. Чтобы их извлечь, нам понадобится Python, машинное обучение и умение удивляться. Заодно узнаем, что нейронные сети в Python - это просто и быстро. Глеб Ивашкевич @ Moscow Python Meetup 37 Слайды: http://www.moscowpython.ru/meetup/37/watch-the-hands/

Тесты выглядят как примеры запуска. Процесс тестирования представляет собой последовательное выполнение команд с последующим сравнением результатов вывода с эталоном. Утилитку удобно использовать для тестирования примеров из документации.

Утилита позволяющая измерить процент покрытия тестами. Изменения описаны по ссылке https://allmychanges.com/p/python/coverage/#4.2. Скачать можно по ссылке: http://pypi.python.org/pypi/coverage/

http клиент/сервер для asyncio. Изменения описаны по ссылке https://allmychanges.com/p/python/aiohttp/#0.22.4. Скачать можно по ссылке: https://pypi.python.org/pypi/aiohttp

Rest full фреймворк для Django. Изменения описаны по ссылке https://allmychanges.com/p/python/django-rest-framework/#3.4.1. Скачать можно по ссылке: https://pypi.python.org/pypi/django-rest-framework/

Модуль проверки форматирования кода. Изменения описаны по ссылке https://allmychanges.com/p/python/flake8/#3.0.3. Скачать можно по ссылке: http://pypi.python.org/pypi/flake8/