IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
читайте авторский блог


Новый материал в ленте
  beautifulsoup4 - 4.13.0

XML/HTML парсер. Скачать можно по ссылке: https://pypi.python.org/pypi/beautifulsoup4/


Python Дайджест. Выпуск 137

(01.08.2016 - 07.08.2016)

поделиться выпуском 
Дайджест python,

Конференции, события, встречи разработчиков

  PYCONRU-2016: видео всех докладов и презентации

3-4 июля недалеко от Москвы прошла четвертая международная конференция python-разработчиков PyCon Russia. Под катом — много видео, презентации и фотографии. А еще посмотрите отчетный ролик — в нем коротко о том, что было на PyCon-2016 плюс немного из истории конференции

Статьи

  Concurrency в Python 3 – модуль concurrent.futures

Статья об использовании модуля concurrent.futures

  Вырваться из вложенных циклов

Короткая статья на тему - как выпрыгивать из вложенных циклов

  Пожалуйста, исправьте свои Python декораторы

Статья о том, почему большинство разработчиков пишут декораторы неправильно

  Сделай сам веб-сервис с асинхронными очередями и параллельным исполнением

Каждый должен делать свою работу качественно и в срок. Допустим, вам нужно сделать веб-сервис классификации картинок на базе обученной нейронной сети с помощью библиотекиcaffe. В наши дни качество — это асинхронные неблокирующие вызовы, возможность параллельного исполнения нескольких заданий при наличии свободных процессорных ядер, мониторинг очередей заданий… Библиотека RQ позволяет реализовать все это в сжатые сроки без изучения тонны документации.

  Пульт управления серверным демоном своими руками

Сегодня расскажу о том, как управлять компьютером с мобильного устройства. Нет, это не очередной аналог radmin'a, и не пример того, как можно поиздеваться над компьютером друга. Речь пойдет об удаленном управлении демоном, а точнее — о создании интерфейса для управления демоном, написанном на Python.

  Искусственные нейронные сети для новичков, часть 1

Этим постом я начну цикл «Нейронные сети для новичков». Он посвящен искусственным нейронным сетям (внезапно). Целью цикла является объяснение данной математической модели. Часто после прочтения подобных статей у меня оставалось чувство недосказанности, недопонимания — НС по-прежнему оставались «черным ящиком» — в общих чертах известно, как они устроены, известно, что делают, известны входные и выходные данные. Но тем не менее полное, всестороннее понимание отсутствует. А современные библиотеки с очень приятными и удобными абстракциями только усиливают ощущение «черного ящика». Не могу сказать, что это однозначно плохо, но и разобраться в используемых инструментах тоже никогда не поздно. Поэтому моей первичной целью является подробное объяснение устройства нейронных сетей так, чтобы абсолютно ни у кого не осталось вопросов об их устройстве; так, чтобы НС не казались волшебством. Так как это не математический трактат, я ограничусь описанием нескольких методов простым языком (но не исключая формул, конечно же), предоставляя поясняющие иллюстрации и примеры.

  Сколько нужно нейронов, чтобы распознать сводку моста?

История началась, когда я переехал жить на остров Декабристов в Санкт-Петербурге. Ночью, когда мосты развели, этот остров вместе с Васильевским полностью изолирован от большой земли. Мосты при этом нередко сводят досрочно, иногда на час раньше опубликованного расписания, но оперативной информации об этом нигде нет. После второго "опоздания" на мосты, я задумался об источниках информации о досрочной сводке мостов. Одним из пришедших в голову вариантов была информация с публичных веб-камер. Вооружившись этими данными и остаточными знаниями со специализации по ML от МФТИ и Яндекса, я решил попробовать решить задачу "в лоб". Картинки и кишочки под катом

  Сколько нужно нейронов, чтобы узнать, разведён ли мост Александра Невского?

На той неделе darkk описал свой подход к проблеме распознавания состояния моста(сведён/разведён).

Алгоритм, описанный в статье использовал методы компьютерного зрения для извлечения признаков из картинок и скармливал их логистической регрессии для получения оценки вероятности того, что мост сведён.

  Как убить программу изнутри

Статья описывает использование os.kill метода

  Часть 1. Платформа СППР Универсальные алгоритмы

Приветствую, уважаемое сообщество! Забегая вперед прошу прощения у тех, кто ожидает новизны или революционных идей. Их тут нет. Но есть вполне хорошая прикладная система. Системы поддержки принятия решений сейчас набирают обороты. Причем я не буду особо останавливаться на перечислении способов реализации. Оговорюсь только об основных свойствах. Я бы очень упрощенно и обобщенно назвал эти системы вероятностными. То есть они выдают рекомендации с известной долей вероятности используя накопленную и проанализированную статистику. Не скажу что это плохо. Тема BigData и Machine learning нынче в тренде. Так же эти системы работают по принципу черного ящика. Поэтому проверить достоверность работы заложенной модели не всегда можно выявить. Читать дальше →

  Распределенное выполнение Python-задач с использованием Apache Mesos. Опыт Яндекса

Подготовка релиза картографических данных включают в себя запуск массовой обработки данных. Некоторые задачи хорошо ложатся на идеологию Map-Reduce. В этом случае задача инфраструктуры традиционно решается использованием Hadoop или YT

В реальности часть задач таковы, что разбиение их на маленькие подзадачи невозможно, или нецелесообразно (из-за наличия существующего решения и дорогой разработки, например). Для этого мы в Яндекс.Картах разработали и используем свою систему планирования и выполнения взаимосвязанных задач. Одним из элементов такой системы является планировщик, запускающий задачи на кластере с учетом доступных ресурсов.

  Оверинженеринг при документировании ViewSets Django REST Framework Django Django rest framework drf

Случается в нашей жизни, уважаемые коллеги, что хочешь сделать как проще, а получается как у новичка. И, что интересно, существует не мало мощных инструментов, которые предлагают простое решение в обмен на душу. Я имею ввиду, что цена абстракции бывает несоразмерна красоте её использования. Для меня примером такого неравноценного обмена стал Django Rest Framework 3.4.0, его механизм ViewSets и необходимость вывести подробную документацию по разрабатываемому API. 

  О некоторых горячих клавишах в PyCharm

Хочу поделиться с вами горячими клавишами, которыми пользуюсь или к которым пытаюсь привыкнуть в своей повседневной работе. В современных средах их количество может просто зашкаливать, но постепенное добавление новых сочетаний в копилку, способно значительно повысить вашу продуктивноть. Приведенные сочетания относятся к редактированию, навигации, рефакторингу и справедливы только для раскладки Default for XWin (Linux). Читать дальше →

Видео

  Python Sorted Collections

C++, Java и .NET предоставляют сортированные коллекции прямо из коробки, а хотели бы вы иметь их в Питоне? Если посмотреть вокруг, то можно обнаружить индексы DataFrame в Pandas, базы данных в памяти Sqlite, сортированные множества в redis-py. Этот выступление посвящено модулю SortedContainers, который создавался с целью заполнить пробел: добавить в Питон реализации сортированных списков, словарей, множеств. Написан он на чистом Питоне, но в общем случае, быстрее аналогичных модулей, написанных на Си. Давайте посмотрим как это работает. В выступлении информация об используемых подходах и алгоритмах, а также много графиков производительности.

  Lightning Talk на тему Quality Assurance

На Moscow Python Meetup 37 Григорий Петров выступил с импровизацией на тему quality assurance.

  MoscowPython 37 - начало + анонс Moscow Python Conf

Евангелисты MoscowPython Валентин Домбровский и Григорий Петров открывают 37-й митап MoscowPython и рассказывают о предстоящей конференции Moscow Python Conf. http://conf.python.ru

  Playing with Python Bytecode

Интересовались ли вы когда-нибудь, как именно Питон исполняет ваш код? А хотите научиться создавать байткод Питона кустарным методом? В этом выступлении мы разберём внутреннее представление байкода CPython, а также продемонстрируем некоторые техники изменения объектов кода для просто так и для пользы.

  Как с минимумом технологий выпустить релиз. Пособие для начинающих.

Доклад про то как использование множества современных технологий не всегда позволяет реализовать проект в срок. Александр Боргардт @ Moscow Python Meetup 37 Слайды: http://www.moscowpython.ru/meetup/37/how-not-to-drown-in-a-sea-of-tech/

  Python, умные часы и нейронные сети

Умные часы и фитнес-браслеты могут показывать не только число шагов и время, но и много других вещей. Чтобы их извлечь, нам понадобится Python, машинное обучение и умение удивляться. Заодно узнаем, что нейронные сети в Python - это просто и быстро. Глеб Ивашкевич @ Moscow Python Meetup 37 Слайды: http://www.moscowpython.ru/meetup/37/watch-the-hands/

Интересные проекты, инструменты, библиотеки

  bashtest - очень простая утилитка для тестирования tests

Тесты выглядят как примеры запуска. Процесс тестирования представляет собой последовательное выполнение команд с последующим сравнением результатов вывода с эталоном. Утилитку удобно использовать для тестирования примеров из документации.

Релизы

  coverage - 4.2

Утилита позволяющая измерить процент покрытия тестами. Изменения описаны по ссылке https://allmychanges.com/p/python/coverage/#4.2. Скачать можно по ссылке: http://pypi.python.org/pypi/coverage/

  aiohttp - 0.22.4

http клиент/сервер для asyncio. Изменения описаны по ссылке https://allmychanges.com/p/python/aiohttp/#0.22.4. Скачать можно по ссылке: https://pypi.python.org/pypi/aiohttp

  django-rest-framework - 3.4.1

Rest full фреймворк для Django. Изменения описаны по ссылке https://allmychanges.com/p/python/django-rest-framework/#3.4.1. Скачать можно по ссылке: https://pypi.python.org/pypi/django-rest-framework/

  flake8 - 3.0.3

Модуль проверки форматирования кода. Изменения описаны по ссылке https://allmychanges.com/p/python/flake8/#3.0.3. Скачать можно по ссылке: http://pypi.python.org/pypi/flake8/