Выпуск 137

(01.08.2016 - 07.08.2016)

pythondigest.ru: Выпуск 137

Конференции, события, встречи разработчиков

      PYCONRU-2016: видео всех докладов и презентации

3-4 июля недалеко от Москвы прошла четвертая международная конференция python-разработчиков PyCon Russia. Под катом — много видео, презентации и фотографии. А еще посмотрите отчетный ролик — в нем коротко о том, что было на PyCon-2016 плюс немного из истории конференции

Статьи

      Сколько нужно нейронов, чтобы узнать, разведён ли мост Александра Невского?

На той неделе darkk описал свой подход к проблеме распознавания состояния моста(сведён/разведён).

Алгоритм, описанный в статье использовал методы компьютерного зрения для извлечения признаков из картинок и скармливал их логистической регрессии для получения оценки вероятности того, что мост сведён.

      Сделай сам веб-сервис с асинхронными очередями и параллельным исполнением

Каждый должен делать свою работу качественно и в срок. Допустим, вам нужно сделать веб-сервис классификации картинок на базе обученной нейронной сети с помощью библиотекиcaffe. В наши дни качество — это асинхронные неблокирующие вызовы, возможность параллельного исполнения нескольких заданий при наличии свободных процессорных ядер, мониторинг очередей заданий… Библиотека RQ позволяет реализовать все это в сжатые сроки без изучения тонны документации.

      Как убить программу изнутри

Статья описывает использование os.kill метода

      Пульт управления серверным демоном своими руками

Сегодня расскажу о том, как управлять компьютером с мобильного устройства. Нет, это не очередной аналог radmin'a, и не пример того, как можно поиздеваться над компьютером друга. Речь пойдет об удаленном управлении демоном, а точнее — о создании интерфейса для управления демоном, написанном на Python.

      Вырваться из вложенных циклов

Короткая статья на тему - как выпрыгивать из вложенных циклов

      Искусственные нейронные сети для новичков, часть 1

Этим постом я начну цикл «Нейронные сети для новичков». Он посвящен искусственным нейронным сетям (внезапно). Целью цикла является объяснение данной математической модели. Часто после прочтения подобных статей у меня оставалось чувство недосказанности, недопонимания — НС по-прежнему оставались «черным ящиком» — в общих чертах известно, как они устроены, известно, что делают, известны входные и выходные данные. Но тем не менее полное, всестороннее понимание отсутствует. А современные библиотеки с очень приятными и удобными абстракциями только усиливают ощущение «черного ящика». Не могу сказать, что это однозначно плохо, но и разобраться в используемых инструментах тоже никогда не поздно. Поэтому моей первичной целью является подробное объяснение устройства нейронных сетей так, чтобы абсолютно ни у кого не осталось вопросов об их устройстве; так, чтобы НС не казались волшебством. Так как это не математический трактат, я ограничусь описанием нескольких методов простым языком (но не исключая формул, конечно же), предоставляя поясняющие иллюстрации и примеры.

      Сколько нужно нейронов, чтобы распознать сводку моста?

История началась, когда я переехал жить на остров Декабристов в Санкт-Петербурге. Ночью, когда мосты развели, этот остров вместе с Васильевским полностью изолирован от большой земли. Мосты при этом нередко сводят досрочно, иногда на час раньше опубликованного расписания, но оперативной информации об этом нигде нет. После второго "опоздания" на мосты, я задумался об источниках информации о досрочной сводке мостов. Одним из пришедших в голову вариантов была информация с публичных веб-камер. Вооружившись этими данными и остаточными знаниями со специализации по ML от МФТИ и Яндекса, я решил попробовать решить задачу "в лоб". Картинки и кишочки под катом

      Часть 1. Платформа СППР Универсальные алгоритмы

Приветствую, уважаемое сообщество! Забегая вперед прошу прощения у тех, кто ожидает новизны или революционных идей. Их тут нет. Но есть вполне хорошая прикладная система. Системы поддержки принятия решений сейчас набирают обороты. Причем я не буду особо останавливаться на перечислении способов реализации. Оговорюсь только об основных свойствах. Я бы очень упрощенно и обобщенно назвал эти системы вероятностными. То есть они выдают рекомендации с известной долей вероятности используя накопленную и проанализированную статистику. Не скажу что это плохо. Тема BigData и Machine learning нынче в тренде. Так же эти системы работают по принципу черного ящика. Поэтому проверить достоверность работы заложенной модели не всегда можно выявить. Читать дальше →

      Concurrency в Python 3 – модуль concurrent.futures

Статья об использовании модуля concurrent.futures

      Распределенное выполнение Python-задач с использованием Apache Mesos. Опыт Яндекса

Подготовка релиза картографических данных включают в себя запуск массовой обработки данных. Некоторые задачи хорошо ложатся на идеологию Map-Reduce. В этом случае задача инфраструктуры традиционно решается использованием Hadoop или YT

В реальности часть задач таковы, что разбиение их на маленькие подзадачи невозможно, или нецелесообразно (из-за наличия существующего решения и дорогой разработки, например). Для этого мы в Яндекс.Картах разработали и используем свою систему планирования и выполнения взаимосвязанных задач. Одним из элементов такой системы является планировщик, запускающий задачи на кластере с учетом доступных ресурсов.

      Оверинженеринг при документировании ViewSets Django REST Framework Django rest framework Django drf

Случается в нашей жизни, уважаемые коллеги, что хочешь сделать как проще, а получается как у новичка. И, что интересно, существует не мало мощных инструментов, которые предлагают простое решение в обмен на душу. Я имею ввиду, что цена абстракции бывает несоразмерна красоте её использования. Для меня примером такого неравноценного обмена стал Django Rest Framework 3.4.0, его механизм ViewSets и необходимость вывести подробную документацию по разрабатываемому API. 

      О некоторых горячих клавишах в PyCharm

Хочу поделиться с вами горячими клавишами, которыми пользуюсь или к которым пытаюсь привыкнуть в своей повседневной работе. В современных средах их количество может просто зашкаливать, но постепенное добавление новых сочетаний в копилку, способно значительно повысить вашу продуктивноть. Приведенные сочетания относятся к редактированию, навигации, рефакторингу и справедливы только для раскладки Default for XWin (Linux). Читать дальше →

      Пожалуйста, исправьте свои Python декораторы

Статья о том, почему большинство разработчиков пишут декораторы неправильно

Видео

      Python Sorted Collections

C++, Java и .NET предоставляют сортированные коллекции прямо из коробки, а хотели бы вы иметь их в Питоне? Если посмотреть вокруг, то можно обнаружить индексы DataFrame в Pandas, базы данных в памяти Sqlite, сортированные множества в redis-py. Этот выступление посвящено модулю SortedContainers, который создавался с целью заполнить пробел: добавить в Питон реализации сортированных списков, словарей, множеств. Написан он на чистом Питоне, но в общем случае, быстрее аналогичных модулей, написанных на Си. Давайте посмотрим как это работает. В выступлении информация об используемых подходах и алгоритмах, а также много графиков производительности.

      Playing with Python Bytecode

Интересовались ли вы когда-нибудь, как именно Питон исполняет ваш код? А хотите научиться создавать байткод Питона кустарным методом? В этом выступлении мы разберём внутреннее представление байкода CPython, а также продемонстрируем некоторые техники изменения объектов кода для просто так и для пользы.

      Python, умные часы и нейронные сети

Умные часы и фитнес-браслеты могут показывать не только число шагов и время, но и много других вещей. Чтобы их извлечь, нам понадобится Python, машинное обучение и умение удивляться. Заодно узнаем, что нейронные сети в Python - это просто и быстро. Глеб Ивашкевич @ Moscow Python Meetup 37 Слайды: http://www.moscowpython.ru/meetup/37/watch-the-hands/

      Lightning Talk на тему Quality Assurance

На Moscow Python Meetup 37 Григорий Петров выступил с импровизацией на тему quality assurance.

      MoscowPython 37 - начало + анонс Moscow Python Conf

Евангелисты MoscowPython Валентин Домбровский и Григорий Петров открывают 37-й митап MoscowPython и рассказывают о предстоящей конференции Moscow Python Conf. http://conf.python.ru

      Как с минимумом технологий выпустить релиз. Пособие для начинающих.

Доклад про то как использование множества современных технологий не всегда позволяет реализовать проект в срок. Александр Боргардт @ Moscow Python Meetup 37 Слайды: http://www.moscowpython.ru/meetup/37/how-not-to-drown-in-a-sea-of-tech/

Интересные проекты, инструменты, библиотеки

      bashtest - очень простая утилитка для тестирования tests

Тесты выглядят как примеры запуска. Процесс тестирования представляет собой последовательное выполнение команд с последующим сравнением результатов вывода с эталоном. Утилитку удобно использовать для тестирования примеров из документации.

Релизы

      coverage - 4.2

Утилита позволяющая измерить процент покрытия тестами. Изменения описаны по ссылке https://allmychanges.com/p/python/coverage/#4.2. Скачать можно по ссылке: http://pypi.python.org/pypi/coverage/

      aiohttp - 0.22.4

http клиент/сервер для asyncio. Изменения описаны по ссылке https://allmychanges.com/p/python/aiohttp/#0.22.4. Скачать можно по ссылке: https://pypi.python.org/pypi/aiohttp

      django-rest-framework - 3.4.1

Rest full фреймворк для Django. Изменения описаны по ссылке https://allmychanges.com/p/python/django-rest-framework/#3.4.1. Скачать можно по ссылке: https://pypi.python.org/pypi/django-rest-framework/

      flake8 - 3.0.3

Модуль проверки форматирования кода. Изменения описаны по ссылке https://allmychanges.com/p/python/flake8/#3.0.3. Скачать можно по ссылке: http://pypi.python.org/pypi/flake8/


Latest news


  Talk Python to Me: #335: Gene Editing with Python

  На стыке BI и DS: как предоставить аналитикам возможность делать с данными все, что они хотят?

  The Real Python Podcast – Episode #79: Measuring Your Python Learning Progress

  Instagram-бот для улучшения личной жизни

  Работаем с текстами на Python: кодировки, нормализация, чистка

  Геоаналитика с помощью Python и открытых данных: пошаговое руководство

  Объем, центр масс, моменты инерции тела имея только mesh поверхности

  Как я написал свой ChatOps: опыт выпускника курса по Python

  Python Bytes: #251 A 95% complete episode (wait for it)

  Моя клубничная чудо-коробка

  Первые шаги с aiohttp: часть 2. Подключаем базу данных к приложению

  Помощник – «решатель филвордов» на python (алгоритм поиска слов плюс распознавание текста tesseract)

  Python⇒Speed: Scanning your Conda environment for security vulnerabilities

  Решил 50 задач и ответил на вопрос — Python или JavaScript?

  Построение архитектуры проекта при работе с PySpark


Show all




Разместим вашу рекламу

Пиши: mail@pythondigest.ru

Нашли опечатку?

Выделите фрагмент и отправьте нажатием Ctrl+Enter.

Система Orphus