Новый материал в ленте

XML/HTML парсер. Скачать можно по ссылке: https://pypi.python.org/pypi/beautifulsoup4/

Python Дайджест. Выпуск 127

Kivy

(23.05.2016 - 29.05.2016)

поделиться выпуском

Забавно, что пока Google выигрывал у Oracle в судебной разборке по поводу использования Java API в Android, никто не стоял на месте и прошедшая неделя была неделей релизов. Среди них http-сервер nginx 1.11.0, язык программирования Rust 1.9, браузер Chrome 51 и Chromium, дистрибутив Linux CentOS 6.8, компилятор Haskell GHC 8.0.1. Как всегда, есть интересные релизы, новости, статьи и в мире Python, о чем можно почитать ниже. А еще оставляйте свои комментарии к выпуcкам, пишите нам в Slack (инвайт по ссылке), добавляйте свои новости через специальную форму. Следите за всем этим безобразием в RSS, Twitter или Telegram @py_digest

Поддержите проект рублем или руками

Новости

Обратный отсчет до окончания поддержки python2.

Как многим уже известно об окончании поддержки python 2 будет объявлено на PyCon 2020, так вот по ссылке обратный отсчет времени до этого момента.

Конференции, события, встречи разработчиков

Предварительная программа PyCon Russia готова. Выступят докладчики из США, Англии, Франции, Чехии, Украины и России

Программа PyCon-2016 получается отличной — Raymond Hettinger (Python core developer с 2001 года, автор и мэйнтейнер многих частей языка, США), Martin Görner (Google, Франция), Nathaniel Manista (Google, США), Armin Ronacher (Flask framework, Австрия), David MacIver (Hypothesis, Великобритания), Jackie Kazil (Capital One, США), Александр Кошкин (Positive Technologies, США), Александр Сибиряков (Scrapinghub, Чехия), Андрей Светлов (DataRobot, Украина), докладчики из HeadHunter, Rambler&Co, Яндекса, Toptal — и это еще не все. Подробности программы — под катом.

Webinar: введение в SciPy экосистему

Статьи

Web Scraping – парсим комиксы с сайта Comixology scrapy parsing

OpenCV с Tkinter opencv Tkinter

Коллекция змей: несколько версий Python на вашей Ubuntu

Из этой небольшой заметки вы узнаете, как можно удобно и быстро поставить на Ubuntu несколько версий интерпретатора Python для последующего их использования.

Python 101: введение в бенчмарки для Python CProfile benchmark

API к zadarma.com на perl и python

У zadarma.com есть API к их сервисам на языке php, но на моих серверах этот язык отсутствует. Ставить php ради обращений к задармам желания не было. Поискал в интернете не нашел ничего для perl и python. Написал для себя, что получилось под катом.

Прогнозирование спроса с BigQuery и TensorFlow machine learning TensorFlow

По этой ссылке вы найдете небольшую модель машинного обучения для предсказания спроса на такси в Нью-Йорк

bisect — Maintain Lists in Sorted Order — PyMOTW 3

Зачем питонисту Bower? Питонисту нужен bowerer Bower

Немного размышлений на тему необходимости Bower и Node.js в проектах на Python.

Расширяем фреймворк Kivy пакетом XPopup Kivy

Не так давно передо мной встала задача в сжатые сра сроки написать работающий прототип GUI-приложения, которое без лишней строки кода хорошо дружило бы как с Windows, так и с OS X. Выбор пал на змеиный фреймворк Kivy, который с легкостью решал вышесказанное. А также, в базовой комплектации имел весь необходимый инструментарий для реализации приложения.

Ну… почти весь. Под катом расскажу что не так и как это побороть.

RQ: очередь задач на базе Redis task queue Redis celery queue

В статье рассказывается о библиотеке RQ, lightweight альтернативе Celery на базе Redis.

Отладка Django Management Commands в PyCharm PyCharm debug

Запись входящих звонков

Несколько месяцев назад мой знакомый попросил помочь решить вопрос с записью входящих звонков. Все необходимое или было в наличии, или обещал предоставить. Если интересно, мой опыт реализации на python вместе с кодом под катом.

Развертывание Django + Python 3 + PostgreSQL на AWS Elastic Beanstalk postgresql Django deploy

Используем Sentry для отслеживания Django событий Django sentry

Изучение систем голосования с помощью Hypothesis tests hypothesis

В статье описывается применение библиотеки Hypothesis для тестирования небольшой системы.

Красивое оформление JSON в Django Admin JSON Django

Статистика распределения доменов по AS, IP, NS, MX и прочим параметрам

Давным-давно перестал работать 1stat.ru — откровенно говоря, для нас это была трагедия (сейчас вроде он как-то работает).

Рабочий день обычно начинался с чашечки кофе и приятного просмотра значений прироста доменов. Конечно же, такие метрики не показывают ни успешность компании, ни ее капитализацию, ни тип клиентов, которые размещаются у компании. Но, несмотря на это, косвенно можно оценить динамику роста или деградации компании — если количество доменов на NS серверах растет, а не падает — это хорошо. Как показала практика, это, так или иначе, отражает положение дел на рынке.

Pillow-SIMD

Pillow-SIMD — это «форк-последователь» библиотеки работы с изображениями Pillow (которая сама является форком библиотеки PIL, ныне покойной). «Последователь» означает, что проект не становится самостоятельным, а будет обновляться вместе с Pillow и иметь ту же нумерацию версий, только с суффиксом. Я надеюсь более-менее оперативно выпускать версии Pillow-SIMD сразу после выхода версий Pillow.

Обработка данных в iPython notebook для задач SEO data analysis IPython Jupyter

При выполнении аналитических задач SEO, SMM, маркетинга мы столкнулись с непомерно растущим количеством инструментов для обработки данных. Каждый заточен под свои возможности или доступность для пользователя: Excel и VBA, сторонние SEO-инструменты, PHP и MySQL, Python, C, Hive и другие. Разнообразные системы и источники данных добавляют проблем: счетчики, рекламные системы, CRM, инструменты вебмастера Яндекса и Google, соцсети, HDFS. Необходим инструмент, совмещающий в себе простоту настройки и использования, модули для получения, обработки и визуализации данных, а также работы с различными типами источников. Выбор пал на iPython notebook (с недавних пор Jupyter notebook), представляющий собой платформу для работы со скриптами на 40 языках программирования. Широкое распространение платформа получила для научных вычислений, среди специалистов по обработке данных и машинному обучению. К сожалению для автоматизации и обработки данных маркетинговых задач Jupyter notebook используется крайне редко.

Осторожно — Бульдозер (сборка apk пакетов в Kivy) Kivy

Фух! Только что выбрался из под траков этого чудовища. А кое-кому повезло меньше. Как и было обещано в предыдущей статье, сегодня мы расскажем, как собираются apk пакеты для программ, написанных с использованием фреймворка Kivy при помощи утилиты Buildozer.

Используем Slack API совместно с Flask API Flask Slack

Стандартная схема логгирования в Python

Стандартная библиотека Питона содержит модуль logging, который де-факто является лучшим средством для ведения логов на Python.

Использование Python в Serverless Framework IoT AWS Amazon

Serverless - это фреймворк для создания IoT, mobile и веб приложений на сервисах от Amazon

Вопросы и обсуждения

Как вы поддерживаете весь ад в крупных Python проектах

Интересное обсуждение о опыте написании больших проектов на Python

Видео

Зоопарк Python веб-фреймворков PyNSK

Посмотрим какие существуют на сегодня популярные веб-фреймворки в мире Python, чем они похожи и чем отличаются.

Во внутренности Kivy PyNSK Kivy

Краткое введение в Kivy — каркас, позволяющий писать приложения на Python под различные (в том числе и мобильные) платформы. Описание его базовых инструментов, характеристик и частей экосистемы.

Kivy: Интерактивные приложения для Андроида и других платформ Kivy

Kivy — современный фреймворк для написания мобильных и десктопных приложений на Python. Поговорим об особенностях мобильной разработки на Питоне на примере написания простого приложения.

Raspberry Pi LCD настройка и программинование на Python raspberry pi

В видео вы найдете ответы на вопросы- как настроить "малинку" и начать писать код на Python для нее

Учебные материалы

aima-python - реализация алгоритмов из книги "Artificial Intelligence - A Modern Approach" machine learning

Python 201: введение в importlib

Python 201 – super

Интересные проекты, инструменты, библиотеки

djURLs - декоратор для маппинга urls в Django Django

from django.views.generic import View
from djurls import umap


@umap(r'^fn-based/$', name='fn_based', namespace='test')
def fn_based_view(request):
    return


@umap(r'^class-based/$', name='class_based', include='included_patterns')
class ClassBasedView(View):
    pass

gjtk - GeoJSON ToolKit

kappa - CLI для работы с AWS Lambda AWS Lambda Amazon

pydiatra - еще один статический анализатор для Python

django-sudo - делаем эмуляцию sudo доступа на django Django

Библиотека позволяет воспользоваться повторным запросом пароля, как, например, это делает GitHub.

sshadduser - утилита для упрощения работы с пользователями на POSIX системах

Утилита упрощающая добавление нового пользователя в POSIX. Одной командой можно создать пользователя, добавить его в список групп, создать домашнюю папку, и сгенерировать ключи для OpenSSH.

s4cmd - утилита для работы с Amazon S3 в командной строке Amazon S3

Утилита для работы с Amazon S3 в командной строке. Альтернатива s3cmd. Написан с применением boto 3. Отличается малым размером.

Decorating - украшаем терминал с помощью декораторов

Пример украшения:

Pytablewriter – библиотека для записи таблиц в разных форматах

Поддерживаются форматы CSV/HTML/JavaScript/JSON/Markdown/Excel/Pandas/Python/reStructuredText

sshmenu - CLI меню для SSH CLI SSH

Libtmux – python api для tmux

django-easycart - корзина товаров для Django Django e-commerce shop

fibratus - инструментарий для исследования ядра Windows Windows

django-prettyjson - виджет для показа форматированного JSON. JSON Django

django-dynamic-views - динамически создаем URL'ы на основе моделей Django

Модуль идеален, если у вас много моделей, с простыми CRUD контроллерами, и вы ленитесь прописывать к каждому urlpatterns.

flask-ask - toolkit для написания приложений для Amazon Echo

PyThalesians - финансовая библиотека (тестирование стратегий для рынка)

GooPyCharts - Google Charts API для Python

Alt text

nameko-redis - реализация Redis для nameko микросервисов Redis nameko

from nameko.rpc import rpc
from nameko_redis import Redis


class MyService(object):
    name = "my_service"

    redis = Redis('development')

    @rpc
    def hello(self, name):
        self.redis.set("foo", name)
        return "Hello, {}!".format(name)

    @rpc
    def bye(self):
        name = self.redis.get("foo")
        return "Bye, {}!".format(name)

fizz-buzz-tensorflow - задача "fizz buzz" на tensorflow

Релизы

pex - 1.1.7

Библиотека и утилита для генерации .pex (Python EXecutable) файлов. Изменения описаны по ссылке https://allmychanges.com/p/python/pex/#1.1.7. Скачать можно по ссылке: None

PyCharm 2016.1.4 RC PyCharm IDE JetBrains

Pyston 0.5

Состоялся пятый выпуск проекта Pyston, в рамках которого компанией Dropbox, в которой работает Гвидо ван Россум, развивается высокопроизводительная реализация языка Python, созданная с использованием наработок проекта LLVM. Реализация примечательна применением современных технологий JIT-компиляции и нацелена на достижение высокой производительности, близкой к производительности традиционных системных языков, таких как C++. Код Pyston написан на языке C++ и распространяется под лицензией Apache.

Ansible — 2.1

Некоторые новшества: - Поддержка Azure и новые модули для Windows - Модули управления сетью поддерживаются официально (tech preview в 2.0) - Переработаны модули поддержки контейнеров: дополнения в модуле Docker, новый модуль для Kubernetes