Новый материал в ленте

Библиотека работы с базами данных. Скачать можно по ссылке: https://pypi.python.org/pypi/SQLAlchemy/

Python Дайджест. Выпуск 118

Машинное обучение и анализ данных

(21.03.2016 - 27.03.2016)

поделиться выпуском

На прошедшей неделе помимо презентации новой линейки продуктов Apple и какой-то странной историей с kik в npm не прошло ничего особо интересного. Тем не менее python-новостей, событий, и обновлений проектов было предостаточно Читайте о них ниже, реагируйте в комментария к выпускам, в Slack (инвайт по ссылке), добавляйте свои новости через специальную форму. В реально времени обновления доступны через RSS, Twitter или Telegram @py_digest

Поддержите проект рублем или руками (мы ищем дизайнера и верстальщика)

Новости

BBC micro:bit для миллиона детей

BBC начинает поставлять миллион устройств BBC micro:bit для детей. Это небольшое устройство, которое работает на MicroPython

Конференции, события, встречи разработчиков

EuroPython 2016: более 150 докладов ждут тебя

Статьи

Анализ временных рядов в real-time с помощью AWS Lambda, Amazon Kinesis и Amazon DynamoDB Streams

Support Vector Machines (SVM) classifier (SVC) для анализа форекса на Python

Прогнозирование с помощью PySpark используя MLlib и ML пакеты

Процесс прогнозирования в значительной степени зависит от данных и часто использует передовые методы машинного обучения. В этой статье мы посмотрим разновидности данных, как делать некоторый предварительный анализ данных, а также как генерировать модели прогнозирования оттока абонентов - все с помощью PySpark и ее рамках машинного обучения.

Pandashells: Data Science в командной строке

По ссылке вы найдете демо использования Pandashells для выполнения различной обработки данных, анализа и визуализации в командно строке

datetime — PyMOTW 3

Визуализация геномных данных в Python

From deep sequencing to insights.

Python, Машинное обучение и войны языков

10 мифов о применении Python в энтерпрайзе

В статье описываются 10 распространненых мифов/недостатков Python для разработки.

Разработка сервиса по загрузке альбомов

Не так давно появилось желание скачать из альбома сообщества все изображения, поискав в интернете подходящий сервис, наткнулся лишь на платные сервисы, что мне не совсем подходило.

И вот в преддверии дня рождения, появилось время и отличное настроение для написания сервиса.

Отбираем валидные мобильные номера друзей VK на Python

В процессе изучения Python стало интересно попробовать его в связке с API VK. В ВК есть телефонная книга, она показывает телефоны ваших друзей в более-менее удобном формате. Так как далеко не всегда люди охотно оставляют там полые(валидные) номера своих телефонов, мне показалась интересной идея написать скрипт, который отбирал бы только валидные номера моб.телефонов и выдавал бы их отдельной таблицей. Наша телефонная книга будет генерировать csv-файл, который затем можно будет открыть, например, в excel.

Как я делал фотобудку

В век «онлайна», печатная фотография стала больше походить на диковинку, как это было раньше с фотографией цифровой. В последнее время, различного рода фотобудки, стали набирать популярность, как интересный способ развлечь гостей и получить памятный сувенир в виде фотографии. Я фотограф, который увлекается программированием, и при этом сочетании, было бы странно не попробовать сделать себе фотобудку.
В отличии от коммерческих моделей фотобудок, которые есть в продаже, мне хотелось сделать действительно компактную и автономную систему. Чтоб я параллельно основной работе, мог за пару минут ее установить хоть в поле и не таскать с собой лишние десятки килограмм веса. И у меня это получилось.

Под катом будет рассказ о железе, raspberry pi и программировании всего этого под linuх и конечно же мой любимый python. Забегая вперед, скажу, что мне хотелось именно качественных фотографий, поэтому съемка ведется не на веб камеру, а на DSLR, поэтому статья должна получиться еще больше и интересней.

Web Scrapping с помощью python beautiful soup scrapy scraping lxml xpath parsing

Недавно заглянув на КиноПоиск, я обнаружила, что за долгие годы успела оставить более 1000 оценок и подумала, что было бы интересно поисследовать эти данные подробнее: менялись ли мои вкусы в кино с течением времени? есть ли годовая/недельная сезонность в активности? коррелируют ли мои оценки с рейтингом КиноПоиска, IMDb или кинокритиков?
Но прежде чем анализировать и строить красивые графики, нужно получить данные. К сожалению, многие сервисы (и КиноПоиск не исключение) не имеют публичного API, так что, приходится засучить рукава и парсить html-страницы. Именно о том, как скачать и распарсить web-cайт, я и хочу рассказать в этой статье.
В первую очередь статья предназначена для тех, кто всегда хотел разобраться с Web Scrapping, но не доходили руки или не знал с чего начать.

Off-topic: к слову, Новый Кинопоиск под капотом использует запросы, которые возвращают данные об оценках в виде JSON, так что, задача могла быть решена и другим путем.

Функциональное программирование: концепции, идиомы и философия fp atd functional programming functools immutable functor idiom monad

Сортировка координат по часовой стрелке с помощью Python и OpenCV

Это первая статья из серии. В серии мы будем рассматривать размеры объектов в изображении и измерять расстояния между ними

Авторизация на основе токенов с помощью Django и React

Python 201 – OrderedDict std syntax dict

Пример кода: утилита для сравнения двух файлов example utils CLI

Видео

Raspberry Pi & Python Internet 'Thing' pt. 1

Сборник видео про Python от John Philip Jones

Учебные материалы

Путь джедая: comprehensions в Python

По ссылке вы найдете тутриал про comprehensions в Python, все это на примерах с отсылками к Звездным Войнам

Как установить Qt 5.6 и PyQt5 для Python 3.4 в venv на Mac OS X и Linux

Наконец-то, Real-Time Django: введение в Django Channels

Колонка автора

Пишем web-проекты: система "лайков" для Django на примере PythonDigest.ru

Python дайджест - это крупный русскоязычный агрегатор Python новостей с кучей ссылок. Больше 10 тысяч ссылок уже собрали. Но в таком море контента тяжело ориентироваться и постоянно в голове вопрос "Как показать пользователю только релевантную информацию?".

Интересные проекты, инструменты, библиотеки

pytrader - торговый бот для криптовалют

python-diskcache - кэш на базе файлов для Python

In [1]: import pylibmc
In [2]: client = pylibmc.Client(['127.0.0.1'], binary=True)
In [3]: client[b'key'] = b'value'
In [4]: %timeit client[b'key']

10000 loops, best of 3: 25.4 µs per loop

In [5]: import diskcache as dc
In [6]: cache = dc.Cache('tmp')
In [7]: cache[b'key'] = b'value'
In [8]: %timeit cache[b'key']

100000 loops, best of 3: 11.8 µs per loop

Flask-Diced - генератор CRUD вьюх для Flask

Fsdb - File system database

Dplython - порт библиотеки (для анализа данных) Dplyr из языка Python

django-inline-svg - простой templatetags для отображения SVG

Используем Selenium и Python для создания скриншотов сайтов с тяжелым javascript

General_Deep_Q_RL - General deep Q learning framework

PyonR - реализация Python для Racket

scrapyjs - поддержка JavaScript для Scrapy используя Splash

trypackage - консольная утилита, которая позволяет попробовать питон модуль

commonfate - реализация Common Fate Transform and Model

Описание модели - ICASSP 2016 paper "Common Fate Model for Unison source Separation".

octoconf - модуль для управления конфигами на основе YAML

concentration - утилита для временной блокировки сайтов

yoton - декоратор добавляющий кэш для функций

@yoton.cache(key_pattern="dummy_cache_key", expire_seconds=60)
def dummy_func():
    return "hello"

>> dummy_func()  # call the function
"hello" set in the cache

coquery - утилита для работы с корпусами текстов

channels-examples - пример проекта сиспользованием Django Channels

Релизы

kombu - 3.0.35

Фреймворк для работы с AMQP. Изменения описаны по ссылке https://allmychanges.com/p/python/kombu/#3.0.35. Скачать можно по ссылке: http://pypi.python.org/pypi/kombu/

click - 6.4

Фреймворк для простого создания интерфейсов командной строки.. Изменения описаны по ссылке https://allmychanges.com/p/python/click/#6.4. Скачать можно по ссылке: https://pypi.python.org/pypi/click/

mock - 1.1.0

Python модуль для создания заглушек (mock-объект) при тестировании. Изменения описаны по ссылке https://allmychanges.com/p/python/mock/#1.1.0. Скачать можно по ссылке: http://pypi.python.org/pypi/mock/

pysqlite - 2.8.2

Python DB-API модуль для SQLite 3.. Изменения описаны по ссылке https://allmychanges.com/p/python/pysqlite/#2.8.2. Скачать можно по ссылке: https://pypi.python.org/pypi/pysqlite

django-paypal - 0.3.1

Поддержка платежной системы PayPal в Django. Изменения описаны по ссылке https://allmychanges.com/p/python/django-paypal/#0.3.1. Скачать можно по ссылке: https://pypi.python.org/pypi/django-paypal/

PyCharm 2016.1

celery - 2.5

Распределенная очередь задач. Изменения описаны по ссылке https://allmychanges.com/p/python/celery/#2.5. Скачать можно по ссылке: http://pypi.python.org/pypi/celery/

PyDev 4.5.5: авто-дополнение кода, pytest, python 3 parsing, debugger

django-htmlmin - 0.9.1

Минификатор HTML для уменьшения веса страницы, повышения быстроты загрузки сайта и уменьшение трафика. Минификатор полноценно поддерживает HTML 5, поддерживается работа из консоли для минификации статических сайтов. Изменения описаны по ссылке https://allmychanges.com/p/python/django-htmlmin/#0.9.1. Скачать можно по ссылке: https://pypi.python.org/pypi/django-htmlmin/