Python Дайджест. Выпуск 118

BBC начинает поставлять миллион устройств BBC micro:bit для детей. Это небольшое устройство, которое работает на MicroPython

Процесс прогнозирования в значительной степени зависит от данных и часто использует передовые методы машинного обучения. В этой статье мы посмотрим разновидности данных, как делать некоторый предварительный анализ данных, а также как генерировать модели прогнозирования оттока абонентов - все с помощью PySpark и ее рамках машинного обучения.

По ссылке вы найдете демо использования Pandashells для выполнения различной обработки данных, анализа и визуализации в командно строке

From deep sequencing to insights.

В статье описываются 10 распространненых мифов/недостатков Python для разработки.

Не так давно появилось желание скачать из альбома сообщества все изображения, поискав в интернете подходящий сервис, наткнулся лишь на платные сервисы, что мне не совсем подходило.

И вот в преддверии дня рождения, появилось время и отличное настроение для написания сервиса.

В процессе изучения Python стало интересно попробовать его в связке с API VK. В ВК есть телефонная книга, она показывает телефоны ваших друзей в более-менее удобном формате. Так как далеко не всегда люди охотно оставляют там полые(валидные) номера своих телефонов, мне показалась интересной идея написать скрипт, который отбирал бы только валидные номера моб.телефонов и выдавал бы их отдельной таблицей. Наша телефонная книга будет генерировать csv-файл, который затем можно будет открыть, например, в excel.

В век «онлайна», печатная фотография стала больше походить на диковинку, как это было раньше с фотографией цифровой. В последнее время, различного рода фотобудки, стали набирать популярность, как интересный способ развлечь гостей и получить памятный сувенир в виде фотографии. Я фотограф, который увлекается программированием, и при этом сочетании, было бы странно не попробовать сделать себе фотобудку. 
В отличии от коммерческих моделей фотобудок, которые есть в продаже, мне хотелось сделать действительно компактную и автономную систему. Чтоб я параллельно основной работе, мог за пару минут ее установить хоть в поле и не таскать с собой лишние десятки килограмм веса. И у меня это получилось. 

Под катом будет рассказ о железе, raspberry pi и программировании всего этого под linuх и конечно же мой любимый python. Забегая вперед, скажу, что мне хотелось именно качественных фотографий, поэтому съемка ведется не на веб камеру, а на DSLR, поэтому статья должна получиться еще больше и интересней.

Недавно заглянув на КиноПоиск, я обнаружила, что за долгие годы успела оставить более 1000 оценок и подумала, что было бы интересно поисследовать эти данные подробнее: менялись ли мои вкусы в кино с течением времени? есть ли годовая/недельная сезонность в активности? коррелируют ли мои оценки с рейтингом КиноПоиска, IMDb или кинокритиков? 
Но прежде чем анализировать и строить красивые графики, нужно получить данные. К сожалению, многие сервисы (и КиноПоиск не исключение) не имеют публичного API, так что, приходится засучить рукава и парсить html-страницы. Именно о том, как скачать и распарсить web-cайт, я и хочу рассказать в этой статье.
В первую очередь статья предназначена для тех, кто всегда хотел разобраться с Web Scrapping, но не доходили руки или не знал с чего начать. 

Off-topic: к слову, Новый Кинопоиск под капотом использует запросы, которые возвращают данные об оценках в виде JSON, так что, задача могла быть решена и другим путем.

Это первая статья из серии. В серии мы будем рассматривать размеры объектов в изображении и измерять расстояния между ними

По ссылке вы найдете тутриал про comprehensions в Python, все это на примерах с отсылками к Звездным Войнам

Python дайджест - это крупный русскоязычный агрегатор Python новостей с кучей ссылок. Больше 10 тысяч ссылок уже собрали. Но в таком море контента тяжело ориентироваться и постоянно в голове вопрос "Как показать пользователю только релевантную информацию?".

In [1]: import pylibmc
In [2]: client = pylibmc.Client(['127.0.0.1'], binary=True)
In [3]: client[b'key'] = b'value'
In [4]: %timeit client[b'key']

10000 loops, best of 3: 25.4 µs per loop

In [5]: import diskcache as dc
In [6]: cache = dc.Cache('tmp')
In [7]: cache[b'key'] = b'value'
In [8]: %timeit cache[b'key']

100000 loops, best of 3: 11.8 µs per loop

Описание модели - ICASSP 2016 paper "Common Fate Model for Unison source Separation".

Фреймворк для работы с AMQP. Изменения описаны по ссылке https://allmychanges.com/p/python/kombu/#3.0.35. Скачать можно по ссылке: http://pypi.python.org/pypi/kombu/

Фреймворк для простого создания интерфейсов командной строки.. Изменения описаны по ссылке https://allmychanges.com/p/python/click/#6.4. Скачать можно по ссылке: https://pypi.python.org/pypi/click/

Python модуль для создания заглушек (mock-объект) при тестировании. Изменения описаны по ссылке https://allmychanges.com/p/python/mock/#1.1.0. Скачать можно по ссылке: http://pypi.python.org/pypi/mock/

Python DB-API модуль для SQLite 3.. Изменения описаны по ссылке https://allmychanges.com/p/python/pysqlite/#2.8.2. Скачать можно по ссылке: https://pypi.python.org/pypi/pysqlite

Поддержка платежной системы PayPal в Django. Изменения описаны по ссылке https://allmychanges.com/p/python/django-paypal/#0.3.1. Скачать можно по ссылке: https://pypi.python.org/pypi/django-paypal/

Распределенная очередь задач. Изменения описаны по ссылке https://allmychanges.com/p/python/celery/#2.5. Скачать можно по ссылке: http://pypi.python.org/pypi/celery/

Минификатор HTML для уменьшения веса страницы, повышения быстроты загрузки сайта и уменьшение трафика. Минификатор полноценно поддерживает HTML 5, поддерживается работа из консоли для минификации статических сайтов. Изменения описаны по ссылке https://allmychanges.com/p/python/django-htmlmin/#0.9.1. Скачать можно по ссылке: https://pypi.python.org/pypi/django-htmlmin/