Выпуск 118

(21.03.2016 - 27.03.2016)

Машинное обучение и анализ данных

Тенденция недели

pythondigest.ru: Выпуск 118

Новости

      BBC micro:bit для миллиона детей

BBC начинает поставлять миллион устройств BBC micro:bit для детей. Это небольшое устройство, которое работает на MicroPython

Статьи

      Разработка сервиса по загрузке альбомов

Не так давно появилось желание скачать из альбома сообщества все изображения, поискав в интернете подходящий сервис, наткнулся лишь на платные сервисы, что мне не совсем подходило.

И вот в преддверии дня рождения, появилось время и отличное настроение для написания сервиса.

      Web Scrapping с помощью python parsing xpath scrapy beautiful soup lxml scraping

Недавно заглянув на КиноПоиск, я обнаружила, что за долгие годы успела оставить более 1000 оценок и подумала, что было бы интересно поисследовать эти данные подробнее: менялись ли мои вкусы в кино с течением времени? есть ли годовая/недельная сезонность в активности? коррелируют ли мои оценки с рейтингом КиноПоиска, IMDb или кинокритиков? 
Но прежде чем анализировать и строить красивые графики, нужно получить данные. К сожалению, многие сервисы (и КиноПоиск не исключение) не имеют публичного API, так что, приходится засучить рукава и парсить html-страницы. Именно о том, как скачать и распарсить web-cайт, я и хочу рассказать в этой статье.
В первую очередь статья предназначена для тех, кто всегда хотел разобраться с Web Scrapping, но не доходили руки или не знал с чего начать. 

Off-topic: к слову, Новый Кинопоиск под капотом использует запросы, которые возвращают данные об оценках в виде JSON, так что, задача могла быть решена и другим путем.

      10 мифов о применении Python в энтерпрайзе

В статье описываются 10 распространненых мифов/недостатков Python для разработки.

      Как я делал фотобудку

В век «онлайна», печатная фотография стала больше походить на диковинку, как это было раньше с фотографией цифровой. В последнее время, различного рода фотобудки, стали набирать популярность, как интересный способ развлечь гостей и получить памятный сувенир в виде фотографии. Я фотограф, который увлекается программированием, и при этом сочетании, было бы странно не попробовать сделать себе фотобудку. 
В отличии от коммерческих моделей фотобудок, которые есть в продаже, мне хотелось сделать действительно компактную и автономную систему. Чтоб я параллельно основной работе, мог за пару минут ее установить хоть в поле и не таскать с собой лишние десятки килограмм веса. И у меня это получилось. 


Под катом будет рассказ о железе, raspberry pi и программировании всего этого под linuх и конечно же мой любимый python. Забегая вперед, скажу, что мне хотелось именно качественных фотографий, поэтому съемка ведется не на веб камеру, а на DSLR, поэтому статья должна получиться еще больше и интересней.

      Визуализация геномных данных в Python

From deep sequencing to insights.

      Pandashells: Data Science в командной строке

По ссылке вы найдете демо использования Pandashells для выполнения различной обработки данных, анализа и визуализации в командно строке

      Сортировка координат по часовой стрелке с помощью Python и OpenCV

Это первая статья из серии. В серии мы будем рассматривать размеры объектов в изображении и измерять расстояния между ними

      Отбираем валидные мобильные номера друзей VK на Python

В процессе изучения Python стало интересно попробовать его в связке с API VK. В ВК есть телефонная книга, она показывает телефоны ваших друзей в более-менее удобном формате. Так как далеко не всегда люди охотно оставляют там полые(валидные) номера своих телефонов, мне показалась интересной идея написать скрипт, который отбирал бы только валидные номера моб.телефонов и выдавал бы их отдельной таблицей. Наша телефонная книга будет генерировать csv-файл, который затем можно будет открыть, например, в excel.

      Прогнозирование с помощью PySpark используя MLlib и ML пакеты

Процесс прогнозирования в значительной степени зависит от данных и часто использует передовые методы машинного обучения. В этой статье мы посмотрим разновидности данных, как делать некоторый предварительный анализ данных, а также как генерировать модели прогнозирования оттока абонентов - все с помощью PySpark и ее рамках машинного обучения.

Учебные материалы

      Путь джедая: comprehensions в Python

По ссылке вы найдете тутриал про comprehensions в Python, все это на примерах с отсылками к Звездным Войнам

Колонка автора

      Пишем web-проекты: система "лайков" для Django на примере PythonDigest.ru

Python дайджест - это крупный русскоязычный агрегатор Python новостей с кучей ссылок. Больше 10 тысяч ссылок уже собрали. Но в таком море контента тяжело ориентироваться и постоянно в голове вопрос "Как показать пользователю только релевантную информацию?".

Интересные проекты, инструменты, библиотеки

      yoton - декоратор добавляющий кэш для функций

@yoton.cache(key_pattern="dummy_cache_key", expire_seconds=60)
def dummy_func():
    return "hello"

>> dummy_func()  # call the function
"hello" set in the cache

      python-diskcache - кэш на базе файлов для Python

In [1]: import pylibmc
In [2]: client = pylibmc.Client(['127.0.0.1'], binary=True)
In [3]: client[b'key'] = b'value'
In [4]: %timeit client[b'key']

10000 loops, best of 3: 25.4 µs per loop

In [5]: import diskcache as dc
In [6]: cache = dc.Cache('tmp')
In [7]: cache[b'key'] = b'value'
In [8]: %timeit cache[b'key']

100000 loops, best of 3: 11.8 µs per loop

Релизы

      celery - 2.5

Распределенная очередь задач. Изменения описаны по ссылке https://allmychanges.com/p/python/celery/#2.5. Скачать можно по ссылке: http://pypi.python.org/pypi/celery/

      PyCharm 2016.1

      mock - 1.1.0

Python модуль для создания заглушек (mock-объект) при тестировании. Изменения описаны по ссылке https://allmychanges.com/p/python/mock/#1.1.0. Скачать можно по ссылке: http://pypi.python.org/pypi/mock/

      kombu - 3.0.35

Фреймворк для работы с AMQP. Изменения описаны по ссылке https://allmychanges.com/p/python/kombu/#3.0.35. Скачать можно по ссылке: http://pypi.python.org/pypi/kombu/

      django-paypal - 0.3.1

Поддержка платежной системы PayPal в Django. Изменения описаны по ссылке https://allmychanges.com/p/python/django-paypal/#0.3.1. Скачать можно по ссылке: https://pypi.python.org/pypi/django-paypal/

      click - 6.4

Фреймворк для простого создания интерфейсов командной строки.. Изменения описаны по ссылке https://allmychanges.com/p/python/click/#6.4. Скачать можно по ссылке: https://pypi.python.org/pypi/click/

      django-htmlmin - 0.9.1

Минификатор HTML для уменьшения веса страницы, повышения быстроты загрузки сайта и уменьшение трафика. Минификатор полноценно поддерживает HTML 5, поддерживается работа из консоли для минификации статических сайтов. Изменения описаны по ссылке https://allmychanges.com/p/python/django-htmlmin/#0.9.1. Скачать можно по ссылке: https://pypi.python.org/pypi/django-htmlmin/

      pysqlite - 2.8.2

Python DB-API модуль для SQLite 3.. Изменения описаны по ссылке https://allmychanges.com/p/python/pysqlite/#2.8.2. Скачать можно по ссылке: https://pypi.python.org/pypi/pysqlite





Разместим вашу рекламу

Пиши: mail@pythondigest.ru

Нашли опечатку?

Выделите фрагмент и отправьте нажатием Ctrl+Enter.

Система Orphus