Пишем паука для страницы с динамическим контентом на Selenium

lxml - 3.6.0

Мощный и быстрый модуль для обработки XML/HTML . Изменения описаны по ссылке https://allmychanges.com/p/python/lxml/#3.6.0. Скачать можно по ссылке: http://pypi.python.org/pypi/lxml/

Итоги марта 2016 на Scrapinghub

pip - 8.1.1

Утилита для управления модулями в Python. Изменения описаны по ссылке https://allmychanges.com/p/python/pip/#8.1.1. Скачать можно по ссылке: http://pypi.python.org/pypi/pip/

neo4j-driver - Neo4j драйвер для Python

from neo4j.v1 import GraphDatabase
driver = GraphDatabase.driver("bolt://localhost")
session = driver.session()
session.run("CREATE (a:Person {name:'Bob'})")
result = session.run("MATCH (a:Person) RETURN a.name AS name")
for record in result:
    print(record["name"])
result.close()
session.close()

rop_compiler - мульти-архитектурный ROP компилятор написанный на Python

ROP = Возвратно-ориентированное программирование

DeepLearningFlappyBird - используем Deep Q-Network для игры в Flappy Bird

pysee - легковесная утилита для создания скриншотов на Linux и Mac OSX

Утилита позволяет сразу загрузить изображение на хостинг

Создаем большие проекты на Python безболезненно

django-safety - безопасные учетные записи для Django

Прошел Moscow Python Meetup, 18 марта

18 марта, в пятницу, прошел на Moscow Python Meetup 33 в офисе Mail.Ru Group. 

pymongo - 2.9.3

Python интерфейс для MongoDB. Изменения описаны по ссылке https://allmychanges.com/p/python/pymongo/#2.9.3. Скачать можно по ссылке: http://pypi.python.org/pypi/pymongo/

Техническое превью Intel: оптимизация numpy, scipy под процессоры intel

clients - HTTP для ленивых, нетерпеливых, высокомерных людей

alchemy-framework - фреймворк для построения систем на основе микросервисов

Scrapinghub на Google Summer of Code 2016

abc — Abstract Base Classes — PyMOTW 3

Pandasql vs Pandas для решения задач анализа данных

В этой статье я бы хотела рассказать о применении python-библиотеки Pandasql. 

Многие люди, сталкивающиеся с задачами анализа данных, уже, скорее всего, знакомы с библиотекой Pandas. Pandas позволяет быстро и удобно работать с табличными данными: фильтровать, группировать, делать join над данными; строить сводные таблицы и даже рисовать графики (для простых визуализации достаточно функции plot(), а если хочется чего-то позаковыристее, то поможет библиотека matplotlib). На Хабре не раз рассказывали о применении этой библиотеки для работы с данными: раз, два, три.

Но по моему опыту далеко не все знают о библиотеке Pandasql, которая позволяет работать с Pandas DataFrames как с таблицами и обращаться к ним, используя язык SQL. В некоторых задачах проще выразить желаемое с помощью декларативного языка SQL, поэтому я считаю, что людям, работающим с данными, полезно знать о наличии такой функциональности. Если говорить о реальных задачах, то я использовала эту библиотеку для решения задачи join'a таблиц по нечетким условиям (необходимо было объединить записи о событиях из разных систем по примерно совпадающему времени, разрыв порядка 5 секунд).

Рассмотрим использование этой библиотеки на конкретных примерах.

irc-autobot - Context Manager для элементарного создания IRC ботов

from autobot import Autobot

with Autobot('irc.freenode.net', '#python', '[Wally]',
           log='transcript.log') as bot:
while True:
  r = bot.read() #  read will write to the specified log
  if "some trigger" in r['message']:
    bot.send("some message back to the chat")
  #respond to privmsg
  if r['command'] == 'PRIVMSG':
    bot.send("some message or command")

ptpython - 0.31

Хороший REPL для Python. Изменения описаны по ссылке https://allmychanges.com/p/python/ptpython/#0.31. Скачать можно по ссылке: https://pypi.python.org/pypi/ptpython