Python Дайджест. Выпуск 89

Уже в сентябре выйдет новый мажорный релиз PyCharm Educational Edition. В этом релизе будет много нового, например, интеграция с Stepic

Вероятно многие из нас сдавая очередной Django-проект ловили себя на мысли о том, что интерфейс администратора выглядит, мягко говоря, непрезентабельно и несовременно. Однажды мне стало стыдно отдавать хороший Django-проект хорошему заказчику именно по причине убогости админки, и я решил обновить ее внешний вид, вдохновившись обновленным сайтом Django.

Программа третьего российского PyCon почти готова. Выступают python-разработчики из США, Франции, Чехии, Германии, Украины и России. В программе: чем аннотации типов могут быть полезны, полнотекстовый поиск с помощью Python, работа с памятью в Python, «Интернет вещей» на Python, как скачать испанский интернет с помощью фреймворка Frontera, чем интересны библиотека для научных вычислений на Python NumPy и самая популярная asyncio-совместимая библиотека Aiohttp. 18-19 сентября, Екатеринбург

Живете рядом с Новосибирском? Приглашаем на встречу Python-сообщества в Новосибирске - PyNSK.
Встреча состоится 13 сентября в "Самоваре". Все подробности по ссылке - https://vk.com/pynsk_13_09_2015.

В сентябре прошлого года была опубликована последняя статья о Центрифуге — сервере с открытым исходным кодом для обмена сообщениями в режиме реального времени. Теперь в списке хабов, в которые публикуется этот пост, присутствует Go. И неспроста, как можно понять уже из заголовка, Центрифуга была портирована с Python на Go — так появилась Centrifugo. О причинах миграции, о плюсах и минусах Go, а также о том, как эволюционировал проект с момента предыдущей публикации – читайте под катом.

Недавно уже было описано, как создать свой плагин для CMS. И упомянуто, что у плагина могут быть настройки. Поскольку эти настройки хранятся в самой обыкновенной джанговской модели, в них и может быть размещено всё, что может быть размещено в модели. Но если с полями вроде CharField или TextField работать очень просто, то бывают и менее очевидные ситуации.

Цены на жильё формируются из многочисленных факторов, основные из которых — это близость к центру города и наличие рядом различной инфраструктуры. Но реальные цены только в бумажных газетах и риэлторских сайтах. Мы будем строить свою карту с ценами на недвижимость в Москве при помощи python, яндекс API и matplotlib, специальный репортаж с места событий под катом

Данная статья представляет перевод главы, обучающей работе с текстовыми данными, из официальной документации scikit-learn. Начало статьи вы можете прочесть в части 1. Обучение классификатора Теперь, когда мы выделили признаки, можно обучать классификатор предстазывать категорию текста. Давайте начнем с Наивного Байесовского классификатора, который станет прекрасной отправной точкой для нашей задачи. scikit-learn включает в себя несколько вариантов этого классификатора. Самый подходящий для подсчета слов — это его поли номинальный вариант: >>> from sklearn.naive_bayes import MultinomialNB >>> clf = MultinomialNB().fit(X_train_tfidf, twenty_train.target)

В последнее несколько лет MongoDB приобрела огромную популярность среди разработчиков. То и дело в интернете появляются всякие статьи как очередной молодой популярный проект выкинул на свалку истории привычные РСУБД, взял в качестве основной базы данных MongoDB, выстроил инфраструктуру вокруг неё, и как все после этого стало прекрасно. Даже появляются новые фреймворки и библиотеки, которые строят свою архитектуру целиком на Mongo (Meteor.js например). По долгу работы я примерно 3 года занимаюсь разработкой и поддержкой нескольких проектов, которые используют MongoDB в качестве основной БД, и в этой статье хочу рассказать, почему на мой взгляд с MongoDB далеко не все так просто, как написано в мануалах, и к чему вы должны быть готовы, если вдруг решите взять MongoDB в качестве основной БД в ваш новый модный стартап :-) Все что описано ниже можно воспроизвести с использованием библиотеки PyMongo для работы с MongoDB из языка программирования Python. Однако скорее всего с аналогичными ситуациями вы можете столкнуться и при использовании других библиотек для других языков программирования.

Привет, Хабр! Осталось три недели до третьей международной конференции python-разработчиков Pycon Russia 2015, которая пройдет в Екатеринбурге 18-19 сентября. Мы доделываем итоговую сетку и обговариваем детали последних докладов, но 90% программы готово. Итак, что вас ждет в этом году.

Часто спрашивают, как отслеживать изменение структуры сайта на Django-CMS в системах контроля версий.

В статье показано как определить коэффициент корреляции. И будет рассмотрена возможность замены традиционного коэффициента корреляции Пирсона на этот коэф.

В статье перечислено 10 особенностей SQLAlchemy, которые делают работу с этим модулем приятной.

Крейглист это сайт электронных объявлений.

Автор рассказывает разработке нодового виджета на PySide, и о том с какими проблемами ему пришлось столкнуться.

Статья рассказывает как использовать StackHut для публикации ваших скриптов в Интернет

Статья подробно описывает все операции со словарями в Python

Статья описывает как использовать Steam в своем Python коде

Статья описывает как написать простой парсер для HackerNews. Код из статьи позволяет определить новинки на сайте и сохраняет страницы в БД

В статье вы найдете различные способы подсчета факториала и узнаете какой из них быстрее.

Статья рассказывает что такое фентези футбол и как можно делать обдуманные ставки

Обработка текстов (NLP) это интересная задача, но как при другом анализе данных можно получить странные предсказания. Статья об этом.

Видео доклад про pymongo и mongoengine. О том как можно использовать MongoDB в продакшене.

Err - это модульный, расширяемый бот для чата. В этом видео рассказано как писать ботов.

На данный момент существуют три пользующихся популярностью подхода к реализации конкурентных вычислений в Питоне: нити, событийные циклы и сопрограммы. Каждый из этих подходов окружён своей завесой тайны и рисками. В этом докладе, на коде, который будет написан прямо по ходу, мы разберём каждый из упомянутых путей: плюсы, минусы, места, на которые следует обратить особое внимание. Не обойдётся также без вездесущей глобальной блокировки интерпретатора (GIL).

Докладчик ведет беседу от простого к сложному, И рассматривает как можно писать безопасный код

Ассистент умеет воспринимать команды голосом и искать ответы к ним в wikipedia

Этот курс уроков по Python нацелен на новичков-средних. Рассказываются основы языка и способы применения языка.

В видео вы найдете базовые и не только базовые объяснения про корутины. Что это, как их готовить

В этом эпизоде показано как начать писать Python-приложение, которое подключается к Office 365. Показано как настраивать приложение с помощью API. В целом хорошее введение в API Office 365

В видео вы узнаете историю успеха - как была ускорена программа по сбору данных в 114 000 раз

Стандартная User-модель показаться пугающей. Я покажу вам 3 простых шага-способа способа реализации Custom User Model для нового проекта, которые на самом деле довольно легко сделать, и расскажу какие преимущества в гибкости и кастомизации это дает..

Django не умеет делать автозаполнение из коробки, поэтому мы можем легко его добавить. Об этом и немного другом расскажет докладчик.

Курсы Python от Фоксфорда предназначены для тех, кто хочет изучить, начиная от азов и до профессиональных возможностей, современный, востребованный и в то же время очень понятный язык программирования.

Курс уроков по Python на Microsoft Virtual Academy. В основном основы

Разработка программ сопряжена с сложностями. Произвольно или нет лезут различные баги. Для поиска ошибок применяют различные инструменты, например дебаг. Дебаг бывает кустарным - print'ами, а есть более каноничный подход - дебаггерами....[Продолжение]

Множество в python - "контейнер", содержащий не повторяющиеся элементы в случайном порядке.
»> a = set()
»> a
set()
»> a = set('hello')
»> a
{'h', 'o', 'l', 'e'}
»> a = {'a', 'b',...[Продолжение]

Первой проблемой при поддержке старых проектов является понять, как запустить его.
Чтобы немного упростить эту задачу разработчики используют pip и файл requirements.txt. В этом файле записываются все необходимые для работы...[Продолжение]

Docstring - (сокращение от documentation string, строка документации) встроенное средство документирования модулей, функций, классов и методов. Делается очень просто - сразу после определения указывается строковое значение, которое и...[Продолжение]

Еще один стандартный модуль в Python - itertools.
Модуль itertools - сборник полезных итераторов.
В нем содержатся множество операций над итераторами, да и сами интераторы.
Например есть бесконечная арифметическая...[Продолжение]

При чтении чужого кода можно столкнутся с многими непонятными конструкциями. А сейчас хочу коротко осветить такую конструкцию как yield.
Yield - это ключевое слово которое используется так же, как и слово return. Разница в том, что...[Продолжение]

Тесты можно писать прям в коде, а точнее в docstring.
Модуль doctest ищет куски текста, которые выглядят как интерактивные сессии Python и затем выполняет эти сессии, чтобы проверить, что они работают точно так же, как показано....[Продолжение]

Postgres предоставляет много встроенных возможностей для создания эфективных приложений,
использующих базы данных. А в версии 9.4 появляется еще и полноценное JSON поле,
при правильном использовании которого, отпадает...[Продолжение]

Этот редактор создавался как альтернатива стандартному IDLE

Написание ботов не такая простая задача, как кажется. Необходимо учесть сценарии использования, пройти через дебри настроек и отладки, наладить мониторинг.

Мы консультируем по написанию ботов - обращайтесь https://t.me/axsapronov. Подскажем как разработать бота наиболее быстро

Эта утилита позволяет определить частоту слова для различных языков

Эта крайне простая утилита позволяет рекурсивно найти .pyc файлы и удалить их. Если не знаете bash на базовом уровне, то может пригодится.

Утилита позволяет прям в консоли выполнить регулярное выражение, после чего сгруппировать результаты.

Модуль pythonbenchmark позволяет очень просто сравнить скорости выполнения двух функций. Пример кода:

from pythonbenchmark import compare, measure
import time
 
a,b,c,d,e = 10,10,10,10,10
something = [a,b,c,d,e]
 
def myFunction(something):
    time.sleep(0.4)
 
def myOptimizedFunction(something):
    time.sleep(0.2)
 
# comparing test
compare(myFunction, myOptimizedFunction, 10, input)

Это простой фреймворк, который позволяет очень малым количеством кода сделать CLI

Это небольшой модуль (около 70 строк) позволяет раскрашивать вывод на Windows-консоль

Утилита позволяет накладывать стили на изображения. Вот пример выходного изображения:

Эта небольшая утилита позволяет создавать тексты, которые будут похожи на образцовый текст. В стандартной поставке есть несколько популярных книг-образцов, например, Гарри Поттер

Проект рисует динамические графики со статистиками с PyPi

Это консольная утилита, которая позволяет получить результаты игр для различных футбольных лиг.

Библиотека позволяет очень просто визуализировать таблицы с помощью ASCII символов

Nutika - это совместимый с Python компилятор. В этой версии много исправлений багов. Но главное - теперь поддерживается anaconda. Что значительно расширяет область применения.

pyparallel - форк Python, который умеет использовать много ядер

Легкая в использовании и удобная для разработки CMS. Изменения описаны по ссылке https://allmychanges.com/p/python/django-cms/#3.1.3. Скачать можно по ссылке: https://pypi.python.org/pypi/django-cms/

Обновился PyPy, исправлено много багов, обновились поддержка numpy, и снова улучшена производительность.

Модуль для управления процессами в ОС. Изменения описаны по ссылке https://allmychanges.com/p/python/psutil/#3.2.1. Скачать можно по ссылке: http://pypi.python.org/pypi/psutil/

Библиотека работы с AMQP. Изменения описаны по ссылке https://allmychanges.com/p/python/pika/#0.10.0. Скачать можно по ссылке: http://pypi.python.org/pypi/pika/

Модуль для легковесных потоков в Python. Изменения описаны по ссылке https://allmychanges.com/p/python/greenlet/#0.4.9. Скачать можно по ссылке: http://pypi.python.org/pypi/greenlet/