IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
читайте авторский блог

     04.04.2016       Выпуск 120 (04.04.2016 - 10.04.2016)       Статьи

Чтение больших объемов данных в Python/Postgresql postgresql psycopg2

Стек рассматриваемых технологий: Postgresql 9.3, Python 2.7 с установленным модулем «psycopg2».

Проблема
Как часто в вашей практике приходилось сталкиваться с задачей обработки таблиц большого объема (более 10 млн. записей)? Думаю вы согласитесь, что данная задача является довольно ресурсоемкой как в плане времени обработки, так и задействованных ресурсов системы. Сегодня я постараюсь показать альтернативный способ решения задачи.

     04.04.2016       Выпуск 120 (04.04.2016 - 10.04.2016)       Статьи

Разрушители мифов: Автоматическое решение Google Recaptcha google recaptcha CAPTCHA scipy hash numpy

Привет! Я воплощаю интересные идеи на python и рассказываю о том, что из этого вышло. В прошлый раз я пробовал найти аномалии на карте цен недвижимости. Просто так. На этот раз идея была построить систему, которая смогла бы сама решать очень популярную ныне Google Recaptcha 2.0, основываясь на некоторых алгоритмах и большой базе обучающих примеров. 
Google Recaptcha 2.0 представляет собой набор изображений (9 или 16 квадратных картинок под одной инструкцией), среди которых пользователю, для подтверждения своей разумности, нужно выбрать все изображения одной категории. Речь пойдет НЕ о построении системы машинного обучения — распознавать мы будем именно капчи!

     03.04.2016       Выпуск 119 (28.03.2016 - 03.04.2016)       Интересные проекты, инструменты, библиотеки

pyLCI — внешний интерфейс для Raspberry Pi и других Linux-устройств raspberry pi hardware

Внешний интерфейс для компьютеров с Linux, который позволяет взаимодействовать с системой посредством символьных дисплеев и кнопок.

     02.04.2016       Выпуск 119 (28.03.2016 - 03.04.2016)       Статьи

'abcde'+'fgh'=? wat task

Это статья про довольно неожиданный результат выполнения программы на python. Матёрым разработчикам она покажется детским лепетом, но для тех, кто изредка использует python как полезный инструмент будет несомненно интересна. Также рекомендую её как гимнастику ума. Чтобы заняться этой гимнастикой могли все желающие не добавлял в статью ни строчки кода. 

     01.04.2016       Выпуск 119 (28.03.2016 - 03.04.2016)       Статьи

Стеганография в акроконструкциях. Алгоритм DANTSOVA algorithm

Давно хотел опубликовать этот just4fun проектик по стеганографии, но что-то не было времени. 
И вот и время и повод нашелся. 
К тому же пятница!

     31.03.2016       Выпуск 119 (28.03.2016 - 03.04.2016)       Конференции, события, встречи разработчиков

Piter Py #3 - Python-конференция на Неве conference pycon

Piter Py – это аккумуляция опыта мирового Python-сообщества. Со своими докладами выступят эксперты из США, Италии, Англии, Германии, Ирландии, Франции, Украины и Беларуси. Будет много интересных докладов и от наших соотечественников из разных уголков страны. 
Подробная программа конференции уже опубликована.

     30.03.2016       Выпуск 119 (28.03.2016 - 03.04.2016)       Статьи

Автоматизация оформления документации uml erp documentation

Работая над проектами связанными с авионикой мне потребовалось оформить несколько комплектов документации с полным описанием проекта. Также следовало учитывать требования многих ГОСТов на оформление и на содержание документации, таких как ЕСПД, КТ-178B и других.

     30.03.2016       Выпуск 119 (28.03.2016 - 03.04.2016)       Учебные материалы

Курс ИМКН УрФУ. Языки сценариев (Python)

Курс ИМКН УрФУ. Языки сценариев (Python) В курсе лектор очень подробно и ясно рассказывает про части CPython. Для примера лекция про GIL - как одна из самых спорных тем Ссылка на плейлист с видео:

Рекомендуем просмотр на скорости x2.

     29.03.2016       Выпуск 119 (28.03.2016 - 03.04.2016)       Учебные материалы

Видео-туториалсы запуска вычислительных задач на Python, R, С++, Octave и Blender во FlyElelephant

Сегодня мы хотим поделиться видео-туториалсами запуска задач во FlyElelephant. Под катом вы найдете видео, как запускать вычислительные задачи, написанные с помощью С++, R, Python, Octave и рендерить изображения с помощью Blender, а также промо-код для получения бесплатных дополнительных часов работы ваших задач.

     29.03.2016       Выпуск 119 (28.03.2016 - 03.04.2016)       Учебные материалы

Программирование на Python — курс для желающих узнать о нём больше или изучить ещё один язык программирования

Мы предлагаем тринадцать лекций осеннего курса CS центра, чтобы посмотреть вглубь языка и попробовать понять, как пользоваться всеми его возможностями. Лекции читаетСергей Лебедев, разработчик в компании JetBrains и преподаватель в Computer Science Center. 
 

     29.03.2016       Выпуск 119 (28.03.2016 - 03.04.2016)       Колонка автора
     28.03.2016       Выпуск 119 (28.03.2016 - 03.04.2016)       Конференции, события, встречи разработчиков

Отчёт с Moscow Python Meetup 18 марта

18 марта в московском офисе Mail.Ru Group прошла очередная встреча «питонистов» — Moscow Python Meetup. В рамках традиционного однодневного формата было три выступления, с видеозаписями и презентациями которых вы теперь можете ознакомиться. 

     27.03.2016       Выпуск 118 (21.03.2016 - 27.03.2016)       Статьи

Web Scrapping с помощью python beautiful soup scrapy scraping lxml xpath parsing

Недавно заглянув на КиноПоиск, я обнаружила, что за долгие годы успела оставить более 1000 оценок и подумала, что было бы интересно поисследовать эти данные подробнее: менялись ли мои вкусы в кино с течением времени? есть ли годовая/недельная сезонность в активности? коррелируют ли мои оценки с рейтингом КиноПоиска, IMDb или кинокритиков? 
Но прежде чем анализировать и строить красивые графики, нужно получить данные. К сожалению, многие сервисы (и КиноПоиск не исключение) не имеют публичного API, так что, приходится засучить рукава и парсить html-страницы. Именно о том, как скачать и распарсить web-cайт, я и хочу рассказать в этой статье.
В первую очередь статья предназначена для тех, кто всегда хотел разобраться с Web Scrapping, но не доходили руки или не знал с чего начать. 

Off-topic: к слову, Новый Кинопоиск под капотом использует запросы, которые возвращают данные об оценках в виде JSON, так что, задача могла быть решена и другим путем.

     24.03.2016       Выпуск 118 (21.03.2016 - 27.03.2016)       Колонка автора

Пишем web-проекты: система "лайков" для Django на примере PythonDigest.ru

Python дайджест - это крупный русскоязычный агрегатор Python новостей с кучей ссылок. Больше 10 тысяч ссылок уже собрали. Но в таком море контента тяжело ориентироваться и постоянно в голове вопрос "Как показать пользователю только релевантную информацию?".

     23.03.2016       Выпуск 118 (21.03.2016 - 27.03.2016)       Статьи

Разработка сервиса по загрузке альбомов

Не так давно появилось желание скачать из альбома сообщества все изображения, поискав в интернете подходящий сервис, наткнулся лишь на платные сервисы, что мне не совсем подходило.

И вот в преддверии дня рождения, появилось время и отличное настроение для написания сервиса.

     21.03.2016       Выпуск 118 (21.03.2016 - 27.03.2016)       Статьи

Отбираем валидные мобильные номера друзей VK на Python

В процессе изучения Python стало интересно попробовать его в связке с API VK. В ВК есть телефонная книга, она показывает телефоны ваших друзей в более-менее удобном формате. Так как далеко не всегда люди охотно оставляют там полые(валидные) номера своих телефонов, мне показалась интересной идея написать скрипт, который отбирал бы только валидные номера моб.телефонов и выдавал бы их отдельной таблицей. Наша телефонная книга будет генерировать csv-файл, который затем можно будет открыть, например, в excel.

     21.03.2016       Выпуск 118 (21.03.2016 - 27.03.2016)       Статьи

Как я делал фотобудку

В век «онлайна», печатная фотография стала больше походить на диковинку, как это было раньше с фотографией цифровой. В последнее время, различного рода фотобудки, стали набирать популярность, как интересный способ развлечь гостей и получить памятный сувенир в виде фотографии. Я фотограф, который увлекается программированием, и при этом сочетании, было бы странно не попробовать сделать себе фотобудку. 
В отличии от коммерческих моделей фотобудок, которые есть в продаже, мне хотелось сделать действительно компактную и автономную систему. Чтоб я параллельно основной работе, мог за пару минут ее установить хоть в поле и не таскать с собой лишние десятки килограмм веса. И у меня это получилось. 


Под катом будет рассказ о железе, raspberry pi и программировании всего этого под linuх и конечно же мой любимый python. Забегая вперед, скажу, что мне хотелось именно качественных фотографий, поэтому съемка ведется не на веб камеру, а на DSLR, поэтому статья должна получиться еще больше и интересней.

     20.03.2016       Выпуск 117 (14.03.2016 - 20.03.2016)       Статьи

Парадокс Симпсона и немного Pandas

В этой статье я хочу рассмотреть один из наиболее известных примеров парадокса Симпсона, попутно немного рассказав о MultiIndex в Pandas.
Обо всем по порядку.

     19.03.2016       Выпуск 117 (14.03.2016 - 20.03.2016)       Колонка автора