IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
читайте нас в Telegram

     13.04.2018       Выпуск 225 (09.04.2018 - 15.04.2018)       Статьи

Опасные pickles — вредоносная сериализация в Python

Panta rhei и вот уже приближается запуск обновленного курса «Web-разработчик на Python» и у нас остался ещё материал, который мы нашли сильно небезынтересным и коим хотим поделиться с вами.

Чем опасны pickles?

 

Эти соленые огурчики крайне опасны. Я даже не знаю, как объяснить, насколько. Просто поверь мне. Это важно, понимаешь?

“Explosive Disorder” Pan Telare

Прежде чем с головой погрузиться в опкод, поговорим об основах. В стандартной библиотеке Python есть модуль под названием pickle (в переводе “соленый огурчик” или просто ”консервация”), который используется для сериализации и десериализации объектов. Только называется это не сериализация/десериализация, а pickling/unpickling (дословно — “консервация/расконсервация”).

     13.04.2018       Выпуск 225 (09.04.2018 - 15.04.2018)       Статьи

Мега-Учебник Flask, Часть XIX: Развертывание на основе Docker-контейнеров Flask Docker

Это девятнадцатая часть серии мега-учебника Flask, в которой я собираюсь развернуть Microblog на платформе Docker.

     12.04.2018       Выпуск 225 (09.04.2018 - 15.04.2018)       Статьи

Как с помощью анализа геоданных предсказать количество вызовов экстренных служб в разных частях города?

Попробуйте решить задачу из онлайн-хакатона Geohack.112. Дано: территория Москвы и Московской области была разделена на квадраты размеров от 500 на 500 метров. В качестве исходных данных представлено среднее количество вызовов экстренных служб в день (номера 112, 101, 102, 103, 104, 010, 020, 030, 040). Рассматриваемый регион был поделен на западную и восточную часть. Участникам предлагается, обучившись по западной части, предсказать количество вызовов экстренных служб для всех квадратов восточной.

     11.04.2018       Выпуск 225 (09.04.2018 - 15.04.2018)       Статьи
     11.04.2018       Выпуск 225 (09.04.2018 - 15.04.2018)       Статьи
     11.04.2018       Выпуск 225 (09.04.2018 - 15.04.2018)       Статьи
     11.04.2018       Выпуск 225 (09.04.2018 - 15.04.2018)       Статьи
     10.04.2018       Выпуск 225 (09.04.2018 - 15.04.2018)       Статьи
     10.04.2018       Выпуск 225 (09.04.2018 - 15.04.2018)       Статьи
     10.04.2018       Выпуск 225 (09.04.2018 - 15.04.2018)       Статьи

Применение сверточных нейронных сетей для задач NLP

Когда мы слышим о сверточных нейронных сетях (CNN), мы обычно думаем о компьютерном зрении. CNN лежали в основе прорывов в классификации изображений — знаменитый AlexNet, победитель соревнования ImageNet в 2012 году, с которого начался бум интереса к этой теме. С тех пор сверточные сети достигли большого успеха в распознавании изображений, в силу того факта, что они устроены наподобие зрительной коры головного мозга — то есть умеют концентрироваться на небольшой области и выделять в ней важные особенности. Но, как оказалось, CNN хороши не только для этого, но и для задач обработки естественного языка (Natural Language Processing, NLP). Более того, в недавно вышедшей статье [1] от коллектива авторов из Intel и Carnegie-Mellon University, утверждается, что они подходят для этого даже лучше RNN, которые безраздельно властвовали областью на протяжении последних лет.

     10.04.2018       Выпуск 225 (09.04.2018 - 15.04.2018)       Статьи
     09.04.2018       Выпуск 225 (09.04.2018 - 15.04.2018)       Статьи
     09.04.2018       Выпуск 225 (09.04.2018 - 15.04.2018)       Статьи
     09.04.2018       Выпуск 225 (09.04.2018 - 15.04.2018)       Статьи
     09.04.2018       Выпуск 225 (09.04.2018 - 15.04.2018)       Статьи
     08.04.2018       Выпуск 224 (02.04.2018 - 08.04.2018)       Статьи

Анализ данных с использованием Python

Язык программирования Python в последнее время все чаще используется для анализа данных, как в науке, так и коммерческой сфере. Этому способствует простота языка, а также большое разнообразие открытых библиотек.

 

В этой статье разберем простой пример исследования и классификации данных с использованием некоторых библиотек на Python. Для исследования, нам понадобится выбрать интересующий нас набор данных (DataSet). Разнообразные наборы Dataset'ы можно скачать с сайта. DataSet обычно представляет собой файл с таблицей в формате JSON или CSV. Для демонстрации возможностей исследуем простой набор данных с информацией о наблюдениях НЛО. Наша цель будет не получить исчерпывающие ответы на главный вопрос жизни, вселенной и всего такого, а показать простоту обработки достаточно большого объема данных средствами Python. Собственно, на месте НЛО могла быть любая таблица.

     06.04.2018       Выпуск 224 (02.04.2018 - 08.04.2018)       Статьи

Never Fail Twice, или как построить мониторинговую систему с нуля

У нас было 2 виртуальные машины, 75 сайтов, десятки тысяч машин для мониторинга, тысячи метрик, две базы данных и одна очередь ActiveMQ, Python и целое множество библиотек всех сортов и расцветок, pandas, а также numpy, dash, flask, SQL Alchemy. Не то чтобы это был необходимый запас для системы, но если начал собирать компоненты, становится трудно остановиться. Единственное, что вызывало у меня опасение — это JavaScript. Ничто в мире не бывает более беспомощным, безответственным и порочным, чем JS зомби. Я знал, что рано или поздно мы перейдем и на эту дрянь.