IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
читайте авторский блог

     31.05.2019       Выпуск 284 (27.05.2019 - 02.06.2019)       Статьи

Почему каждый Data Scientist должен знать Dask

Возможно, название сегодняшней публикации лучше смотрелось бы с вопросительным знаком — сложно сказать. В любом случае, сегодня мы хотим предложить вам краткий экскурс, который познакомит вас с библиотекой Dask, предназначенной для распараллеливания задач на Python. Надеемся в дальнейшем вернуться к этой теме более основательно.

Dask – без преувеличения наиболее революционный инструмент для обработки данных, который мне попадался. Если вам нравятся Pandas и Numpy, но иногда вам не удается справиться с данными, не умещающимися в RAM, то Dask – именно то, что вам нужно.

     30.05.2019       Выпуск 284 (27.05.2019 - 02.06.2019)       Статьи

Кастомизация Django ORM на примере ZomboDB

Часто при работе с Django и PostgreSQL возникает необходимость в дополнительных расширениях для базы данных. И если например с hstore или PostGIS (благодаря GeoDjango) всё достаточно удобно, то c более редкими расширениями — вроде pgRouting, ZomboDB и пр. — приходится либо писать на RawSQL, либо кастомизировать Django ORM. Чем я предлагаю, в данной статье, и заняться, используя в качестве примера ZomboDB и его getting started tutorial. И заодно рассмотрим как можно подключить ZomboDB к проекту на Django.

     30.05.2019       Выпуск 284 (27.05.2019 - 02.06.2019)       Статьи
     29.05.2019       Выпуск 284 (27.05.2019 - 02.06.2019)       Статьи

Асинхронная библиотека для работы с API Mikrotik

Недавно мне понадобилось поработать с Mikrotik через его API. Вроде бы ничего примечательного, есть официальная библиотека, есть еще на гитхабе обёртка, но вот беда — мне надо было работать асинхронно через asyncio и использованием плюшек async/await. И такой библиотеки я не нашел.

     29.05.2019       Выпуск 284 (27.05.2019 - 02.06.2019)       Статьи

Говорят, выучить Python и стать программистом легко. Правда?

Работать в ИТ — круто, но путь в индустрию может быть совсем не таким, как описывают родители или преподаватели в школе. На биржах труда ищут мобильных разработчиков, девопсов, бэкендеров и фронтендеров, но где эти профессии в списках специальностей классических вузов?

     29.05.2019       Выпуск 284 (27.05.2019 - 02.06.2019)       Статьи

Почему вам следует использовать pathlib

Когда я открыл для себя тогда еще новый модуль pathlib несколько лет назад, я по простоте душевной решил, что это всего лишь слегка неуклюжая объектно-ориентированная версия модуля os.path. Я ошибался. pathlib на самом деле чудесен!

 

В этой статье я попытаюсь вас влюбить в pathlib. Я надеюсь, что эта статья вдохновит вас использовать pathlib в любой ситуации, касающейся работы с файлами в Python.

     28.05.2019       Выпуск 284 (27.05.2019 - 02.06.2019)       Статьи

Впечатления от PyCon US 2019

О впечатлениях от программы и выступлений на PyCon US 2019

     27.05.2019       Выпуск 284 (27.05.2019 - 02.06.2019)       Статьи

Логирование в Python

Пакет Logging является очень полезным инструментом в наборе инструментов программиста. Он может помочь вам лучше понять суть программы и обнаружить сценарии, о которых вы, возможно, даже не задумывались при разработке.

     27.05.2019       Выпуск 284 (27.05.2019 - 02.06.2019)       Новости

Pythonhoted.org ошибочно заблокирован Роскомнадзором

Поводом для написания статьи послужило отсутствие упоминаний данного события в Рунете. Виной тому, предположительно, является несоблюдение провайдерами требования РКН, о котором пойдет речь ниже. Мне его удалось обнаружить только в корпоративной сети. Но нет никаких сомнений, что рано или поздно это коснётся всех.

 

     26.05.2019       Выпуск 283 (20.05.2019 - 26.05.2019)       Видео

Moscow Python Podcast. Как войти в разработку за считанные месяцы (level: junior)

Как джуниору сориентироваться в хитросплетениях IT-индустрии? Какая мотивация лучше всего помогает начинающему программисту не капитулировать перед первыми трудностями? Как эффективнее искать вакансии — через рекрутинговые сервисы или через знакомых? Как пробиваться через «HR-заслон» в компанию мечты?

     26.05.2019       Выпуск 283 (20.05.2019 - 26.05.2019)       Статьи

Перенос стиля

Перенос стиля это процесс преобразования стиля исходного к стилю выбранного изображения и опирается на Сверточный тип сети (CNN), при этом заранее обученной, поэтому многое будет зависеть от выбора данной обученной сети. Благо такие сети есть и выбирать есть из чего, но здесь будет применяться VGG-16.

     24.05.2019       Выпуск 283 (20.05.2019 - 26.05.2019)       Статьи

Восстановление данных с XtraDB таблиц без файла структуры, используя побайтовый анализ ibd файла

Так произошло, что сервер был атакован вирусом шифровальщиком, который по "счастливой случайности", частично отставил нетронутыми файлы .ibd (файлы сырых данных innodb таблиц), но при этом полностью зашифровал файлы .fpm (файлы структур). При этом .idb можно было поделить на:

 

  • подлежащие восстановлению через стандартные средства и гайды. Для таких случаев, есть отличная статья;
  • частично зашифрованные таблицы. Преимущественно это большие таблицы, на которые (как я понял), злоумышленниками не хватило оперативной памяти на полное шифрование;
  • ну и полностью зашифрованные таблицы, не подлежащие восстановлению.

     24.05.2019       Выпуск 283 (20.05.2019 - 26.05.2019)       Статьи

Классификация покрова земли при помощи eo-learn. Часть 3

Прошлые пару недель были весьма непростыми. Мы опубликовали первую и вторую части наших статей по поводу классификации покрова в масштабе целой страны при помощи фреймворка eo-learn. eo-learn — это библиотека с открытым исходным кодом для создания прослойки между получением и обработкой снимков со спутников и машинного обучения. В предыдущих статьях в примерах мы указывали только маленькое подмножество данных и показывали результаты лишь на малом проценте всей зоны интереса (AOI — area of interest). Знаю, это выглядит по меньшей мере не слишком впечатляюще, а возможно — весьма грубо с нашей стороны. Всё это время вас мучили вопросы, как можно использовать эти знания и перенести их на следующий уровень.

     24.05.2019       Выпуск 283 (20.05.2019 - 26.05.2019)       Статьи

Что внутри asyncio

В этой статье я предлагаю читателю совершить со мной в меру увлекательное путешествие в недра asyncio, чтобы разобраться, как в ней реализовано асинхронное выполнение кода. Мы оседлаем коллбэки и промчимся по циклу событий сквозь пару ключевых абстракций прямо в корутину. Если на вашей карте питона еще нет этих достопримечательностей, добро пожаловать под кат.

 

     24.05.2019       Выпуск 283 (20.05.2019 - 26.05.2019)       Статьи

Грядёт чистка в стандартной библиотеке Python

О том, какие батарейки планируются к изъятию из стандартной библиотеки в грядущих версиях

     22.05.2019       Выпуск 283 (20.05.2019 - 26.05.2019)       Статьи

Вейвлет – анализ. Часть 2

В данной публикации рассматривается вейвлет – анализ временных рядов. Основная идея вейвлет-преобразования отвечает специфике многих временных рядов, демонстрирующих эволюцию во времени своих основных характеристик – среднего значения, дисперсии, периодов, амплитуд и фаз гармонических компонент. Подавляющее большинство процессов, изучаемых в различных областях знаний, имеют вышеперечисленные особенности.

Целью настоящей публикации является описание методики непрерывного вейвлет- преобразования временных рядов средствами библиотеки PyWavelets..

     22.05.2019       Выпуск 283 (20.05.2019 - 26.05.2019)       Интересные проекты, инструменты, библиотеки

ruopenrefs — ОКТМО, ОКСМ, ОКЕИ и другие справочники в Python

О приложении, предоставляющем информацию из различных общероссийских справочников.

     22.05.2019       Выпуск 283 (20.05.2019 - 26.05.2019)       Статьи

Статическое тестирование или спасти рядового Райана

Релиз часто подкрадывается незаметно. И любая ошибка, внезапно обнаруженная перед ним, грозит нам сдвигом сроков, хотфиксами, работой до утра и потраченными нервами. Когда подобный аврал стал происходить систематически, мы поняли, что так больше жить нельзя. Было решено разработать систему всесторонней валидации, чтобы спасти рядового Райана разработчика Артёма, который перед релизом уходил домой в 9 вечера, или в 10, или в 11… ну вы поняли. Идея была в том, чтобы разработчик узнавал об ошибке, пока изменения еще не попали в репозиторий, а он сам не потерял контекста задачи.

     21.05.2019       Выпуск 283 (20.05.2019 - 26.05.2019)       Статьи

F-строки Python 3: улучшенный синтаксис форматирования строк

Начиная с Python 3.6, f-строки – отличный новый способ форматирования строк. Это способ не только более читабелен, более краток и