IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
и сделали Тренажер IT-инцидентов для DevOps/SRE

     25.09.2019       Выпуск 301 (23.09.2019 - 29.09.2019)       Релизы
     25.09.2019       Выпуск 301 (23.09.2019 - 29.09.2019)       Статьи

Играемся с комплексными числами

Очередной очерк. На этот раз поиграемся с комплексными числами, с формулами и их визуализацией.

     24.09.2019       Выпуск 301 (23.09.2019 - 29.09.2019)       Статьи

The Python Software Foundation обновил Code of Conduct

Применяется для официальных Python конференций

     24.09.2019       Выпуск 301 (23.09.2019 - 29.09.2019)       Статьи
     24.09.2019       Выпуск 301 (23.09.2019 - 29.09.2019)       Статьи

Как обработать большие xml на 8 Гб памяти. Работаем с базой ФИАС,pandas и python

Скачать ее можно перейдя по ссылке, данная база является открытой и содержит все адреса объектов по России (адресный реестр). Интерес к этой базе вызван тем, что файлы, которые в ней содержатся достаточно объемны. Так, например, самый маленький составляет 2,9 Гб. Предлагается остановиться на нем и посмотреть, справится ли с ним pandas, если работать на машине, располагая только 8 Гб оперативной памяти. А если не справится, какие есть опции, для того, чтобы скормить pandas данный файл.

     24.09.2019       Выпуск 301 (23.09.2019 - 29.09.2019)       Статьи

Робот-танк на Raspberry Pi с Intel Neural Computer Stick 2

Вот и наступил новый этап в развии Raspberry-танка.

В предыдущей серии оказалось, что семантическая сегментация из коробки не по зубам Raspberry.

     23.09.2019       Выпуск 301 (23.09.2019 - 29.09.2019)       Статьи
     23.09.2019       Выпуск 301 (23.09.2019 - 29.09.2019)       Статьи

Keras: отслеживаем пере/недообучение сети

Учимся вовремя останавливать обучение или дообучать

     23.09.2019       Выпуск 301 (23.09.2019 - 29.09.2019)       Статьи

Генератор простых арифметических примеров для чайников и не только

В этой «статье», а вернее сказать очерке, покажу очень простой способ развлечься зная самые основы latex и python.

     21.09.2019       Выпуск 300 (16.09.2019 - 22.09.2019)       Статьи

50 оттенков matplotlib — The Master Plots (с полным кодом на Python)

Те, кто работает с данными, отлично знают, что не в нейросетке счастье — а в том, как правильно обработать данные. Но чтобы их обработать, необходимо сначала проанализировать корреляции, выбрать нужные данные, выкинуть ненужные и так далее. Для подобных целей часто используется визуализация с помощью библиотеки matplotlib.

     20.09.2019       Выпуск 300 (16.09.2019 - 22.09.2019)       Интересные проекты, инструменты, библиотеки

mem_usage_ui - отслеживаем потребление памяти

UI на aiohttp и vuejs для замеров потребления памяти процесса и построения графиков

     20.09.2019       Выпуск 300 (16.09.2019 - 22.09.2019)       Статьи

Как создать Python wrapper и не сойти с ума

Недавно прочитал статью про очень полезный инструмент, и так как я уже давно искал какой-то проект, чтобы начать контрибьютить, решил посмотреть, что там есть на гитхабе и чем можно помочь. Одно из issue было на счет создания обертки (дальше буду использовать wrapper) для Cи-шной библиотеки. В тот момент я подумал "О, что-то интересное, уверен, это займет не больше часа". Как же сильно я ошибался.

 

В этой статье я решил показать не один путь для решения подобной задачи, а несколько разных вариантов. Я покажу варианты создания модулей на Pythonс компиляцией в С, использование маленькой самописной библиотеки С в Python и – последний вариант – использование большой C библиотеки в Python без боли и pxd файлов.

     20.09.2019       Выпуск 300 (16.09.2019 - 22.09.2019)       Статьи

Задача: извлечь ключевые выражения из текста на русском языке. NLP на Python

Что было нужно в самом начале:

 

  • программа, «выуживающая» из сырого текста на русском языке уникальные названия продукции по определенной отрасли. Сырой текст — текст, который писал человек, просто излагая свои мысли и не заботясь о формировании или выделении какого-либо списка слов;
  • автоматически получаемый список слов;
  • минимальная ручная или автоматизированная обработка для преобразования списка в набор хештегов или ключевых слов к тексту.