IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
читайте авторский блог

     23.11.2021       Выпуск 414 (22.11.2021 - 28.11.2021)       Статьи

Как оптимизировать проект Data Science с помощью Prefect

Есть ли способ оптимизировать рабочий процесс проекта Data Science всего в несколько строк кода? Да. Это Prefect. Делимся кратким руководством по работе с этим инструментом, пока у нас начинается флагманский курс Data Science.

     23.11.2021       Выпуск 414 (22.11.2021 - 28.11.2021)       Статьи

EMM Всемогущий: как подчинить 170 тысяч корпоративных устройств?

Каждый, кто решает рабочие задачи с помощью мобильных устройств, знает, что для большой компании важно «не тормозить»: быстро доставлять точную информацию покупателям, сотрудникам, поставщикам. А еще все корпоративные устройства нужно постоянно обслуживать. Именно Enterprise Mobility Management-системы позволяют удаленно управлять мобильными устройствами, отслеживать их работу и получать безопасный доступ к корпоративным информационным ресурсам.

     22.11.2021       Выпуск 414 (22.11.2021 - 28.11.2021)       Статьи

Как я учил нейронные сети играть в казино

Уже около года я занимаюсь машинным обучением, а значит пора закрепить полученные навыки на практике. Тема исследования казино давно меня интересовала, а знакомство с sklearn и компанией дало мне обширный арсенал для этого.

Сегодня мы будем считать чужие деньги, писать парсер, исследовать данные, создавать модели машинного обучения и смотреть мемы.

     22.11.2021       Выпуск 414 (22.11.2021 - 28.11.2021)       Статьи

Мониторинг скорости интернет каналов в Zabbix

Я работаю в крупной федеральной компании, у которой более 2000 объектов. Для большинства задач необходим стабильный канал интернета с высокой скоростью. Поэтому нам необходимо было сделать систему, которая позволяет отслеживать скорость работы интернет каналов на этих объектах, и в случае проблем информировала бы нас об этом.

Собрав все инструменты, что у меня есть, я решил сделать мониторинг скорости интернета на базе Zabbix. Для замеров скорости используется утилита iperf3. Весь код сделан на python.

     22.11.2021       Выпуск 414 (22.11.2021 - 28.11.2021)       Статьи
     22.11.2021       Выпуск 414 (22.11.2021 - 28.11.2021)       Статьи

Электронная медицинская карта-собираем анализы

Небольшой пост о том, как собрать в единый pdf все записи о сданных анализах в поликлинике из электронной медицинской карты. Данные располагаются на сайте (https://lk.emias.mos.ru/medical-records), однако пользоваться ими неудобно, так как на сайте все свалено в несколько pdf куч. И, чтобы посмотреть, все позиции по анализам, сданным, например, в один день, необходимо заходить в каждую из этих куч и смотреть только эту одну позицию. Итого можно посмотреть до 15 pdf с анализами, сданных в один день. А уж если хочется за несколько дней посмотреть результаты анализов, умножай на n и затем вручную сравнивай!

     22.11.2021       Выпуск 414 (22.11.2021 - 28.11.2021)       Статьи

Симуляция односерверных очередей на python

Концептуально модель симуляции может состоять из 5 элементов – сущностей, атрибутов, переменных состояния, событий и действий.

     22.11.2021       Выпуск 414 (22.11.2021 - 28.11.2021)       Статьи

Голосовое управление

Алиса, Siri, Маруся - это далеко не весь список проектов в области голосовых помощников. С каждым днем проектов становиться больше, а функционал шире и кажется настал тот момент, когда всерьез можно подумать о переводе компьютера на голосовое управление.

В рамках данного цикла статей я разберу создание голосового ассистента, работающего локально на вашем компьютере и имеющего широкий функционал, начиная с "запусти музыку" и заканчивая "создай новый проект в PyCharm".

     21.11.2021       Выпуск 413 (15.11.2021 - 21.11.2021)       Статьи

Kaggle titanic dataset. Анализ данных с помощью SQL запросов

Не смотря на то, что Python был бы предпочтительным инструментом для исследовательского анализа, я хотел посмотреть, смогу ли я провести весь исследовательский анализ с помощью SQL-запросов. Моя цель - показать, насколько сильно может помочь SQL для рабочего процесса.Хотя SQL имеет ограничения с визуализацией данных, всё равно, можно получить больше выгоды, быстро написав запросы и выведя результаты.

     21.11.2021       Выпуск 413 (15.11.2021 - 21.11.2021)       Статьи

Дифференциальная приватность для моделей PyTorch с библиотекой Opacus

Эта статья носит прикладное значение и не объясняет все подробности дифференциальной приватности. Цель статьи - познакомить читателя с библиотекой Opacus и показать, как изменять классификатор без потерь в эффективности обучения. 

     20.11.2021       Выпуск 413 (15.11.2021 - 21.11.2021)       Статьи

Асинхронному django быть

Эта статья о фреймворке для перфекционистов с дедлайнами, и о том, можно ли добавить в него асинхронность. Некоторые в курсе, что со стороны Django Foundation также есть некоторые усилия в этом направлении. Например, есть DEP-09, который примерно очерчивает границы будущих изменений. Причём, некоторые преобразования, на взгляд авторов, слишком объёмные, и про них явно говорится, что они выходят за рамки DEP. Такой, например, является задача сделать django orm асинхронной. Учитывая, что, по любым меркам, django orm - это больше 50% всего django, а на мой взгляд - его главная часть, DEP-09 мне кажется какими-то непонятными полумерами.

     20.11.2021       Выпуск 413 (15.11.2021 - 21.11.2021)       Статьи

Regex для ленивых разработчиков

Регулярные выражения для ленивых людей?!Regex – это модуль вашего языка программирования который позволяет работать со сложными и большими строками просто! Давайте разбираться в них вместе. Приятного прочтения ;)

     19.11.2021       Выпуск 413 (15.11.2021 - 21.11.2021)       Статьи
     19.11.2021       Выпуск 413 (15.11.2021 - 21.11.2021)       Статьи

Возможности интеграции Counter-Strike: Global Offensive

Counter-Strike: Global Offensive — современная версия старой доброй «CS 1.6». За двадцать лет развития серии технологии сильно изменились. Ранее соревнования по CS проходили в конференц-залах, а информация, доступная наблюдателю, была крайне скудна. Сейчас крупные соревнования по Counter-Strike проводятся на огромных стадионах, а количество выводимой на экраны информации зашкаливает.

     18.11.2021       Выпуск 413 (15.11.2021 - 21.11.2021)       Статьи

Python: Логируем как профессионалы

Часто вижу, что помимо обработки исключений, люди мучаются кое с чем еще, а именно с логированием.

Большинство людей не знают, что писать в логи, поэтому решают логировать все, что угодно, думая, что все подряд – это в любом случае лучше, чем ничего, и, в конечном итоге, просто создают шум. А шум – это информация, которая никак не помогает вашей команде понять, в чем дело и как решить проблему.

     18.11.2021       Выпуск 413 (15.11.2021 - 21.11.2021)       Статьи

Создание API на основе протокола MTProto

В уже  далеком 2019 Telegram объявил конкурс на создание веб-версии своего мессенджера, в котором мне удалось поучаствовать. По итогу у меня осталась библиотека, которая может работать с API Telegram по протоколу MTProto. Полученный опыт вдохновил меня реализовать протокол MTProto для бэкенда. Разработку вел на python, так как я этот язык хорошо знаю и был уверен, что смогу на нем реализовать свою идею. Для удобства использовал библиотеку aiohttp для соединения по web-socket’у, а для описания структур использовал typings и dataclass.

     18.11.2021       Выпуск 413 (15.11.2021 - 21.11.2021)       Статьи

Многопоточный Python на примерах: как правильно хранить настройки приложения

Если опустить первое и самое главное предубеждение относительно питонячьей многопоточности у большинства программистов — что её не существует из-за GIL, — то остается другое, и, наверное, вполне достоверное: многопоточность — это сложно, и нам этого, пожалуйста, не надо. И знаете что? Так оно и есть. Многопоточность — это сложно, особенно когда выбираешься за пределы стандартных руководств и попадаешь со своей многопоточной поделкой в реальный мир. И, возможно, вам не нужно. Ни здесь, ни далее я не буду обсуждать целесообразность написания многопоточного кода на Python и сразу перейду к тому, как это делать.

     18.11.2021       Выпуск 413 (15.11.2021 - 21.11.2021)       Статьи

Находим нарушителей на миллионы рублей при помощи борщевика и Python

В октябре Минимущества Московской области отчиталось, что за 2021 год был начислено 410 млн рублей штрафов за борщевик Сосновского в Подмосковье. В этой заметке расскажу, как сейчас собирают штрафы в МО, и как мы сделали свой прототип программы для поиска владельцев участков с растущим борщевиком Сосновского.

     17.11.2021       Выпуск 413 (15.11.2021 - 21.11.2021)       Статьи

Простой GUI калькулятор на Python #3

Штош. Дописываем калькулятор. Если вы не читали прошлую статью, я вам настоятельно рекомендую это сделать.

     17.11.2021       Выпуск 413 (15.11.2021 - 21.11.2021)       Статьи

Металлургический хакатон ЕВРАЗа по Data Science: результаты, проекты и победители

На связи ЕВРАЗ, и сегодня мы хотим рассказать, как организовали и провели хакатон по Data Science и Computer Vision. Казалось бы, где металлургия и где хакатон — но нет. В мире практически не осталось предприятий, которые работают без поддержки IT.