IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
консультируем про IT, Python

     03.04.2022       Выпуск 432 (28.03.2022 - 03.04.2022)       Статьи

Удивительное приключение в стране оптимизирующих компиляторов

Приглашаю вас в небольшое приключение выходного дня, в котором никто никому ничего не будет доказывать. Мы просто будем реализовывать один и тот же несложный алгоритм, разыскивающий простые числа в некотором диапазоне, на нескольких языках программирования: C, C++, Scheme и Python - и смотреть, что с этим кодом могут сделать современные оптимизирующие компиляторы. В процессе приключения мы увидим, что «динамический» не означает «совсем уж медленный», и посмотрим на приёмы программирования на Scheme, что, как мне кажется, можно сравнить с путешествием на экзотический остров.

     01.04.2022       Выпуск 432 (28.03.2022 - 03.04.2022)       Статьи

Без «Табла» и жизнь не та…

В рядах аналитиков началась тихая паника. Заплатить в Google BigQuery в облачном варианте сейчас невозможно без иностранной банковской карты, Tableau и Microsoft «приостанавливают» свою активность в РФ, многие вендоры ушли, многие в низком старте.

 

Появляются материалы с вопросами «Пора менять Tableau, Power BI, Qlik? Как выбрать российский BI? Или не российский? Или не BI?» которые даже неприлично было задавать пару месяцев назад.

     01.04.2022       Выпуск 432 (28.03.2022 - 03.04.2022)       Статьи

Парсинг FIT файлов c данными тренировок

Мне стало интересно проанализировать данные о своих тренировках за последние несколько лет, и я понял, что обычного функционала приложений типа Garmin Connect или бесплатной версии Strava будет недостаточно. В этой статье я расскажу как получить свои персональные данные о тренировках из устройств Garmin и разместить их в реляционной базе данных с помощью библиотек python.

     31.03.2022       Выпуск 432 (28.03.2022 - 03.04.2022)       Статьи

Как проверить данные во фрейме Pandas с помощью Pandera

В науке о данных важно тестировать не только функции, но и данные, чтобы убедиться, что они работают так, как вы ожидали. Материалом о простой библиотеке Pandera для валидации фреймов данных Pandas делимся.

     31.03.2022       Выпуск 432 (28.03.2022 - 03.04.2022)       Статьи

Чистый AutoML для “грязных” данных: как и зачем автоматизировать предобработку таблиц в машинном обучении

В данном посте хотелось бы затронуть такую очень известную и много где описанную тему как предобработка табличных данных в Data Science. Вы можете задать вопрос: “А зачем нам это нужно, ничего нового то тут не скажешь?”. Действительно, что может быть банальнее обработки табличных данных для моделей машинного обучения. Но мы постараемся собрать как можно больше информации в одном ультимативном, если так угодно, гайде, и подадим его через призму автоматического машинного обучения (AutoML). 

     30.03.2022       Выпуск 432 (28.03.2022 - 03.04.2022)       Статьи

Как работать с числами с плавающей точкой в Python

В материале вы найдёте примеры работы с функциями и классами, предназначенными специально для решения проблем чисел с плавающей точкой.

     30.03.2022       Выпуск 432 (28.03.2022 - 03.04.2022)       Статьи

Маркетинговая аналитика на Python. Пишем код для RFM-сегментации

RFM - классический инструмент маркетинга для сегментации вашей клиентской базы. Я использую ее для работы в В2В, В2G сегменте. В основе него - понятные управленцу ценности: LTV и Purchase Frequency. 

     30.03.2022       Выпуск 432 (28.03.2022 - 03.04.2022)       Статьи

О том, как мы писали асинхронного telegram-бота «ScipIO»

Scipio - это telegram-bot, который позволяет пользователям решать задачи по математике, логике, создавать свои собственные карточки, ставить запуск тренировки в определенное время - в общем, обучаться.

     29.03.2022       Выпуск 432 (28.03.2022 - 03.04.2022)       Статьи

Разбираем алгоритмы компьютерной графики. Часть 6 — Анимация «Плазма»

Разновидностей алгоритмов генерации "плазм" столько же, сколько, наверное, звезд на небе. Но связывает их вместе принцип плавного формирования перехода цветов.

Для бесшовного формирования цвета очень часто используются тригонометрические функции. Во-первых, потому что они периодические, т.е. через определенный промежуток значения функции повторяются, а во-вторых, они возвращают непрерывные значения, т.е. бесконечно малому приращению аргумента соответствует бесконечно малое приращение функции. Благодаря этому можно используя простые комбинации функций получать плавное возрастание и убывание цветов.

     29.03.2022       Выпуск 432 (28.03.2022 - 03.04.2022)       Статьи

Мой друг Netmiko. Часть 3: один скрипт для разных устройств Huawei

Мы уже разобрали в прошлых частях как накатить на сетевые устройства Huawei список команд из внешнего файла. И это работает, если у нас сеть состоит из одинаковых устройств. Конечно, в реальной практике такое встречается редко. В этой работе мы рассмотрим как использовать разные конфигурационные файлы для разных устройств Huawei, при этом не выходя за рамки одного скрипта. То есть у нас будет все тот же скрипт на основе Netmiko, но в зависимости от версии устройства, конфиг будет накатываться разный: один конфиг для коммутатора CloudEngine Huawei, другой конфиг для роутера AR3200 Huawei.

     28.03.2022       Выпуск 432 (28.03.2022 - 03.04.2022)       Статьи

Путь к пониманию декораторов в Python

Прим. Wunder Fund: В этой статье разбираемся, что такое декораторы в Python, зачем они нужны, и в чем их прикол. Статья будет полезна начинающим разработчикам.

Материал рассчитан на начинающих программистов, которые хотят разобраться с тем, что такое декораторы, и с тем, как применять их в своих проектах.

     27.03.2022       Выпуск 431 (21.03.2022 - 27.03.2022)       Статьи

Создание yastation — консольного клиента для управления Яндекс станцией

Однажды сидя за работой и параллельно слушая музыку на своей Яндекс станции, я обнаружил для себя интересную вещь - я не могу просто взять и переключить трек. Вы спросите: "Как так могло получится?", а я отвечу - вчера я сорвал голос в ожесточенной политической баталии, а телефон, как назло, лежал дальше, чем я мог бы дотянутся. В итоге такая неудачная ситуация побудила меня к созданию очередного велосипеда.

     26.03.2022       Выпуск 431 (21.03.2022 - 27.03.2022)       Статьи

Разбираем алгоритмы компьютерной графики. Часть 5 – Анимация «Shade Bobs»

Алгоритм, который рассмотрим сегодня, не имеет нормального названия. Иногда его называют "Shade Bobs", а вообще это один из многочисленных алгоритмов генерации "плазмы". Когда что-то на экране видоизменяется и переливается.

Из множества алгоритмов "плазм", представленный экземпляр самый элементарный.

     25.03.2022       Выпуск 431 (21.03.2022 - 27.03.2022)       Статьи

Сага о моделировании бизнес-процессов на базе конечного автомата (fsm)

Про конечные автоматы (finite state machine, fsm) много кто слышал, но используют их явно в реальных проектах редко. Чаще встречаются конструкции, которые поведением напоминают КА, но ими не являются.
Почему же автоматы обходят стороной и/или изобретают велосипеды, превращая код в спагетти?
По-моему, тут дело в стереотипе: мол, автоматы — это что-то сложное из теоретической математики и к реальной жизни не относится. А применять их можно только в лексических анализаторах или еще чем-нибудь специфичном.

     24.03.2022       Выпуск 431 (21.03.2022 - 27.03.2022)       Статьи

BIK Beep – Telegram Bot

В связи с ежедневными вечерними (да ещё и постоянно в разное время) обновлениями расписания в ОГАПОУ «Белгородский индустриальный колледж» необходимо программное обеспечение (ПО), которое будет следить за расписанием и уведомлять при его изменении.

     24.03.2022       Выпуск 431 (21.03.2022 - 27.03.2022)       Статьи

Как прогнозировать временные ряды с ETNA

В статье расскажу, как быстро и легко анализировать временные ряды с помощью ETNA, зачем временным рядам столько фич, и покажу, что даже простой линейной моделью можно получить хороший результат прогнозирования.

     24.03.2022       Выпуск 431 (21.03.2022 - 27.03.2022)       Статьи

Что лучше: Spark Structured Streaming или полное прекращение работы прода?

Правильное построение ETL-процессов (преобразования данных) — сложная задача, а при большом объёме обрабатываемых данных неизбежно возникают проблемы с ресурсами. Поэтому нам требуется выискивать новые архитектурные решения, способные обеспечить стабильность расчётов и доступность данных, а при необходимости и масштабируемость — с минимальными усилиями.

Когда я пришел в Ozon, мне пришлось столкнуться с огромным количеством ETL-джоб. Прежде чем применить модель машинного обучения, сырые данные проходят множество этапов обработки. А само применение модели (то, ради чего существует команда) занимает всего 5% времени.

     23.03.2022       Выпуск 431 (21.03.2022 - 27.03.2022)       Статьи

C из Python (ctypes) на Android

Ранее я писал статью C/C++ из Python (ctypes), в ней описывается процесс запуска на Linux. На этот раз мне понадобилось повторить это уже на Android. В этой статье речь пойдет о сборке, необходимых инструментах, механизмах отладки и установки.

     23.03.2022       Выпуск 431 (21.03.2022 - 27.03.2022)       Статьи

Проверка ценников в магазине с помощью YOLOv4-Tiny+EasyOCR

Мы распознавали ценники сети магазинов “Лента” при помощи нейронных сетей для сегментации и OCR и теперь хотим рассказать о том, как проходила работа над проектом и что мы узнали за это время.