IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
и сделали Тренажер IT-инцидентов для DevOps/SRE

     05.04.2024       Выпуск 538 (01.04.2024 - 07.04.2024)       Статьи

Универсальные типы в python

Универсальные типы в python являются незаменимым инструментом, который позволяет выявлять множество ошибок на моменте написания кода, а также делает код чище и элегантнее.

     04.04.2024       Выпуск 538 (01.04.2024 - 07.04.2024)       Статьи

Синтетическое генерирование данных (SMOTE)

Почему несбалансированные данные — это большая проблема? К примеру у нас есть набор данных, где один класс значительно преобладает над другим. В такой ситуации наша ml моделька может просто "забить" на малочисленный класс, сосредоточившись на многочисленных классах. Это приводит к ситуации, когда модель хорошо работает на общем уровне, но плохо распознаёт важные исключения или редкие случаи.

     04.04.2024       Выпуск 538 (01.04.2024 - 07.04.2024)       Статьи

Мониторинг Apache Airflow. Оценка «прожорливости» тасок

Случались ли у вас ситуации, когда количество DAG’ов в вашем Airflow переваливает за 800 и увеличивается на 10-20 DAG’ов в неделю? Согласен, звучит страшно, чувствуешь себя тем героем из Subway Surfers… А теперь представьте, что эта платформа является единой точкой входа для всех аналитиков из различных команд и DAG’и пишут более 50 различных специалистов. Подкосились ноги, холодный пот и желание уйти из IT?

     04.04.2024       Выпуск 538 (01.04.2024 - 07.04.2024)       Статьи

Propensity score matching: как оценивать маркетинговые кампании, если невозможно провести A/B тесты

В этой статье я расскажу, как оценивать маркетинговые кампании, если провести A/B- тесты нельзя. Еще обсудим логику в Propensity Score Matching (PSM), и то, какую пользу инструмент может принести вашему бизнесу. А в конце статьи покажу, как достаточно просто можно развернуть такую штуку у себя.

     03.04.2024       Выпуск 538 (01.04.2024 - 07.04.2024)       Статьи

Мега-Учебник Flask Глава 2: Шаблоны (издание 2024)

После завершения главы 1 у вас должно получиться простое, но функциональное веб-приложение. Во второй части серии мега-учебника по Flask я собираюсь обсудить, как работать с шаблонами.

     02.04.2024       Выпуск 538 (01.04.2024 - 07.04.2024)       Статьи

Об одной изящной задаче

Имеется функция magic(), принимающая три целочисленных аргумента, в теле которой определены константы a, b, c, являющиеся натуральными числами. Требуется определить значения констант a, b и c за минимальное количество вызовов данной функции.

     02.04.2024       Выпуск 538 (01.04.2024 - 07.04.2024)       Статьи

Модули multiprocessing и threading в Python

Данная статья написана новичком для новичков, т.е. для тех, кто только начинает изучать возможности многопроцессорного и многопоточного программирования в Python. Статья намеренно пишется без воды и со скомканной теорией, в стиле шпаргалки.

     02.04.2024       Выпуск 538 (01.04.2024 - 07.04.2024)       Статьи

Django + React. Авторизация с помощью сессий между разными источниками

Сегодня будет рассмотрена авторизация с помощью сессий между Django и React, которые находятся на разных доменах, т.е случай "cross-origin". Я в двух словах донесу принцип работы, причины появления концепций и технологий описанных здесь, оставлю ссылки на более подробные источники и приведу код конкретной реализации с объяснением своих шагов.

     01.04.2024       Выпуск 538 (01.04.2024 - 07.04.2024)       Статьи

Максимизируем продуктивность: Создание ИИ-секретаря с Whisper и ChatGPT

В современном мире искусственный интеллект стал незаменимым помощником в различных сферах нашей жизни. Однако, я верю, что всегда нужно стремиться к большему, автоматизируя все процессы, которые возможно. В этой статье я поделюсь опытом использования Whisper и ChatGPT для создания ИИ‑секретаря, способного оптимизировать хранение и обработку корпоративных созвонов.

     31.03.2024       Выпуск 537 (25.03.2024 - 31.03.2024)       Статьи

Мега-Учебник Flask Глава 1: Привет, мир! (издание 2024)

Вы собираетесь отправиться в путешествие, чтобы научиться создавать веб-приложения с помощью Python и фреймворка Flask. В этой первой главе вы узнаете, как настроить проект Flask. К концу этой главы на вашем компьютере будет запущено простое веб-приложение Flask!

     31.03.2024       Выпуск 537 (25.03.2024 - 31.03.2024)       Статьи

Сводка от pyhonz net 24.03.2024 — 31.03.2024

А теперь о том, что происходило в последнее время на других ресурсах.

     31.03.2024       Выпуск 537 (25.03.2024 - 31.03.2024)       Статьи

Автоматизируем поиск ценной информации в групповых чатах Telegram с помощью LLM

Устали мониторить бесконечные групповые чаты в Telegram в поисках важной информации? Решение есть! Пишем компактное приложение на Python, которое будет делать это за нас с использованием LLM.

     31.03.2024       Выпуск 537 (25.03.2024 - 31.03.2024)       Статьи

Оптимизация нейронки в Tensorflow?

В отличие от Pytorch, где структура данных выстраивается налету после начала обучения нейронки – в TensorFlow граф статичен. В этой статье мы кратко расскажем про некоторые способы ускорения обучения путем изменения графа вычислений: XLA, GraphTransform Tool, квантизация, заморозка графа и сохранение легкого чекпоинта.  

     29.03.2024       Выпуск 537 (25.03.2024 - 31.03.2024)       Статьи

Как я разрабатывал веб-сервис по бронированию электронных зарядных станций для электромобилей (часть 1)

Относительно недавно мы получили заказ на разработку веб-сервиса, который позволял бы нашим клиентам, владельцам электрокаров, строить маршруты и на их протяжении бронировать электронные зарядные станции (далее - ЭЗС) под свои нужды. Я представил свою версию системы и хотел бы поделиться с вами ходом мыслей. Возможно, кто-то захочет прокомментировать мою модель или дать совет.

     29.03.2024       Выпуск 537 (25.03.2024 - 31.03.2024)       Статьи

Как я разрабатывал веб-сервис по бронированию зарядных станций для электромобилей (часть 2)

Продолжаем работу над созданием веб-приложения для управления бронью ЭЗС, которое мы начинали ранее. Сейчас мы обратим внимание на практические аспекты: построение математической модели метода, его программная реализация и экономическое обоснование разработанного ИТ-решения.

     29.03.2024       Выпуск 537 (25.03.2024 - 31.03.2024)       Статьи

Парсинг веб-сайтов: взгляд изнутри

Мое первое знакомство с парсингом веб-сайтов произошло во время выполнения итогового проекта по дисциплине "Языки программирования Java". Для этого проекта мне потребовалось написать шаблон магазина, а затем заполнить базу данных реальными карточками товаров. Вместо того чтобы вручную вводить огромное количество данных, я решил использовать парсинг для автоматизации этого процесса.

     28.03.2024       Выпуск 537 (25.03.2024 - 31.03.2024)       Статьи

Логистическая и Softmax-регрессии. Теоретические основы и реализация с нуля на Python

Начнём с более простого. Логистическая регрессия — линейный бинарный классификатор, основанный на применении сигмоидальной функции к линейной комбинации признаков, результатом которого является вероятность принадлежности к определённому классу. Обычно порог устанавливается 0.5: если вероятность меньше порога — класс относится к 0, а если больше — к 1. В принципе, условия определения логистической регрессии такие же как и у линейной за исключением бинаризации таргета.

     28.03.2024       Выпуск 537 (25.03.2024 - 31.03.2024)       Статьи

Как работает multiprocessing в Python под капотом

Я довольно давно пишу на Python и во многих проектах использовал multiprocessing — пакет стандартной библиотеки языка Python, который предоставляет интерфейс для работы с процессами, очередями, пулами процессов и многими другими удобными инструментами для параллельного программирования. В какой-то момент я понял, что мне не хватает более детального понимания работы этой библиотеки.Мне захотелось залезть в исходники multiprocessing, разобраться и заодно написать статью. Данная статья в основном рассчитана на новичков в Python и тех, кто хочет подробнее разобраться в том, как именно создаются процессы и пулы в Python и погрузиться в детали реализации.

     28.03.2024       Выпуск 537 (25.03.2024 - 31.03.2024)       Видео

Serverless для деплоя ml/dl моделей (с gpu зависимостью)

Основной профит, который можно будет вынести с доклада — сакральные знания (нет), темплейт упаковки, док, как это паковать. Ну и еще поговорим про: текущую ситуацию на рынке serverless сервисов с поддержкой gpu — какие еще есть сервисы плюсы и минусы serverless (священный холивар selfhosted vs serverless) как съехать с них на другой serverless или на self-hosted особенности/грабли/боль двух платформ выше

     28.03.2024       Выпуск 537 (25.03.2024 - 31.03.2024)       Видео

Автоматизация процесса создания набора данных на примере РЖЯ

Часто для настолько специфичных задач, как распознавание жестового языка, создание набора данных требует значительных временных затрат. Мы решили автоматизировать этот процесс от поиска носителей русского жестового языка (РЖЯ) до разметки видео. В докладе расскажу об особенностях и проблематике распознавания РЖЯ и покажу, как с помощью нескольких строк кода собрать большой и достаточно разнородный набор данных на примере РЖЯ. Доклад будет полезен для тех, кто не знает как подступиться к сбору данных для нестандартной задачи. Слушатели узнают о процессе создания набора данных для задачи распознавания жестов и о решении в целом.