IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
консультируем про IT, Python

     07.04.2024       Выпуск 538 (01.04.2024 - 07.04.2024)       Статьи

Сводка от pythonz net 31.03.2024 — 07.04.2024

А теперь о том, что происходило в последнее время на других ресурсах.

     07.04.2024       Выпуск 538 (01.04.2024 - 07.04.2024)       Статьи

Pandas: от хаоса к красоте кода

Работа с pandas.DataFrame может превратиться в неловкую кучу старого (не очень) доброго спагетти-кода. Я и мои коллеги часто используем эту библиотеку, и хотя мы стараемся придерживаться хороших практик программирования, таких как разделение кода на модули и модульное тестирование, иногда мы все равно мешаем друг другу, создавая запутанный код.

     05.04.2024       Выпуск 538 (01.04.2024 - 07.04.2024)       Статьи
     05.04.2024       Выпуск 538 (01.04.2024 - 07.04.2024)       Статьи

Как перезапускать PySpark-приложение и зачем это может понадобиться

Мы используем PySpark, который позволяет очень быстро распределённо обрабатывать данные в оперативной памяти узлов нашего кластера на базе Hadoop. Я поделюсь способом, с помощью которого можно снизить потребление ресурсов кластера за счёт перезапуска PySpark-приложений между выполняемыми Spark-задачами, и расскажу, как это делать правильно.

     05.04.2024       Выпуск 538 (01.04.2024 - 07.04.2024)       Статьи

Универсальные типы в python

Универсальные типы в python являются незаменимым инструментом, который позволяет выявлять множество ошибок на моменте написания кода, а также делает код чище и элегантнее.

     04.04.2024       Выпуск 538 (01.04.2024 - 07.04.2024)       Статьи

Синтетическое генерирование данных (SMOTE)

Почему несбалансированные данные — это большая проблема? К примеру у нас есть набор данных, где один класс значительно преобладает над другим. В такой ситуации наша ml моделька может просто "забить" на малочисленный класс, сосредоточившись на многочисленных классах. Это приводит к ситуации, когда модель хорошо работает на общем уровне, но плохо распознаёт важные исключения или редкие случаи.

     04.04.2024       Выпуск 538 (01.04.2024 - 07.04.2024)       Статьи

Мониторинг Apache Airflow. Оценка «прожорливости» тасок

Случались ли у вас ситуации, когда количество DAG’ов в вашем Airflow переваливает за 800 и увеличивается на 10-20 DAG’ов в неделю? Согласен, звучит страшно, чувствуешь себя тем героем из Subway Surfers… А теперь представьте, что эта платформа является единой точкой входа для всех аналитиков из различных команд и DAG’и пишут более 50 различных специалистов. Подкосились ноги, холодный пот и желание уйти из IT?

     04.04.2024       Выпуск 538 (01.04.2024 - 07.04.2024)       Статьи

Propensity score matching: как оценивать маркетинговые кампании, если невозможно провести A/B тесты

В этой статье я расскажу, как оценивать маркетинговые кампании, если провести A/B- тесты нельзя. Еще обсудим логику в Propensity Score Matching (PSM), и то, какую пользу инструмент может принести вашему бизнесу. А в конце статьи покажу, как достаточно просто можно развернуть такую штуку у себя.

     03.04.2024       Выпуск 538 (01.04.2024 - 07.04.2024)       Статьи

Автопилот для X-Plane используя Python

X-Plane is a flight simulator, and Austin is using Python to create an autopilot using proportional integral derivative controllers.

     03.04.2024       Выпуск 538 (01.04.2024 - 07.04.2024)       Статьи

Designing a Pure Python Web Framework

This blog post talks about Reflex, a Python web framework. The post talks about what makes Reflex different from other frameworks and shows you sample starting code.

     03.04.2024       Выпуск 538 (01.04.2024 - 07.04.2024)       Статьи

Мега-Учебник Flask Глава 2: Шаблоны (издание 2024)

После завершения главы 1 у вас должно получиться простое, но функциональное веб-приложение. Во второй части серии мега-учебника по Flask я собираюсь обсудить, как работать с шаблонами.

     02.04.2024       Выпуск 538 (01.04.2024 - 07.04.2024)       Статьи

Об одной изящной задаче

Имеется функция magic(), принимающая три целочисленных аргумента, в теле которой определены константы a, b, c, являющиеся натуральными числами. Требуется определить значения констант a, b и c за минимальное количество вызовов данной функции.

     02.04.2024       Выпуск 538 (01.04.2024 - 07.04.2024)       Статьи

Модули multiprocessing и threading в Python

Данная статья написана новичком для новичков, т.е. для тех, кто только начинает изучать возможности многопроцессорного и многопоточного программирования в Python. Статья намеренно пишется без воды и со скомканной теорией, в стиле шпаргалки.

     02.04.2024       Выпуск 538 (01.04.2024 - 07.04.2024)       Статьи

Django + React. Авторизация с помощью сессий между разными источниками

Сегодня будет рассмотрена авторизация с помощью сессий между Django и React, которые находятся на разных доменах, т.е случай "cross-origin". Я в двух словах донесу принцип работы, причины появления концепций и технологий описанных здесь, оставлю ссылки на более подробные источники и приведу код конкретной реализации с объяснением своих шагов.

     01.04.2024       Выпуск 538 (01.04.2024 - 07.04.2024)       Статьи

Максимизируем продуктивность: Создание ИИ-секретаря с Whisper и ChatGPT

В современном мире искусственный интеллект стал незаменимым помощником в различных сферах нашей жизни. Однако, я верю, что всегда нужно стремиться к большему, автоматизируя все процессы, которые возможно. В этой статье я поделюсь опытом использования Whisper и ChatGPT для создания ИИ‑секретаря, способного оптимизировать хранение и обработку корпоративных созвонов.

     31.03.2024       Выпуск 537 (25.03.2024 - 31.03.2024)       Статьи

Мега-Учебник Flask Глава 1: Привет, мир! (издание 2024)

Вы собираетесь отправиться в путешествие, чтобы научиться создавать веб-приложения с помощью Python и фреймворка Flask. В этой первой главе вы узнаете, как настроить проект Flask. К концу этой главы на вашем компьютере будет запущено простое веб-приложение Flask!

     31.03.2024       Выпуск 537 (25.03.2024 - 31.03.2024)       Статьи

Сводка от pyhonz net 24.03.2024 — 31.03.2024

А теперь о том, что происходило в последнее время на других ресурсах.

     31.03.2024       Выпуск 537 (25.03.2024 - 31.03.2024)       Статьи

Автоматизируем поиск ценной информации в групповых чатах Telegram с помощью LLM

Устали мониторить бесконечные групповые чаты в Telegram в поисках важной информации? Решение есть! Пишем компактное приложение на Python, которое будет делать это за нас с использованием LLM.

     31.03.2024       Выпуск 537 (25.03.2024 - 31.03.2024)       Статьи

Оптимизация нейронки в Tensorflow?

В отличие от Pytorch, где структура данных выстраивается налету после начала обучения нейронки – в TensorFlow граф статичен. В этой статье мы кратко расскажем про некоторые способы ускорения обучения путем изменения графа вычислений: XLA, GraphTransform Tool, квантизация, заморозка графа и сохранение легкого чекпоинта.  

     29.03.2024       Выпуск 537 (25.03.2024 - 31.03.2024)       Статьи

Django Streaming HTTP Responses

How and when to use Streaming HTTP responses and when not to.