IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
консультируем про IT, Python

     07.05.2024       Выпуск 543 (06.05.2024 - 12.05.2024)       Статьи

Рулим запуском Spark-приложений в Airflow с помощью самописного оператора

Airflow играет роль оркестратора процессов обработки данных. Ежедневно с его помощью мы запускаем 1 800+ тасок на проде, примерно половина из которых являются Spark-приложениями.

     07.05.2024       Выпуск 543 (06.05.2024 - 12.05.2024)       Статьи

Учебно-развлекательный проект «Мобильная платформа». Управление жестами руки

Учебно-развлекательный проект "Мобильная платформа", который использует управление жестами руки для управления роботом. В ней подробно рассматриваются технические аспекты сборки платформы, программирование Arduino и обработка жестов с помощью Python и библиотеки mediapipe.

     06.05.2024       Выпуск 543 (06.05.2024 - 12.05.2024)       Статьи

Причины компьютерных сбоев, о которых вы даже не думали

Бывало ли на вашем пользовательском веку такое, что компьютер внезапно завис или не смог прогрузить страницу? Грешили ли в этот момент на проклятую технику? А ведь причина может быть в другом — космическое излучение могло быть источником ваших бед! В этой статье разберем уязвимость с самого известного фреймворка cwe.mitre.org.

     06.05.2024       Выпуск 543 (06.05.2024 - 12.05.2024)       Статьи

Век поиска кратчайшего решения задачи о кратчайшем пути

Задача о кратчайшем пути - звучит достаточно просто: есть несколько городов и дорог, соединяющих пару городов между собой, мы хотим попасть из города А в город Б пройдя при этом минимальное расстояние.

     05.05.2024       Выпуск 542 (29.04.2024 - 05.05.2024)       Статьи

Мега-Учебник Flask Глава 7: Обработка ошибок (издание 2024)

Это седьмая часть серии мега-учебника Flask, в которой я собираюсь рассказать вам, как выполнять обработку ошибок в приложении Flask

     04.05.2024       Выпуск 542 (29.04.2024 - 05.05.2024)       Статьи

Обновлённый ЕМИСС: веб-приложение от непрограммиста

ЕМИСС — это кладезь социально-экономических данных, но и одновременно платформа, которая может довести до головных болей и дергающегося глаза, а то и двух сразу. Поставим себе, например, задачу выяснить, как влияет Х на У. Возьмём в качестве объектов наблюдения — регионы РФ.

     04.05.2024       Выпуск 542 (29.04.2024 - 05.05.2024)       Статьи

На практике пробуем KAN – принципиально новую архитектуру нейросетей

На днях ученые из MIT показали альтернативу многослойному перцептрону (MLP). MLP с самого момента изобретения глубокого обучения лежит в основе всех нейросетей, какими мы их знаем сегодня. На его идее в том числе построены большие языковые модели и системы компьютерного зрения.

     06.05.2024       Выпуск 543 (06.05.2024 - 12.05.2024)       Статьи
     05.05.2024       Выпуск 542 (29.04.2024 - 05.05.2024)       Статьи

Сводка от pythonz net 28.04.2024 — 05.05.2024

А теперь о том, что происходило в последнее время на других ресурсах.

     04.05.2024       Выпуск 542 (29.04.2024 - 05.05.2024)       Статьи

Data сontract: давайте попробуем договориться

В последнее время всё чаще и чаще натыкаюсь на термин data contract. И для того чтобы не отставать от трендов на рынке data engineering, решил изучать эту тему и рассмотреть тенденции. Постараемся понять с чем его кушать и стоит ли кушать вовсе.

     03.05.2024       Выпуск 542 (29.04.2024 - 05.05.2024)       Статьи

Кратко про Uplift-моделирование

Uplift-моделирование — это метод оценки эффекта от воздействия, который использует алгоритмы ML для предсказания изменения вероятности интересуемого события под влиянием этого воздействия. Зачастую цель Uplift заключается в выявление тех клиентов, которые с наибольшей вероятностью изменят своё поведение в желаемую сторону в ответ на предложение.

     03.05.2024       Выпуск 542 (29.04.2024 - 05.05.2024)       Статьи

ABC-XYZ анализ на Python. Управление ассортиментом и схемами поставок

В одной крупной торгово-производственной компании, где я работал категорийным менеджером, появилась задача разработать инструмент для формирования ABC анализа. О важности и принципах работы этой классификации написано много, поэтому я не буду повторяться, опишу свой подход решения и автоматизации задачи, а также расскажу о некоторых важных аспектах, которые стоит учитывать при обработке данных, чтобы получить качественные результаты.

     03.05.2024       Выпуск 542 (29.04.2024 - 05.05.2024)       Статьи

Карты, деньги, ELK. Или как айтишник деньги считал

Поэксперементировав, я за несколько вечеров собрал себе решение на довольно нестандартной для таких целей платформе – Kibana. Как по мне, получилось неплохо. По горячим следам я описал этот кейс в своем англоязычном Твиттере и поделился им же в одном русскоязычном сообществе. Угадайте, откуда какой первый комментарий:

     03.05.2024       Выпуск 542 (29.04.2024 - 05.05.2024)       Статьи

SVG-виджеты для tcl/tk. Часть I

Как только покажешь приложение, в котором gui разработано на tk, то тут же можешь услышать, - опять этот убогий, примитивный, в лучшем случае устаревший интерфейс. И я здесь я соглашусь с этими критиками. Предпринималось не мало попыток улучшение презентабельности tk-виджетов (помимо ttk-виджет), некоторые из которых можно посмотреть здесь.

     02.05.2024       Выпуск 542 (29.04.2024 - 05.05.2024)       Статьи

Python — Дескрипторы(Descriptors)

Если обратиться к документации, то дескриптор — механизм, который позволяет объектам настраивать поиск, хранение и удаление атрибутов.Дескрипторы используются в классах, выступая в роли атрибутов класса(не экземпляра). Думаю, мало кто, хотя бы раз, сам писал дескрипторы в коммерческой разработке, но я уверен, что большинство программистов используют механизмы, которые являются дескрипторами, или используют их "под капотом":

     02.05.2024       Выпуск 542 (29.04.2024 - 05.05.2024)       Статьи

Продвинутое использование форм в Django (на примере Bootstrap и crispy)

В этой статье поговорим о существующих подходах к рендерингу веб-форм в Django.Обсудим подходы с использованием стандартных средств Django, а также применим сторонние средства для продвинутого управления рендерингом форм на примере пакета django-crispy-forms и фронтенд библиотеки bootstrap 5.

     01.05.2024       Выпуск 542 (29.04.2024 - 05.05.2024)       Статьи
     30.04.2024       Выпуск 542 (29.04.2024 - 05.05.2024)       Статьи

Django: An admin extension to prevent state leaking between requests

Here’s a small protection I added to a project a few years ago. I was considering it again since I saw a similar potential bug in a Django middleware. Long live the ModelAdmin instances Django’s admin site is configured by the ModelAdmin class.

     30.04.2024       Выпуск 542 (29.04.2024 - 05.05.2024)       Статьи

Подбор гиперпараметров RAG-системы с помощью Optuna

Сказ о том, как с помощью Opuna’ы сделать вашу RAG-систему чуточку (а может и не чуточку) эффективнее :)

RAG-система это такой персональный карманный поисковик (а-ля Гугл или Яндекс), который может искать по локальным документам вашего кровавого энтерпрайза :)