От сырых проверок качества данных до понятной картины в OpenMetadata

Ни для кого не секрет, что проверки качества — фундамент доверия к данным. Пока вы не знаете, насколько полны и корректны ваши данные, любые основанные на них выводы могут быть ошибочными. Важно не только проверить данные, но и сделать результаты этих проверок доступными всем заинтересованным пользователям.

Ускорение Python-сервиса с CinderX: JIT и статическая типизация

У любого ускорителя Python есть число: во сколько раз он быстрее. Меряют его на ядрах - сортировка, обход дерева, арифметика в цикле. Сервис устроен не так: обработчик ходит в базу, считает в numpy, сериализует ответ, и байткода, к которому это число применимо, в нём может почти не остаться. CinderX ускоряет байткод, и за пределы байткода это число не распространяется. Доля байткода в вашем сервисе - свойство вашего кода, а не расширения, и пока она не посчитана, «ставить или нет» решается угадыванием.

Werkzeug - 3.1.9

Швейцарский армейский нож веб-разработки Python. Скачать можно по ссылке: https://pypi.python.org/pypi/Werkzeug/

coverage - 7.16.2

Утилита позволяющая измерить процент покрытия тестами. Скачать можно по ссылке: https://pypi.python.org/pypi/coverage/

virtualenv - 21.13.0

Инструмент создания виртуального рабочего окружения. Скачать можно по ссылке: https://pypi.python.org/pypi/virtualenv

SQLAlchemy - 2.1.1

Библиотека работы с базами данных. Скачать можно по ссылке: https://pypi.python.org/pypi/SQLAlchemy/

django-cms - 5.0.13

Легкая в использовании и удобная для разработки CMS. Скачать можно по ссылке: https://pypi.python.org/pypi/django-cms/

SQLAlchemy - 2.1.0

Библиотека работы с базами данных. Скачать можно по ссылке: https://pypi.python.org/pypi/SQLAlchemy/

pymongo - 4.18.2

Python интерфейс для MongoDB. Скачать можно по ссылке: https://pypi.python.org/pypi/pymongo/

pylint - 4.0.9

Статический анализатор Python-кода. Скачать можно по ссылке: https://pypi.python.org/pypi/pylint/

flake8 - 7.4.1

Модуль проверки форматирования кода. Скачать можно по ссылке: https://pypi.python.org/pypi/flake8/

pyflakes - 4.0.0

Статический анализатор Python-кода. Скачать можно по ссылке: https://pypi.python.org/pypi/pyflakes/

flake8 - 7.4.0

Модуль проверки форматирования кода. Скачать можно по ссылке: https://pypi.python.org/pypi/flake8/

Как мы ускоряли сборку Python в 20 раз

Я не знаю человека, который любит долго ждать. Но ожидание и его последствия бывают разные.Когда мы стали делать своего ИИ-помощника, который пишет/правит код и запускает его на сервере, поняли, что сборка должна быть быстрой. Очень быстрой.В статье я расскажу, как нам удалось ускорить сборку Python до 20 раз.

PyPy v78.0.0 release

Graceful Shutdown в Python-приложениях на Kubernetes: внедрение и практический опыт

Часто ли вы сталкиваетесь с проблемой потери данных, неконсистентными состояниями или ошибками в Sentry о внезапно закрытых соединениях при рестарте сервисов? Если вы когда-нибудь пытались это исправить, то наверняка слышали про Graceful Shutdown.Привет! Меня зовут Антон, я бэкенд-разработчик Python в Selectel. В этой статье поделюсь опытом внедрения Graceful Shutdown в наши сервисы и расскажу, с какими сложностями мы столкнулись.

Генератор музыкальных видео на Python: зерно раздуло файл в 13 раз, спектр врал на тишине, AV1 выиграл втрое

Я собрал генератор музыкальных роликов — тех самых «audio edit», которые лежат на ютубе миллионами: размытый фон, обложка по центру, спектр пляшет по кругу, снизу полоса воспроизведения. На вход трек и картинка, на выходе mp4.

async def или def в FastAPI: как одна строчка делает сервис в 40 раз медленнее

В FastAPI можно объявить обработчик как async def, а можно как обычный def. Многие ставят async везде «потому что так быстрее» и спокойно вызывают внутри requests.get() или синхронный драйвер БД. Сервис при этом работает, тесты проходят, а на первой же реальной нагрузке всё встаёт колом, причём вместе с health‑check'ом.В статье разберу, что на самом деле происходит с каждым вариантом, покажу замеры и дам короткую шпаргалку, какой вариант выбирать.

pyparsing - 3.3.3

Python модуль для синтаксического анализа. Скачать можно по ссылке: https://pypi.python.org/pypi/pyparsing/

pgcli - 4.7.1

REPL для Postgres. Скачать можно по ссылке: https://pypi.python.org/pypi/pgcli/