Python Дайджест. Выпуск 626

В прошлой статье я рассуждал о том, почему Fortran в 2025 году всё ещё жив и даже растет в рейтингах. В комментариях справедливо заметили: «Философия — это хорошо, но как это применить современному разработчику? Зачем мне Fortran, если я пишу на Python?».

Python core developers are actively discussing the introduction of Rust in the CPython code base, starting with optional extension modules and possibly going from there. This post covers the discussion and pros and cons of the idea.

В свежем релизе фреймворк усиливает совместимость между СУБД, упрощает работу с email, улучшает ORM, добавляет удобства в шаблонах и снижает риск «выгорания» первичных ключей.

Рост числа параметров в LLM и других нейронных сетях создает проблему того, что запускать их может все меньшее количество людей. Это связано с тем, что запуск больших моделей требует наличие мощного оборудования, недоступное всем. 

Для решения этой проблемы разрабатываются различные виды оптимизации, позволяющие запускать крупные нейронные сети (в частности LLM) на менее мощном оборудовании. Одним из наиболее популярных подходов оптимизации LLM является квантизация.

После взрывного роста интереса к ИИ я всё чаще вижу, что PyTorch заметно опережает TensorFlow по популярности. Оба фреймворка очень мощные и позволяют дата-сайентистам решать самые разные задачи, включая обработку естественного языка, что вновь подогрело интерес к глубокому обучению.

Сейчас мы переживаем бум ИИ-сервисов, которые за небольшую плату могут реализовать любые ваши творческие фантазии без необходимости глубокого понимания технических принципов их работы. Но я из тех, кто любит «ковыряться под капотом», поэтому в качестве проекта «выходного дня» я решил реализовать сервис машинного закадрового перевода видео с помощью общедоступных моделей с локальным запуском. А что из этого вышло – читайте далее.

LLM-модели хорошо решают задачи диалога, но имеют одно ключевое ограничение: отсутствие встроенной долговременной памяти. Модель опирается только на текущий контекст.

В реальной повседневной работе от нейронной сети мне нужна одна простая и приземлённая вещь — поиск аномалий в данных.
И вот с этим нейросети действительно справляются. Более того, для этого у них есть специальный инструмент — автоэнкодер.

По данным Информационного телеграфного агентства России (ТАСС), в 2024 году в России было потеряно и найдено более 168 тысяч домашних животных, что на 17% больше, чем годом ранее. Для повышения шансов найти питомца живым и невредимым, помимо самостоятельных поисков, можно обратиться к волонтёрским сообществам и специализированным сервисам – именно волонтеры помогают найти более 90% пропавших животных. Одним из ключевых онлайн‑ресурсов, аккумулирующих информацию о пропаже и находке животных, является Pet911.

От «обезьяньей» работы к Smart-анализу: как правильно готовить данные для моделей.Что такое Exploratory Data Analysis и как избежать основных ошибок при его выполнении.

ㅤ

В статье полный разбор архитектуры, алгоритмы scoring, примеры кода и расчёт экономики.Один STT-сервис дал 60-70% точности на специфической лексике (топонимы, названия улиц, профессиональные термины). Два сервиса параллельно + взвешенное голосование + AI-fusion для спорных случаев дали 95%+ точности. Время обработки 5-8 секунд.

В прошлом квартале мы задались вопросом: как оценить эффект от времени, которое пользователь проводит в нашем разделе, на Retention Rate (RR)? Казалось бы, решение очевидное: провести A/B-тест, но на поверку всё оказалось не так просто. В статье разберем, как у нас получилось определить эффект, с какими сложностями столкнулись в процессе и как нам помог метод Generalized Propensity Score.

На тему компьютерного зрения есть множество различных публикаций, которые в основном рассказывают о применении этой технологии в разных отраслях. Однако, зачастую публикации содержат лишь общую информацию о том, что реализовано и для каких задач, но при этом отсутствует описание того, как это можно сделать.

В прошлых материалах я упоминал, что работаю преподавателем в центре для одарённых школьников.
Центров этих в районе десятка по стране. И до этого года все они работали на базе общей информационной системы.

Audio

Очередной выпуск англоязычного подкаста Python Bytes

Полтора года назад я начал писать книгу про Python. Когда-то я писал посты о том, как продвигаются дела с этой книгой. Потом долгое время в блоге я эту тему как-то игнорировал, хотя в Телеграме про нее писал периодически и процесс написания продолжался. И вот, наконец, книга под названием «Python для инженерных задач» вышла. 

Многие тулзы, которые так или иначе работают с исходным кодом, умеют читать специальные комментарии, которые как-то дополнительно размечают отдельные строки кода. Так делают разные линтеры, форматтеры, тулзы анализа кода, подсчета тестового покрытия, поиска уязвимостей etc. Однако единого стандарта для них до сих пор не было, и все писали свои парсеры кто во что горазд: кто-то на регэкспах, кто-то на сплитах, кто-то прикручивал полноценные парсеры, кто-то даже на eval. Данная библиотека - попытка стандартизировать это, предложив разработчикам таких инструментов готовый парсер и понятный простой синтаксис. Предлагаемый синтаксис - подмножество обычного питона, но только сам синтаксис, без семантики, т.к. фактического исполнения кода нет. Из прикольного - поддерживается одновременное сосуществование комментариев, предназначенных для разных тулзов, в одной строчке кода. Также можно без проблем совмещать `metacode`-комментарии с обычными.

Python интерфейс для MongoDB. Скачать можно по ссылке: https://pypi.python.org/pypi/pymongo/

Утилита позволяющая измерить процент покрытия тестами. Скачать можно по ссылке: https://pypi.python.org/pypi/coverage/

Библиотека работы с базами данных. Скачать можно по ссылке: https://pypi.python.org/pypi/SQLAlchemy/

Django-приложение, которое облегчает перевод Django-проектов. Скачать можно по ссылке: https://pypi.python.org/pypi/django-rosetta

Масштабируемый, не блокирующий web-сервер. Скачать можно по ссылке: https://pypi.python.org/pypi/tornado/