IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
и сделали Тренажер IT-инцидентов для DevOps/SRE

     06.06.2023       Выпуск 494 (05.06.2023 - 11.06.2023)       Статьи

Оптимизация выборок в больших коллекциях MongoDB

При работе с большими коллекциями в MongoDB, размер которых превышал десятки миллионов записей, возникла необходимость формировать случайные выборки уникальных значений полей, принадлежащих документам этой коллекции.Для такой операции, в MongoDB штатно предусмотрена функция $sample, которую можно использовать в составе pipeline при проведении агрегации данных. Однако, как показала практика, выполнение выборки полей таким образом на большой коллекции может занимать весьма ощутимое время. Чтобы сократить время выполнения таких выборок, потребовалось разработать собственный алгоритм, который на порядки увеличил скорость работы. Ниже приведен подход и вариант реализации данного алгоритма.

     06.06.2023       Выпуск 494 (05.06.2023 - 11.06.2023)       Статьи

Приложение BAI Chat на GTK4 и Python

В последнее время все большей популярностью пользуются различные чаты на основе ChatGPT. Они доступны не только в формате веб-версий или telegram-ботов, но и в виде отдельных приложений для разных платформ. В один прекрасный день я наткнулся на новое приложение под названием Bavarder, но интерфейс показался мне не очень удобным и наглядным, и я решил создать на основе этого приложения своё.

     06.06.2023       Выпуск 494 (05.06.2023 - 11.06.2023)       Статьи

Детекция и классификация заданных предметов по изображениям с разделением модели и данных

Как известно, для успешной работы системы детекции и классификации (СДК) с применением технологии компьютерного зрения необходим большой объем данных, в том числе разметка объектов на изображении. Такая предварительная подготовка трудоемка и длительна. До сих пор работа по разметке объектов для создания обучающей выборки проводится в ручном режиме, хотя уже применяется и определенная автоматизация. Один из возможных вариантов такой автоматизации и был рассмотрен в работе.

     06.06.2023       Выпуск 494 (05.06.2023 - 11.06.2023)       Статьи

Разбираемся с основами автотестирования: пошаговая инструкция по созданию собственного фреймворка для проверки API

В этой статье расскажу о разработке типового фреймворка для тестирования API – на Python, с нуля, шаг за шагом. В итоге получим полностью готовый тестовый фреймворк – надеюсь, с его помощью вы сможете сделать тестовое задание для собеседования или просто улучшить ваш уже действующий тестовый фреймворк.

     09.06.2023       Выпуск 494 (05.06.2023 - 11.06.2023)       Релизы

Werkzeug - 2.3.6

Швейцарский армейский нож веб-разработки Python. Скачать можно по ссылке: https://pypi.python.org/pypi/Werkzeug/

     08.06.2023       Выпуск 494 (05.06.2023 - 11.06.2023)       Релизы

selenium - 4.10.0

Модуль для автоматизации тестирования web-приложений. Скачать можно по ссылке: https://pypi.python.org/pypi/selenium/

     08.06.2023       Выпуск 494 (05.06.2023 - 11.06.2023)       Релизы

Werkzeug - 2.3.5

Швейцарский армейский нож веб-разработки Python. Скачать можно по ссылке: https://pypi.python.org/pypi/Werkzeug/

     06.06.2023       Выпуск 494 (05.06.2023 - 11.06.2023)       Статьи
     06.06.2023       Выпуск 494 (05.06.2023 - 11.06.2023)       Релизы

celery - 5.3.0

Распределенная очередь задач. Скачать можно по ссылке: https://pypi.python.org/pypi/celery/

     06.06.2023       Выпуск 494 (05.06.2023 - 11.06.2023)       Статьи
     05.06.2023       Выпуск 494 (05.06.2023 - 11.06.2023)       Статьи

Все DETRы мира. Часть 2

В прошлой части мы поговорили про эволюцию DETR. А это значит, что сегодня самая пора поговорить про другие варианты исполнения архитектуры и их нюансы.

     06.06.2023       Выпуск 494 (05.06.2023 - 11.06.2023)       Релизы

django-extensions - 3.2.3

Набор пользовательских расширений для Django-проектов. Скачать можно по ссылке: https://pypi.python.org/pypi/django-extensions/

     06.06.2023       Выпуск 494 (05.06.2023 - 11.06.2023)       Релизы

Django - 4.2.2

Мощный web-фреймворк. Скачать можно по ссылке: https://pypi.python.org/pypi/Django/

     04.06.2023       Выпуск 493 (29.05.2023 - 04.06.2023)       Статьи

Сводка новостей от pythonz.net 28.05.2023 — 04.06.2023

А теперь о том, что происходило в последнее время на других ресурсах.

     03.06.2023       Выпуск 493 (29.05.2023 - 04.06.2023)       Интересные проекты, инструменты, библиотеки

PyroMark - быстрый парсер Markdown для Python, написанный на Rust

PyroMark (расшифровывается как Python Rust Optimized Markdown) - быстрый парсер Markdown для Python, написанный на Rust. В 125 раз быстрее, чем Markdown, в 109 раз быстрее, чем markdown-it-py, в 86 раз быстрее, чем mistune. Если вы используете threading, разница с другими библиотеками будет еще более огромной, так как pyromark освобождает GIL.

     03.06.2023       Выпуск 493 (29.05.2023 - 04.06.2023)       Статьи

Автоматизация деплоя Django-приложения в маленькой команде: пошаговый гайд

Развёртывание ПО, или деплой (deploy) — этап в разработке, в Devops в целом, это действия, которые делают ПО готовым к использованию. Если вы умеете в грамотный деплой, масштабирование и управление конвейерами (CI/CD), то ваш софт будет конкурентоспособным.

     03.06.2023       Выпуск 493 (29.05.2023 - 04.06.2023)       Статьи

Автоматический майнинг изображений

В предыдущих статьях мы рассказали, как создать фотогалерею с собственной поисковой системой [1,2]1. Но где нам найти изображения для нашей галереи? Нам придется вручную искать источники «хороших» изображений, а затем вручную проверять, является ли каждое изображение «хорошим». Можно ли автоматизировать обе эти задачи? Ответ — да.

     02.06.2023       Выпуск 493 (29.05.2023 - 04.06.2023)       Интересные проекты, инструменты, библиотеки

pysnippet/django-forbid

Secure your Django app by controlling the access - grant or deny user access based on device and location, including VPN detection.