IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
читайте нас в Telegram


Новый материал в ленте
  virtualenv - 20.26.3

Инструмент создания виртуального рабочего окружения. Скачать можно по ссылке: https://pypi.python.org/pypi/virtualenv


Python Дайджест. Выпуск 494

(05.06.2023 - 11.06.2023)

поделиться выпуском 
Дайджест python,

Статьи

  Детекция и классификация заданных предметов по изображениям с разделением модели и данных

Как известно, для успешной работы системы детекции и классификации (СДК) с применением технологии компьютерного зрения необходим большой объем данных, в том числе разметка объектов на изображении. Такая предварительная подготовка трудоемка и длительна. До сих пор работа по разметке объектов для создания обучающей выборки проводится в ручном режиме, хотя уже применяется и определенная автоматизация. Один из возможных вариантов такой автоматизации и был рассмотрен в работе.

  The Many Problems With Celery

“Celery is the de facto solution for background workers and cron jobs in the Python ecosystem, but it’s full of footguns.” This article describes the problems and offers some solutions.

  Сингулярность, в результате которой ИИ сам сделает себя умнее людей. GPT-4 играет в Minecraft и самообучается

В этой статье речь пойдет об эксперименте Voyager: An Open-Ended Embodied Agent with Large Language Models, в котором группа исследователей (Guanzhi Wang, Yuqi Xie, Yunfan Jiang, Ajay Mandlekar, Chaowei Xiao, Yuke Zhu, Linxi Fan, Anima Anandkumar ) дала GPT-4 поиграть в Minecraft.

  Заставляем трансформеров отвечать на вопросы

Интеллектуальные системы призваны облегчать жизнь человека, выполняя за него рутинные задачи. Одной из таких задач является поиск информации в большом количестве текста. Возможно ли и эту задачу перенести на плечи интеллектуальных систем? Этим вопросом я решил задаться.

  Сказ о том, как специалисты IT-поддержки скрипты писали…

Сегодня мы немного расскажем вам о работе IT-поддержки: что мы делаем и зачем, как используем Python и как именно он нам помогает решать рутинные проблемы и не только.Опытным коллегам, пишущим на Python, мы не раскроем каких-то сакральных тайн с точки зрения кода, а вот аналитикам, возможно, поможем усовершенствовать процессы.

  Задача коммивояжёра — ещё немного больше, ещё немного быстрее

Мы продолжаем наше путешествие в мир алгоритмов поиска оптимального пути.В прошлой работе мы уже узнали, как можно найти оптимальный путь в графе в несколько сотен вершин. В данной работе хочу более подробно остановится на сути метода, а также разобрать возможность по его ускорению на графах от тысячи элементов.

  PySpark для аналитика. Как выгружать данные с помощью toPandas и его альтернатив

Одна из типовых задач аналитика — посчитать что-то на pySpark, а потом выгрузить это. Например: маленькую табличку в экселе, чтобы сделать отчёт или презентацию; большую таблицу в экселе или csv, чтобы отправить коллегам — до нескольких Гб; большой датасет для обучения ML-модели — до 100 Гб.

  Оптимизация выборок в больших коллекциях MongoDB

При работе с большими коллекциями в MongoDB, размер которых превышал десятки миллионов записей, возникла необходимость формировать случайные выборки уникальных значений полей, принадлежащих документам этой коллекции.Для такой операции, в MongoDB штатно предусмотрена функция $sample, которую можно использовать в составе pipeline при проведении агрегации данных. Однако, как показала практика, выполнение выборки полей таким образом на большой коллекции может занимать весьма ощутимое время. Чтобы сократить время выполнения таких выборок, потребовалось разработать собственный алгоритм, который на порядки увеличил скорость работы. Ниже приведен подход и вариант реализации данного алгоритма.

  Приложение BAI Chat на GTK4 и Python

В последнее время все большей популярностью пользуются различные чаты на основе ChatGPT. Они доступны не только в формате веб-версий или telegram-ботов, но и в виде отдельных приложений для разных платформ. В один прекрасный день я наткнулся на новое приложение под названием Bavarder, но интерфейс показался мне не очень удобным и наглядным, и я решил создать на основе этого приложения своё.

  Poetry: from zero to hero

Данная статья представляет собой руководство по Poetry. Я постарался покрыть все основные сценарии использования и возможности данного инструмента: создание проекта, работа с зависимостями из различных источников, управление виртуальными окружениями, сборка и публикация.

  Makefile Tricks for Python Projects

Richard likes using Makefiles. They work great both as simple task runners as well as build systems for medium-size projects. This is his starter template for Python projects.

  Каждому первоклашке свой «школьный» контроллер

Предлагаю, продолжить разговор на тему «Что делать с детьми летом, если ты айтишник». Сегодня, как договаривались — про hard.Родной российский чиновник не перестает нас умилять: дескать нужны стране IT-шники. А электронщики — те вообще нужны! Прямо позарез!

  А/Б тесты с метрикой отношения. Дельта-метод

В этой статье разберём, что такое метрики отношения. Узнаем, почему критерий Стьюдента не работает. Попробуем применить бутстреп к зависимым данным. Изучим дельта-метод — способ оценки А/Б тестов с метрикой отношения.

  Все DETRы мира. Часть 2

В прошлой части мы поговорили про эволюцию DETR. А это значит, что сегодня самая пора поговорить про другие варианты исполнения архитектуры и их нюансы.

  Разбираемся с основами автотестирования: пошаговая инструкция по созданию собственного фреймворка для проверки API

В этой статье расскажу о разработке типового фреймворка для тестирования API – на Python, с нуля, шаг за шагом. В итоге получим полностью готовый тестовый фреймворк – надеюсь, с его помощью вы сможете сделать тестовое задание для собеседования или просто улучшить ваш уже действующий тестовый фреймворк.

Релизы

  celery - 5.3.0

Распределенная очередь задач. Скачать можно по ссылке: https://pypi.python.org/pypi/celery/

  Django - 4.2.2

Мощный web-фреймворк. Скачать можно по ссылке: https://pypi.python.org/pypi/Django/

  django-extensions - 3.2.3

Набор пользовательских расширений для Django-проектов. Скачать можно по ссылке: https://pypi.python.org/pypi/django-extensions/

  Werkzeug - 2.3.5

Швейцарский армейский нож веб-разработки Python. Скачать можно по ссылке: https://pypi.python.org/pypi/Werkzeug/

  selenium - 4.10.0

Модуль для автоматизации тестирования web-приложений. Скачать можно по ссылке: https://pypi.python.org/pypi/selenium/

  Werkzeug - 2.3.6

Швейцарский армейский нож веб-разработки Python. Скачать можно по ссылке: https://pypi.python.org/pypi/Werkzeug/

  SQLAlchemy - 2.0.16

Библиотека работы с базами данных. Скачать можно по ссылке: https://pypi.python.org/pypi/SQLAlchemy/

  pytest - 7.3.2

Простой мощный инструмент тестирования в Python. Скачать можно по ссылке: https://pypi.python.org/pypi/pytest/