Python Дайджест. Выпуск 473

There is an area of Python that many developers have problems with. This is an area that has seen many different solutions pop up over the years, with many different opinions, wars, and attempts to solve it. Many have complained about the packaging ecosystem and tools making their lives harder. Many beginners are confused about virtual environments. But does it have to be this way?

В Python, в общем-то, реализована передача аргументов по ссылке. Что это значит, и почему нам это важно знать?

В реальных наборах данных пропущенные значения создают проблему для дальнейшей обработки. Большую ценность имеет подстановка или заполнение отсутствующих значений. К сожалению, стандартные «ленивые» методы, такие как простое использование медианы столбца или среднего значения, не всегда работают должным образом.

Уже несколько лет я замечаю, что программисты и программистские инструменты делятся на две разные культуры: Изначально я человек первой культуры и очень долгое время считал вторую несерьёзной. Пару-тройку лет назад я окончательно понял, что ошибался. Многие «старички» ошибаются в ту же сторону, а в последние годы ещё большее число людей ошибаются в обратную. Знакомство с соседней культурой и понимание, почему дела в ней делаются так, как там принято, превратит вас в лучшего разработчика.

В данной статье изначально планировалось поделиться процессом написания выпускной работы, но что-то пошло не так и, в итоге, по чистой случайности получился фреймворк. Здесь я постараюсь описать основные принципы его работы, поделюсь предпосылками создания и приведу парочку примеров применения.

Настройте pre-commit Yelp/detect-secrets в своем проекте, чтобы не пополнить список

Подобно тому, как в мире разработки многокомпонентных систем применяются подходы для управления и мониторинга микросервисами на основе инструментов DevOps (для запуска и восстановления сервисов, передачи данных, наблюдения за распределенными операциями, выполнение замеров и получение операционных метрик), так же и для моделей машинного обучения становится важным обеспечить возможность их развертывания, обновления и наблюдения за метриками (точность модели, время выполнения прямого прохождения нейронной сети и другими).

Как Polars обеспечивает "ленивую" работу с данными и экономит на памяти больше чем Pandas

Повышение производительности разработчиков и снижение затрат на проекты Big Data

Формат данных YAML чрезвычайно усложнён. Он задумывался как удобный для человека, но в стремлении к этой цели сложность настолько увеличилась, что, по моему мнению, его разработчики достигли противоположного результата. В YAML есть куча возможностей выстрелить себе в ногу, а его дружелюбие обманчиво. В этом посте я хочу продемонстрировать это на примере. Данный пост является нытьём и он более субъективен, чем мои обычные статьи.

В этой статье мы кратко рассмотрим встроенные структуры данных: списки, кортежи, словари и т.д., а также некоторые пользовательские структуры данных: связанные списки, деревья и графы. Более подробно затронем алгоритмы обхода, поиска и сортировки.

Если мы с вами похожи, то, всякий раз, когда вы пишете Dockerfile, вам приходится снова следить, что он выкинет. Заходя в какой-то контейнер через+ exec, вы не представляете, будет ли там bash, sh или какая-нибудь другая оболочка. Вы также не знаете, какой контейнерный init сейчас рекомендуется как наилучшая практика. Я определенно до сих пор не знаю, что за фрукт этот Moby.

Настоящий хреновый программист всегда находится на гребне волны новых технологий. Зачем ему это? Чтобы при случае можно было повыделываться багажом своих знаний, и заработать немного очков уважения в окружении своих менее осведомлённых коллег. Stay toxic, brothers. Я с вами.

Бот - для работы с репозиторием проекта в BitBucket. Приветствую любителей ботов :-) Позвольте представить вашему вниманию бота для работы с репозиторием проекта в BitBucket. Краткое описание моих скромных трудов.

В начале же статьи предупрежу:Эта статья предназначена только для тех людей, которым хочется узнать,чем на самом деле является функция в python....НО! Предупреждаю, я не буду лезть в сурсы питона. Эта статья была создана только для обычных вроде меня программистов.

Статья не содержит описания важных достижений, просьба относиться к ней как к DIY поделке. Когда искал ответ на вопрос не нашел (плохо искал) решения с применением openCV, а так же двух и более камер для наблюдения за объектами.

Как отобразить временные интервалы вместе с графиком временного ряда, с разными цветами для разных групп? Иногда хочется увидеть как события влияют на метрику. Рассмотрим на примере изменений температуры и извержений российских вулканов.

Как управлять различными устройствами: свет, вентиляция, полив, а также получать нужные данные от микроконтроллера.При этом для учебно-тренировочных или DIY-задач совершенно не хочется задействовать дополнительные устройства, на которых будет размещаться сервер и уж тем более не оплачивать внешний статический ip-адрес

А теперь о том, что происходило в последнее время на других ресурсах.

Необходимость добавить возможность оплаты чего-либо в своём проекте всплывает достаточно часто, при этом возня с ИП, банковскими договорами и прочей бюрократией мало кого привлекает, особенно если масштабы проекта сопоставимы с небольшим telegram-ботом или чем-то подобным. На помощь приходят такие сервисы как QIWI, ЮMoney и другие (не рекламирую, просто нахожу удобным для себя).

В этой статье разберём, что есть scheduler в диффузионных моделях и как можно подменять их, пользуясь возможностями библиотеки diffusers.

ChatGPT— это чат-бот с искусственным интеллектом, разработанный компанией OpenAI, который был выпущен 30-го ноября. Возможности ChatGPT оказались очень впечатляющими. Немного о том, что я заметил, пообщавшись с ним пару дней: о программировании, о дизайне и об исторических фактах,  — читайте в этой статье.

Кратко о моем опыте работы с ChatGPT, о том, как я генерирую сюжет, всю историю, снаряжение и механику для своей

Публикуем пятую часть перевода руководства по модулю asyncio в Python. Здесь представлены разделы оригинала с №10 по №13.

Вы уже написали свои первые 1000 строк кода и сейчас хотите сделать их понятнее, потому что внесение изменений занимает столько-же времени, сколько написать заново, но советы из ООП, SOLID, clean architecture и т.д. непонятны вам.

Представьте, что вам дали размеченный набор данных, и ваша задача — предсказать новый. Что вы будете делать? Вероятно, сперва вы попробуете обучить модель машинного обучения поиску правил для разметки новых данных. А что дальше?

Очередной выпуск англоязычного подкаста Python Bytes

How can you get more performance from your existing data science infrastructure? What if a DataFrame library could take advantage of your machine's available cores and provide built-in methods for handling larger-than-RAM datasets? This week on the show, Liam Brannigan is here to discuss Polars.

Audio

Инструмент для создания тарифов в продукте на основе метрик из внешних и внутренних источников. Позволяет задать тариф с ограничениями по количеству пользователей, трафика и прочего.

youtube-dl для изображений

Простая библиотека для создания HTTP запросов. Изменения описаны по ссылке https://pypi.org/project/requests/2.28.2/. Скачать можно по ссылке: http://pypi.python.org/pypi/requests/

Простой мощный инструмент тестирования в Python. Изменения описаны по ссылке https://pypi.org/project/pytest/7.2.1/. Скачать можно по ссылке: http://pypi.python.org/pypi/pytest/

Утилита позволяющая измерить процент покрытия тестами. Изменения описаны по ссылке https://pypi.org/project/coverage/7.0.5/. Скачать можно по ссылке: http://pypi.python.org/pypi/coverage/

Python клиент для Redis. Изменения описаны по ссылке https://pypi.org/project/redis/4.4.2/. Скачать можно по ссылке: http://pypi.python.org/pypi/redis/

Статический анализатор Python-кода. Изменения описаны по ссылке https://pypi.org/project/pylint/2.16.0b0/. Скачать можно по ссылке: http://pypi.python.org/pypi/pylint/

Python модуль для создания заглушек (mock-объект) при тестировании. Изменения описаны по ссылке https://pypi.org/project/mock/5.0.1/. Скачать можно по ссылке: http://pypi.python.org/pypi/mock/

Библиотека работы с базами данных. Изменения описаны по ссылке https://pypi.org/project/sqlalchemy/2.0.0rc2/. Скачать можно по ссылке: http://pypi.python.org/pypi/SQLAlchemy/

Библиотека и утилита для генерации .pex (Python EXecutable) файлов. Изменения описаны по ссылке https://pypi.org/project/pex/2.1.120/. Скачать можно по ссылке: https://pypi.python.org/pypi/pex/

Python генератор документации. Изменения описаны по ссылке https://pypi.org/project/sphinx/6.1.3/. Скачать можно по ссылке: http://pypi.python.org/pypi/Sphinx/

Добавляет в модели Django дополнительное поле PhoneNumberField которое будет автоматически валидировать телефонный номер.. Изменения описаны по ссылке https://pypi.org/project/django-phonenumber-field/7.0.2/. Скачать можно по ссылке: https://pypi.python.org/pypi/django-phonenumber-field/