IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
консультируем про IT, Python

     08.10.2024       Выпуск 565 (07.10.2024 - 13.10.2024)       Статьи

DuckDB: сказ о том, как утёнок приютился в Persistent Volume

Правильно перевозить байтики с места на место нам помогает огромный зоопарк инструментов. И, кажется, мы приручили ещё одного питомца. В этой статье хочу поделиться сценарием, который, на мой взгляд, прекрасно описывает вариант использования компактной встраиваемой базы данных DuckDB.

     08.10.2024       Выпуск 565 (07.10.2024 - 13.10.2024)       Статьи

Как интегрировать синхронный код в асинхронный. Инструкция

Когда создаешь новое приложение, особенно если оно должно быстро обрабатывать данные, использование библиотеки asyncio — это хороший выбор. Она позволяет работать с неблокирующими библиотеками, asyncpg и aiohttp. Однако чаще всего программисты работают с уже существующим кодом, который использует блокирующие библиотеки.

     08.10.2024       Выпуск 565 (07.10.2024 - 13.10.2024)       Статьи

ETL-проект для начинающих Data Engineers: От почтового сервера до Greenplum

Хочу поделиться своим пет-проектом, который посвящен созданию ETL-процесса — важного элемента в работе любого Data Engineer. Мой проект направлен на извлечение данных из электронной почты и их загрузку в базу данных Greenplum для анализа.

     09.10.2024       Выпуск 565 (07.10.2024 - 13.10.2024)       Релизы

coverage - 7.6.2

Утилита позволяющая измерить процент покрытия тестами. Скачать можно по ссылке: https://pypi.python.org/pypi/coverage/

     07.10.2024       Выпуск 565 (07.10.2024 - 13.10.2024)       Статьи

Создание прототипа библиотеки для визуализации алгоритмов на Python

Одним днем я решил поработать с различными алгоритмами, но как оказалось это не так просто. Дело в том, что проще визуально воспринимать информацию, нежели в виде кода. Тогда я поставил себе цель - попробовать написать небольшой, но полезный прототип библиотеки для визуализации алгоритмов на языке программирования Python.

     07.10.2024       Выпуск 565 (07.10.2024 - 13.10.2024)       Статьи

SQLAlchemy 2.0 для новичков

Данная статья представляет собой ознакомление с базовым синтаксисом SQLAlchemy 2.0, информации здесь хватит для того, чтобы сразу начать пользоваться и удовлетворить 80% ваших нужд, да и на неё вы потратите меньше времени, чем на чтение документации).

     05.10.2024       Выпуск 564 (30.09.2024 - 06.10.2024)       Статьи

Что можно рассказать о функциях Python на примере кофемашины?

Поделюсь с вами одной из моих любимых аналогий. Я раньше сам молол себе кофе. Купил такую старомодную ручную кофемолку с металлической воронкой, крутильной рукояткой и маленьким деревянным подносом, на который ссыпается смолотый кофе. Может быть, где-то у меня она ещё валяется. Теперь я слишком занят. Перешёл на кофемашину.

     06.10.2024       Выпуск 564 (30.09.2024 - 06.10.2024)       Статьи

Kaggle для футболистов: Классификация событий на футбольном поле

В конце 2022 года закончилось соревнование DFL - Bundesliga Data Shootout. Так как мне интересен футбол и в целом спортивная аналитика, то я решил поучаствовать в этом соревновании. Целью данной статьи является описание моего подхода, и я уверен, что многие методы, примененные к этой задаче, могут быть адаптированы для решения других задач в области компьютерного зрения.

     05.10.2024       Выпуск 564 (30.09.2024 - 06.10.2024)       Статьи

Краткий гайд по квантованию нейросетей

Мы достаточно написали статей про оптимизацию ваших нейросетей, сегодня пора перейти к дроблению, уменьшению и прямому урезанию, иначе квантованию данных. Сам по себе процесс этот несложный с точки зрения всего, но подводные камни у операции есть. Рассказываем о видах квантования и приводим примеры в этой статье

     06.10.2024       Выпуск 564 (30.09.2024 - 06.10.2024)       Статьи

Сводка от pythonz 29.09.2024 — 06.10.2024

А теперь о том, что происходило в последнее время на других ресурсах.

     06.10.2024       Выпуск 564 (30.09.2024 - 06.10.2024)       Статьи

Практика реализации Веб-ГИС приложений и сервисов на основе открытых ресурсов. Начало

Данная статья освещает практический подход для решения задачи построения Веб-ГИС приложения и сервисов на основе открытых ресурсов и на примере нашего проекта. Основное внимание в ней будет уделено созданию общей структуры проекта и освещению ресурсов на которых он функционирует.

     03.10.2024       Выпуск 564 (30.09.2024 - 06.10.2024)       Статьи

Как у нейросетей работает внимание? Статья про self-attention и cross-attention

Удивительно, как нейросети похожи на нас. У них тоже есть внимание, и на примере коня на ракете я расскажу, как оно работает!

     03.10.2024       Выпуск 564 (30.09.2024 - 06.10.2024)       Видео
     03.10.2024       Выпуск 564 (30.09.2024 - 06.10.2024)       Статьи

Telegram bot который принимает фотографии и публикует их

Для работы и автоматизации телеграмм канала, мне потребовался бот, который будет принимать фотографии, и выставлять их в канал, и как дополнение добавлял нужный мне текст (при необходимости можно переписать, чтобы он прикреплял отправленные в него сообщения). Целей много, может вы аноним, который скрывает свои следы, а может вы хотите предоставить доступ к выставлению фотографий в канале своим подписчикам.

     03.10.2024       Выпуск 564 (30.09.2024 - 06.10.2024)       Статьи

Книга: «Грокаем алгоритмы. 2-е изд.»

Первое было интересным, понятным, запоминающимся. Но оно было выпущено в далёком 2016 году, а перевод появился лишь в 2017. В сфере компьютерных технологий всё меняется и обновляется с невероятной скоростью, неудивительно, что автор решил актуализировать свою книгу

     03.10.2024       Выпуск 564 (30.09.2024 - 06.10.2024)       Статьи

BI для оценки полезности BI: огранка логов в АЛРОСА

В этой статье я расскажу, как мы реализовали систему мониторинга востребованности дашбордов. Такая, своего рода, визуализация полезности визуализаций. Под катом – подробный рассказ с примером кода, так что все желающие смогут повторить подобное на своей инфраструктуре, если вы также выбрали гибкую BI-платформу для своих задач.

     02.10.2024       Выпуск 564 (30.09.2024 - 06.10.2024)       Статьи

Что изменилось в open source-альтернативе TestRail. От кастомных статусов и атрибутов до bulk-операций

Мы готовим крупный релиз 2.0 с масштабными изменениями, в том числе дизайна интерфейса. А пока в качестве «аппетайзера» я расскажу про последние обновления к релизу 1.3.4. Среди них — bulk-операции, пуш-уведомления пользователей, доработка кастомных атрибутов и статусов.

     01.10.2024       Выпуск 564 (30.09.2024 - 06.10.2024)       Статьи

Проверка содержимого PDF-файлов средствами Python и pdfminer. Часть 2

В предыдущей части статьи мы рассмотрели общие подходы к тестированию PDF и познакомились с тем, как библиотеки pdfminer и PDFQuery помогают нам получать детальную информацию об объектах. Достаточно ли нам этой информации? Далеко не всегда. В этой статье мы расскажем о решении некоторых интересных технических проблем.

     01.10.2024       Выпуск 564 (30.09.2024 - 06.10.2024)       Статьи

Как сделать инструмент для запуска нагрузки одной кнопкой: показываем наш Pangoloader

Наш продукт — специальная сборка PostgreSQL с доработками (крупных больше 30, а всего уже больше 70) в области безопасности, производительности, отказоустойчивости. Автоматизировать нагрузку помогают разные инструменты.