IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
читайте нас в Telegram

     21.09.2021       Выпуск 405 (20.09.2021 - 26.09.2021)       Статьи

Автоматическое заполнение файлами документов Word и подписей к ним с помощью Python и библиотеки docx

Рассмотрим пример простой программы на Python с помощью библотекы docx для автоматизации рабочего процесса, а именно автоматической вставки файлов (в данном случае изображений) и их подпись в документах Word (docx).Данная статья будет интересна для начинающих изучающих Python, а также полезна для тех кто работает с большими объемами изображений, графиков, осциллограмм и тому подобное. В ней мы рассмотрим простой и удобный способ вставки изображений в Word и их подписью с помощью Python.Редактирования кода займет 5 минут, выполнение программы займет 5 секунд. Вы сэкономите 300 минут работы. Я опишу свой максимально дубовый и непрофессиональный но простой код который Вы сможете повторить в своих проектах. (Полный код в низу статьи).

     21.09.2021       Выпуск 405 (20.09.2021 - 26.09.2021)       Статьи

Обнаружение таблиц на сканах с использованием Fast-rcnn на Pytorch

Компьютерное зрение — очень интересная и востребованная область искусственного интеллекта. Компьютерное зрение сейчас используется повсеместно, начиная от сегментации медицинских изображений, заканчивая управлением автомобилем. Сейчас мы коснемся одной из основных задач компьютерного зрения — обнаружения объектов.

     21.09.2021       Выпуск 405 (20.09.2021 - 26.09.2021)       Статьи

Фреймворки для тестирования: личный опыт и новые методы

Меня зовут Сергей Радченко, и мы с командой профессионально занимаемся тестированием уже несколько лет. Сегодня я посчитал количество автотестов, которые мы подготовили для веб-интерфейсов, десктопных приложений, API, систем двухфакторной авторизации и так далее (их оказалось более 5000). И мне захотелось рассказать о нашем опыте создания экосистемы для автоматизированного тестирования. В этом посте вы найдете описание полезных для комплексного тестирования фреймворков, а также исходный код некоторых дополнительных методов, которые мы дописали самостоятельно, чтобы написание тестов происходило быстрее, и тестирование приносило больше пользы.

     20.09.2021       Выпуск 405 (20.09.2021 - 26.09.2021)       Статьи

Serverless хранение файлов с AWS lambda

Добрый день, сегодня мы развернем serverless инфраструктуру на базе AWS lambda для загрузки изображений (или любых файлов) с хранением в приватном AWS S3 bucket. Использовать мы будем terraform скрипты, залитые и доступные в моем репозитории kompotkot/hatchery на GitHub.

     20.09.2021       Выпуск 405 (20.09.2021 - 26.09.2021)       Статьи

Python микросервисы с Kafka без боли

В этой статье я бы хотел поделиться способом написания асинхронных микросервисов на Python, общающихся друг с другом через Kafka. В основе этих микросервисов лежит библиотека потоковой обработки  Faust. Но Faust - это не только работа с Kafka, он также содержит HTTP-сервер и планировщик для выполнения задач с определенным интервалом или по расписанию.

Несмотря на то, что в тестовом проекте используются такие инструменты и библиотеки, как FastAPI, Grafana, Prometheus, основная речь пойдет о Faust.

     20.09.2021       Выпуск 405 (20.09.2021 - 26.09.2021)       Статьи

PULP БЖУ

Пусть у нас есть картофель фри, котлета, хлеб, помидор, огурец и молочный коктейль. Сколько чего нужно съесть, чтобы получилось 30 гр. белка, 25 гр. жиров и 60 гр. углеводов? В прошлый раз я баловался и пытался решить это с помощью матриц, на этот раз - с помощью линейных уравнений и python библиотеки PuLP.

     20.09.2021       Выпуск 405 (20.09.2021 - 26.09.2021)       Статьи

KODI: собираем удобный и функциональный медиацентр для дома. Часть 8. Telegram-бот для qBittorrent

Наделяем наш медиацентр еще одной возможностью - управление торрент-клиентом и его загрузками из мессенджера Telegram через чат-бота. Теперь вы не будете ограничены лишь локальной домашней сетью. Управлять загрузками на домашнем сервере из любой точки мира? Легко!

     19.09.2021       Выпуск 404 (13.09.2021 - 19.09.2021)       Статьи

Многоконсольный вывод для Python

Существует много проекты в которых нужно сразу видеть результат переменных в момент выполнения программы. Например обработка нажатий клавиш от пользователя, навигация между страницами в GUI приложениях, обработка данных из форм на веб проектах.

     17.09.2021       Выпуск 404 (13.09.2021 - 19.09.2021)       Статьи

Как определить самый авторитетный фильм всех времен и народов

Какое произведение киноискусства оставило самый большой отпечаток в современной поп культуре? Предлагаю подумать над этим вопросом некоторое время. Может быть это Апокалипсис сегодня? Или Крестный отец? А вдруг главный фильм всех времен и народов это шедевр отечественного кинематографа - фильм Викинг?

 

     16.09.2021       Выпуск 404 (13.09.2021 - 19.09.2021)       Статьи

Фотогалерея на максималках

~1 год назад я начал разрабатывать свою фотогалерею (песочницу для теста всяких технологий). Данная статья – это описание её архитектуры, а также различные твики/лайфхаки/микрогайды которые я узнал за время разработки + немного про производительность.

     16.09.2021       Выпуск 404 (13.09.2021 - 19.09.2021)       Статьи

Отображение объектов на картах в админке Django

Бесплатная, с открытым исходным кодом библиотека DjangoAdminGeomap предназначена для отображения объектов на карте в админке Django.

     16.09.2021       Выпуск 404 (13.09.2021 - 19.09.2021)       Статьи

Involution: Attention is not what you need, или Как скрестить Self-Attention из NLP и Convolution в задачах CV

Если говорить про Self-Attention в картиночных моделях, то тут есть 2 варианта. Олдскульный  “давайте просто перевзвесим фичи” в разных вариантах: поканально, пространственно, в некоторой проекции. И новомодный "давайте обучим трансформер" с представлением патчей как визуальных слов. Первый подход рабочий, но не дает значительного улучшения в плане метрик. Второй подход слишком вычислительно сложный и часто заточен на размер картинок. Подход коллег из ByteDance AI Lab и университета Пекина сильно отличается от этих крайностей и является переосмыслением Attention-механизма трансформеров в работе свёрток.

     16.09.2021       Выпуск 404 (13.09.2021 - 19.09.2021)       Статьи

Сколько на самом деле вакансий на Python в веб-разработке (на примере Москвы)

В Коммунарке начинается осень, значит пришло время пересмотреть Бегущего (теперь уже два), открыть бутылочку Амаретто и написать следующую статью про всеми любимый Python. В данном случае поговорим о том, сколько на самом деле у нас вакансий на Python для веб-разработчиков.

     15.09.2021       Выпуск 404 (13.09.2021 - 19.09.2021)       Статьи

MPIRE — быстрая альтернатива multiprocessing

MPIRE комбинирует функции, подобные map из multiprocessing.Pool, с преимуществами общих объектов multiprocessing.Process, добавляя к этому также функции копирования при записи. В пакете также есть простые в работе функции состояния рабочего процесса, информирования о нём и индикатора выполнения.

     15.09.2021       Выпуск 404 (13.09.2021 - 19.09.2021)       Статьи

Как мы “повернули реки вспять” на Emergency DataHack 2021, объединив гидрологию и AutoML

Под катом хотелось бы поговорить об опыте участия нашей команды из лаборатории моделирования природных систем Национального центра когнитивных разработок Университета ИТМО в хакатоне Emergency DataHack 2021. И победы в нём :)

     14.09.2021       Выпуск 404 (13.09.2021 - 19.09.2021)       Статьи

Работа с pdf файлами с помощью библиотеки fitz

Возникла идея создать небольшую утилиту на Python, которая будет парсить PDF и сверять со списком швов, взятых из BIM модели. Изначально я обратился к библиотеке pdfminer, вернее к ее форку pdfminer.six. Но скорость работы меня совершенно не устраивала. Вот, например, загрузка файла в 10 страниц и парой картинок.

     13.09.2021       Выпуск 404 (13.09.2021 - 19.09.2021)       Статьи

Возможное будущее ИИ, Python как модель мышления или незаслуженно забытый Акинатор

В процессе познания нейронных сетей я практически не увидел информации о том, чтобы кто-то приближался или хотя бы шёл к созданию сущности, похожей на настоящий ИИ. Большая часть задач, которые решаются нейросетями, это довольно тривиальные вещи, вроде распознавания объектов, имитации чего-либо, автоматизации какой-то задачи с условиями или предсказания поведения объектов, чьи математические модели слишком сложны для моделирование и/или вообще неизвестны. Однако что же с исследовательской частью проблемы? Где и как люди отвечают на вопрос "Как улучшить сам ИИ, чтобы было легче выполнять задачи?" или "Есть ли что-то, что можно добавить в основу ИИ, кроме структуры нейронов и принципов их взаимодействия?"

     13.09.2021       Выпуск 404 (13.09.2021 - 19.09.2021)       Статьи

Python и Ruby под нагрузкой: высокое искусство некромантии

Уже больше 20 лет я пишу код на разных языках программирования. Так как многие из этих языков считаются мертвыми, то сегодня я буду говорить о высоком искусстве некромантии — о том, как якобы мертвые языки используются в больших и иногда высоконагруженных проектах. Обрабатывая тысячи веб-запросов в секунду и не порождая необходимости писать свой компилятор PHP или переходить на Go или Rust.