IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
консультируем про IT, Python

     20.05.2022       Выпуск 439 (16.05.2022 - 22.05.2022)       Статьи

HDMI OLED-дисплей в стиле стимпанк

Чёрт возьми! Я не мог оставить без внимания тот факт, что мой предыдущий дурацкий проект получил настолько живой отклик. Вряд ли мне когда-либо удастся превзойти такое соотношение приложенных усилий и полученных за них «интернет-очков». Дурацкий, глупый и бесцельный — похоже, это мои дежурные слова. А что станет наиглупейшим апгрейдом для глупейшего дисплея, как ни придание ему вида а-ля стимпанк? Но в моём представлении это никак не цепляние к шляпе покрашенных в золото шестерёнок. Если я говорю стимпанк, то подразумеваю фрезерованную латунь и накатку.

     19.05.2022       Выпуск 439 (16.05.2022 - 22.05.2022)       Статьи

Практические применения генеративных моделей: как мы делали суммаризатор текстов

В последнее время вышло большое количество генеративных моделей для русского языка. Команды Сбера выпустили целое семейство авторегрессионных моделей ruGPT3, ruT5, о которых мы подробно писали ранее. Сегодня мы расскажем, как практически применять обучение таких моделей и какие продукты можно получить на их основе.

     19.05.2022       Выпуск 439 (16.05.2022 - 22.05.2022)       Статьи

Как написать свой прокси с кроликом и рейт-лимитами и не изменить змее с сусликом

Пару лет назад мы в Just Work делали несколько похожих проектов, которые должны были обрабатывать данные, получаемые из одного внешнего HTTP API. Это API, несмотря на согласованные повышенные лимиты, изредка банило наши ключи доступа за малейшее превышение. Из-за этого ответственность за соблюдение лимитов лежала на клиентах. В дальнейшем, проектов, использующих это API, должно было становиться все больше, и заказчика не устраивала перспектива разбираться с каждой реализацией по отдельности.

     19.05.2022       Выпуск 439 (16.05.2022 - 22.05.2022)       Статьи

Мой опыт с резиновым мужиком. Github Copilot

Первая моя ассоциация с Github Copilot - это резиновый мужик-автопилот из фильма "Аэроплан". Помню, в детстве я увидел этот фильм и потом реально думал, что так автопилоты и выглядят: какая-то смешная резиновая кукла надувается и начинает управлять самолётом. И вот, через столько лет меня не покидает ощущение, что передо мной надувается какая-то кукла и пытается писать за меня код.

Короче, нежданно-негаданно мне пришёл инвайт в GitHub copilot. Я и забыл про то, что когда-то запрашивал доступ - ажиотаж давно уже спал, вроде мир не захвачен машинами, а значит, не такой уж он и крутой, да? С другой стороны, недавно к нам на позицию senior python постучал чел и сказал, что большую часть нашего тестового задания он запилил при помощи copilot, так что определённо кто-то "пилотом" пользуется. В общем, непонятно: хорошо оно или плохо? Стану ли я теперь более продуктивным? Есть только один способ проверить: в бою.

 

     18.05.2022       Выпуск 439 (16.05.2022 - 22.05.2022)       Статьи

Кластеризация, которую легко осуществить с помощью PyCaret

Содержание данной статьи изначально было опубликовано в последней книге автора статьи "Упрощение машинного обучения с PyCaret". Вы можете кликнуть здесь, чтобы ознакомиться с ней подробнее.

     18.05.2022       Выпуск 439 (16.05.2022 - 22.05.2022)       Видео

Moscow Python Podcast. Domain Driven Design (level: all)

В гостях у Moscow Python Podcast Python руководитель разработки компании МЕДСИ Digital Николай Фоминых. Обсудили с Николаем, что такое DDD, зачем оно нужно и как применяют в МЕДСИ.

     18.05.2022       Выпуск 439 (16.05.2022 - 22.05.2022)       Статьи

Рецепты REST OData в 1C: Python vs… PL/pgSQL !?

Для приготовления CRUD нам понадобится 1C, Python и ... PostgreSQL. Сначала нужно включить REST OData в 1C.

     18.05.2022       Выпуск 439 (16.05.2022 - 22.05.2022)       Статьи

Большое сравнение 400 нейронных сетей для задачи классификации на более 8000 классов

Думаю, вы знакомы с графиками сравнения точности архитектур. Их применяют в задачах по классификации изображений на ImageNet. В каждом сравнении которые я мог встретить ранее в Интернете, как правило это было сравнение небольшого количества архитектур нейросетей, произведенными разными командами, и возможно в разных условиях.Кроме того в последнее время я наблюдаю изменения: появилось большое количество архитектур. Однако их сравнений с ранее созданными архитектурами я не встречал, либо оно было не столь масштабным.Мне захотелось столкнуть большое количество существующих архитектур для решения одной задачи, при это объективно посмотреть как поведут себя новые архитектуры типа Трансформер, так и ранее созданные архитектуры.

     18.05.2022       Выпуск 439 (16.05.2022 - 22.05.2022)       Статьи

Вывод аудио на несколько источников на raspberry pi

В статье пойдет речь о том как вывести аудио, проигрываемое на raspberry pi на несколько источников (проигрывателей) одновременно. В частности, аудио будет параллельно транслироваться по hdmi, на audio jack, bluetooth устройство (устройства).

Вопрос прикладной, но в интернете не удалось найти готовое решение, поэтому родился данный короткий пост.

     18.05.2022       Выпуск 439 (16.05.2022 - 22.05.2022)       Статьи

О плохом и хорошем коде

Чтобы понять хороший код или плохой, недостаточно на него посмотреть, надо еще знать и контекст, в котором он написан. Давайте попробуем решить одну простую задачу тремя способами и найдем в каком контексте каждое решение будет хорошим или плохим. Задача простая, но вполне жизненная: взять данные, поменять, сохранить.

     17.05.2022       Выпуск 439 (16.05.2022 - 22.05.2022)       Статьи

Создание telegram web apps и взаимодействие с ними в телеграм ботах

В обновлении Bot API 6.0телеграм-боты получили много новых функций. Из них для разработчиков самая примечательная - Telegram Web Apps (Веб-приложения внутри телеграм). С этим нововведением разработчики могут подключать к своим ботам web-приложения, которые открываются в дополнительном окне, что сильно расширяет инструментарий, а, следовательно и функционал ботов в телеграм.

     17.05.2022       Выпуск 439 (16.05.2022 - 22.05.2022)       Статьи

Категориальные признаки

Не одним One-Hot единым...В данной статье разберемся с кодированием категориальных данных. В профессиональной среде нередко о существовании чего-то кроме OH или Label Encoder не догадываются не только рядовые Junior DS, но и даже Middle, а иногда и Senior. Исправить данную несправедливость и призвана данная статья.

     16.05.2022       Выпуск 439 (16.05.2022 - 22.05.2022)       Статьи

Развёртывание XGBoost-моделей с помощью Ray Serve

XGBoost — это оптимизированная библиотека, реализующая алгоритм градиентного бустинга. Эта библиотека спроектирована с прицелом на высокую продуктивность и гибкость, в ней используется параллельная работа с древовидными структурами, что позволяет быстро и эффективно решать различные задачи из сфер Data Science и Machine Learning. В предыдущем материале мы исследовали три подхода к ускорению обучения XGBoost-моделей.

     13.05.2022       Выпуск 438 (09.05.2022 - 15.05.2022)       Статьи

W-функция Ламберта и ее приложения

Математический анализ знает множество замечательных функций со своими удивительными свойствами и применениями. Сегодня я бы хотел рассказать читателю об одной из таких - W-функции Ламберта.

     13.05.2022       Выпуск 438 (09.05.2022 - 15.05.2022)       Статьи

Робот-самурай ч.2. Хокку-бот для постинга в ВК

Ранее я рассказал, как я создал Телеграм-бота, который пишет хокку и подбирает пикчу в тему. В этой статье расскажу, как я научился фильтровать изображения по размеру и про работу с vk_api. Прошлая статья вышла немного скомканной, поэтому в этой статье заново рассмотрим весь принцип работы.

     12.05.2022       Выпуск 438 (09.05.2022 - 15.05.2022)       Статьи

Три подхода к ускорению обучения XGBoost-моделей

Фреймворк XGBoost (Extreme Gradient Boosting, экстремальный градиентный бустинг) — это эффективная опенсорсная реализация алгоритма градиентного бустинга. Этот фреймворк отличается высокой скоростью работы, а модели, построенные на его основе, обладают хорошей производительностью. Поэтому он пользуется популярностью при решении задач классификации и регрессии с использованием табличных наборов данных. Но процесс обучения XGBoost-моделей может занять много времени.

     12.05.2022       Выпуск 438 (09.05.2022 - 15.05.2022)       Статьи

Django. Разрастание базы данных из-за таблицы django_session

В статье описывается проблема разрастания базы данных из-за устервших записей сессий и индекса таблицы сессий в Django. А также описывается, как данная проблема была решена.

     11.05.2022       Выпуск 438 (09.05.2022 - 15.05.2022)       Статьи

Экспорт статей Хабра в html, markdown

До меня было написано 4 статьи по экспорту статей с хабра в FB2 и pdf: Экспорт избранного Хабра в FB2 Экспорт избранного Хабра в FB2 — скоростная PHP-версия Экспорт Хабра в FB2 Экспорт Избранного на Хабре в PDF Я же хотел получить исходники своих статей.

     11.05.2022       Выпуск 438 (09.05.2022 - 15.05.2022)       Статьи

Сказ о том, как мы Python-микросервисы для облака шаблонизировали

Большая боль разработчиков, которые приходят на новый проект — для развертывания сервиса локально нужно пообщаться минимум с десятком людей, не говоря уже про интеграцию с CI/CD-сервером. В один момент мы решили реализовать это удобнее, заодно сократив время онбординга новых сотрудников. 

     11.05.2022       Выпуск 438 (09.05.2022 - 15.05.2022)       Статьи

Разработчик и колпак

Развитие микроэлектроники, ИТ технологий и широкого спектра программных продуктов открыло новые возможности по контролю всего. Датчики, камеры, цифровые следы… Магнитофон в чемодане уже неактуален.