IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
консультируем про IT, Python

     11.01.2022       Выпуск 421 (10.01.2022 - 16.01.2022)       Статьи

5 грязных трюков в соревновательном Data Science, о которых тебе не расскажут в приличном обществе

Возможно, ты сейчас участвуешь в соревновании по анализу данных или просто решил погрузиться в мира Data Science. Тогда эта статья будет тебе очень полезна!

Сражу скажу, что трюки, о которых мы сегодня поговорим, я не просто так назвал "грязными". Речь пойдет о вещах, которые в каком-то смысле нечестные или просто вводят в заблуждение других участников соревнований. Долго думал, стоит ли про эти техники вообще рассказывать, ведь в борьбе за призовые всегда велик соблазн начать хитрить. Решил, что все-таки расскажу про некоторые приемы, дабы вооружить честных людей, которые играют по правилам.

     10.01.2022       Выпуск 421 (10.01.2022 - 16.01.2022)       Статьи

Torch Hub Series #4: PGAN — Model on GAN

In this tutorial, you will learn the architectural details of Progressive GAN, which enable it to generate high-resolution images. In addition, we will see how we can use Torch Hub to import a pre-trained PGAN model and use it in our projects to generate high-quality images.

     10.01.2022       Выпуск 421 (10.01.2022 - 16.01.2022)       Статьи

Использование рекуррентных нейронных сетей в Reinforcement Learning

В задачах машинного обучения для обучения модели может использоваться известная целевая переменная (задачи такого типа называются «обучение с учителем»), либо модель самостоятельно учится находить закономерности с имеющихся данных, не имея заранее известные правильные результаты (такой тип задач называется «обучение без учителя»). Обучение с подкреплением (Reinforcement Learning, RL) не относится ни к первому типу, ни ко второму, однако обладает свойствами и того, и другого. Этот вид машинного обучения в настоящее время бурно развивается, разрабатывается множество теоретических алгоритмов RL [1], однако основная причина всплеска интереса заключается в множестве практических задач, в которых применяется RL, прежде всего в автоматизации, оптимизации и робототехнике. Обучение с подкреплением эффективно прежде всего там, где системе требуется анализировать окружающую среду и выбирать политику поведения с учетом получаемого отклика.

     10.01.2022       Выпуск 421 (10.01.2022 - 16.01.2022)       Статьи

PyQt6 — полное руководство для новичков

PyQt — это библиотека Python для создания приложений с графическим интерфейсом с помощью инструментария Qt. Созданная в Riverbank Computing, PyQt является свободным ПО (по лицензии GPL) и разрабатывается с 1999 года. Последняя версия PyQt6 — на основе Qt 6 — выпущена в 2021 году, и библиотека продолжает обновляться. Это руководство можно также использовать для PySide2, PySide6 и PyQt5.

     06.01.2022       Выпуск 420 (03.01.2022 - 09.01.2022)       Статьи

NLP алгоритмы для мониторинга и AIOps с использованием библиотек Python

Конечной задачей всей деятельности по созданию алгоритмов для обработки естественного языка (Natural Language Processing, NLP) является создание искусственного интеллекта (ИИ), который бы понимал человеческий язык, причем “понимал” в значении “осознавал смысл” (анализ текста) и “делал осмысленные высказывания” (синтез текста). Пока до этой цели ещё очень далеко, можно применять различные алгоритмические методы для извлечения какой-либо полезной информации из текстовых данных. А это уже очень полезно для ИТ мониторинга. В этой статье мы расскажем о применении моделей ML для целей классификации поступающих данных.

     06.01.2022       Выпуск 420 (03.01.2022 - 09.01.2022)       Статьи

Современный Python: как начать свой проект с нуля при помощи Pyenv и Poetry

Это адаптированный перевод статьи Modern Python part 1: start a project with pyenv & poetry Фаози Браза, специалиста по Data Engineer. Повествование ведётся от лица автора оригинала.

     05.01.2022       Выпуск 420 (03.01.2022 - 09.01.2022)       Статьи

«Слабые» ссылки в CPython

"Слабой" ссылки не достаточно, чтобы объект оставался "живым": когда на объект ссылаются только "слабые" ссылки, сборщик мусора удаляет объект и использует память для других объектов. Однако, пока объект не удалён, "слабая" ссылка может вернуть объект, даже если не осталось обычных ссылок на объект.

     05.01.2022       Выпуск 420 (03.01.2022 - 09.01.2022)       Статьи

Видеоcъемка и фотосъёмка на Raspberry pi в облако

Сегодня статья посвещана организации процесса фото - и видиосъёмки с микрокомпьютера Raspberry pi с последующим сохранением данных в облако в атоматическом режиме.

У меня стояла задача создать систему фото- и видеонаблюдения за птицами у кормушки. 

     05.01.2022       Выпуск 420 (03.01.2022 - 09.01.2022)       Статьи

Транзакционное юнит-тестирование приложений с БД

В современном мире множество приложений используют трехуровневую архитектуру с базой данных в слоях данных. Наличие юнит-тестов обычно упрощает поддержку продукта, но присутствие базы данных в архитектуре заставляет разработчиков применять смекалку.

В этой статье я хочу провести обзор разных способов юнит-тестирования приложения с БД и рассказать о способе, который я не видел в русскоязычном сегменте интернета. Статья будет посвящена Python 3, pytest и ORM-фреймворку SQLAlchemy, но методы переносимы на другие инструменты.

     02.01.2022       Выпуск 419 (27.12.2021 - 02.01.2022)       Статьи

Обходим файловый кэш Google Drive в Colab

Про colab знают, наверное, все. Этот инструмент позволяет независимым исследователям использовать облачную инфраструктуру с GPU и TPU бесплатно или почти бесплатно. Как всегда, проблемы возникают на больших данных.

     02.01.2022       Выпуск 419 (27.12.2021 - 02.01.2022)       Статьи

Защищаем REST API от парсинга генерируемыми токенами

Итак, предположим у нас есть на фронте React.js, на бэке соответственно DRF. Либо другие аналоги. API бэкенда полностью открыто - как для нашего фронта, так и открыто для postman, scrapy и т.п. Также у нас есть информация, что используя наше же api - конкуренты активно парсят цены, остатки и т.п. Можем ли мы им это запретить? - Не думаю. А вот усложнить им жизнь и развлечся за деньги заказщика сделать это интересным образом - вполне.

     31.12.2021       Выпуск 419 (27.12.2021 - 02.01.2022)       Статьи

Сравнение быстродействия def и lambda функций. Так все таки быстродействие или читабельность?

Читая pep8, я наткнулся на пункт об использовании анонимных функций - по версии пепа, они снижают читабельность, если использовать переменную с значением функции как функцию, лучше использовать def. Я решил сравнить def и lambda по другому параметру - быстродействию. Я предполагал, что lambda, заточенный под однострочники , будет быстрее выполняться и создаваться. В этом исследовании я это проверю.

     30.12.2021       Выпуск 419 (27.12.2021 - 02.01.2022)       Статьи

Новогодний детектив, или странный хайзенбаг в «питоньих» часах

Далее собственно детектив как оно есть, "расследование" которого ещё не окончено, можно присоединиться кстати… Пост будет обновляться, по окончанию (я надеюсь что баг таки найдётся) пост изменит название получив префикс "[SOLVED]"...

     30.12.2021       Выпуск 419 (27.12.2021 - 02.01.2022)       Статьи

TalkPython: лучшие пакеты Python по итогам 2021 года

На КДПВ в гостях у TalkPython вы видите Гвидо ван Россума — создателя Python, Марка Шеннона, план ускорения Python в 5 раз за 4 года и, конечно, автора подкаста. А мы делимся подборкой пакетов Python, о которых шла речь в выпусках за уходящий год.

     29.12.2021       Выпуск 419 (27.12.2021 - 02.01.2022)       Статьи

Как мы распознаем фото документов пользователей. Часть II

В прошлой статье я кратко описал методы и подходы, которые мы используем в inDriver при распознавании фото документов. Во второй части подробно опишу архитектуру CRAFT и CRNN, а также варианты их использования. Прошу под кат!

     29.12.2021       Выпуск 419 (27.12.2021 - 02.01.2022)       Статьи

Django Rest Framework для начинающих: как работает ModelSerializer

В предыдущих статьях мы подробно разобрали работу сериалайзера на основе классов BaseSerializer и Serializer, и теперь мы можем перейти к классу-наследнику ModelSerializer.

     29.12.2021       Выпуск 419 (27.12.2021 - 02.01.2022)       Статьи

Фонд золотых цитат: как сгенерировать стикеры из сообщений в Telegram

Все началось с одной из учебных групп в Telegram. Студенты там очень любят делать стикеры из сообщений своего преподавателя. Я выяснил, что делаются они в полуавтоматическом режиме: сообщение пересылается в бота, который рисует «пузырек» сообщения, а результат пересылается в официального стикер-бота.

     28.12.2021       Выпуск 419 (27.12.2021 - 02.01.2022)       Статьи

Опыт применения теоремы о свертке с использованием scipy.fft

Теорема о свёртке утверждает, что преобразование Фурье от свёртки двух функций является произведением их Фурье образов

     27.12.2021       Выпуск 419 (27.12.2021 - 02.01.2022)       Статьи

Выбираем быстрый детектор людей в 2021

В новом хобби проекте мне потребовалось детектировать людей на видео. Это одна из основных задач, решаемых искусственным интеллектом, но я давно этим не занимался и несколько отстал от жизни.

     27.12.2021       Выпуск 419 (27.12.2021 - 02.01.2022)       Статьи

Тестирование GraphQL: подходы, инструменты, автоматизация

Это произошло, когда я присоединилась к одному из наших проектов, где был не только привычный REST, но и GraphQL API. Это было моё первое знакомство с ним. Я понятия не имела, что он собой представляет, в чем его особенности, а самое главное для меня, как QA инженера – не знала, как его тестировать. 

Ниже я расскажу, что делала я, с какими проблемами сталкивалась, с чего можно начать и что важного и особенного надо знать про GraphQL для успешного тестирования как руками, так и с помощью автотестов. Вполне вероятно, что это поможет и вам разобраться в данном вопросе.