IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
и сделали Тренажер IT-инцидентов для DevOps/SRE

     14.04.2021       Выпуск 382 (12.04.2021 - 18.04.2021)       Интересные проекты, инструменты, библиотеки

Baserow

Baserow: Web-based no-code persistence platform, like a database meets a spreadsheet, with a REST API. Links: Repo Home gh Docs

     14.04.2021       Выпуск 382 (12.04.2021 - 18.04.2021)       Статьи

ModulationPy: цифровые схемы модуляции на языке Python

На данный момент доступны два класса схем модуляции:

  • M-PSK: Phase Shift Keying (фазовая цифровая модуляция)

  • M-QAM: Quadratured Amplitude Modulation (квадратурная амплитудная модуляция)

    где M - это порядок модуляции.

Интересен модуль может быть, скорее всего, в разрезе образовательных целей в сфере беспроводной связи (подбор модуляций исходил именно из нее), однако, вдруг кому-то пригодится и для научных изысканий. Не MatLab'ом насущным едины!

     14.04.2021       Выпуск 382 (12.04.2021 - 18.04.2021)       Статьи

Детектирование пользовательских объектов

Добро пожаловать в статью по распознаванию. Так как большую часть рабочего времени я провожу в офисном пространстве open space, где каждое место пронумеровано, решил рассказать вам о компьютерном зрении на примере обычной таблички с номером рабочего места. Здесь мы дообучим нейросеть детектировать выбранную нами табличку.

     13.04.2021       Выпуск 382 (12.04.2021 - 18.04.2021)       Релизы

PDFx - v1.4.1

PDFx is a tool to extract text, links, references and metadata from PDF files and URLs.

     13.04.2021       Выпуск 382 (12.04.2021 - 18.04.2021)       Релизы
     12.04.2021       Выпуск 382 (12.04.2021 - 18.04.2021)       Статьи

Телеграмм-бот на Python

Недавно я попал на стажировку в новую для себя IT-компанию и наш (моей команды) проект был - бот для телеграмма, который автоматизирует часть работы hr-менеджеров. Первую неделю нам дали на самостоятельное изучение всего, что мы посчитаем нужным (а я убежден, что лучший способ что-то изучить - это практика), так что я начал действовать. Язык программирования был выбран python (наверное понятно из обложки почему), так что в этой статьи я разберу пример именно с ним.

     12.04.2021       Выпуск 382 (12.04.2021 - 18.04.2021)       Статьи
     12.04.2021       Выпуск 382 (12.04.2021 - 18.04.2021)       Статьи

Адаптация подхода с применением сжатия zlib для отсеивания некачественных текстов разной длины

Подход безусловно интересный и стоит взять его на вооружение. Но разве коэффициент сжатия zlib на качественных текстах не имеет нелинейной зависимости от длины сжимаемого текста? Давайте проверим.

Возьмем текстовый корпус, состоящий из предложений, длина которых варьируется в диапазоне от 50 до 280 символов

     12.04.2021       Выпуск 382 (12.04.2021 - 18.04.2021)       Статьи

Генетический алгоритм vs алгоритм роя частиц

К задачам поиска лучшего варианта решения (объекта, параметров или других данных) сводятся многие из проблем математики, экономики, статистики и т.д. Эти проблемы возникают, когда приходится строить математическую модель ситуации. При обработке полученной математической модели не всегда является возможным перебрать все данные, предоставленные системой, поэтому возникает потребность в разработке таких алгоритмов, которые могли бы искать оптимальные данные с некоторыми погрешностями, чтобы ограничить зону обработки данных для поиска последующих лучших значений.

В данной статье под задачей оптимизации понимается нахождение экстремума (минимума) некоторой вещественной функции в заданной области. Будут рассмотрены два самых важных алгоритма в оптимизации: генетический алгоритм и алгоритм роя частиц.

     10.04.2021       Выпуск 381 (05.04.2021 - 11.04.2021)       Вопросы и обсуждения
     09.04.2021       Выпуск 381 (05.04.2021 - 11.04.2021)       Релизы
     09.04.2021       Выпуск 381 (05.04.2021 - 11.04.2021)       Статьи

HMM: ловим мошеннические транзакции

Австрийский банк. У него много клиентов, у клиентов открыт счет в этом банке. В течении года клиент тратит средства со своего счета. Ходит в магазины, гасит коммунальные платежи и пр. Каждое списание денег со счета назовем транзакцией. Дана последовательность транзакций за определенное время (скажем год). Надо обучить машину, чтобы она начала проверять новые транзакции как достоверные или подозрительные. И выдавала предупреждение в последнем случае. Для решения задачи надо использовать Hidden Markov Model.

     09.04.2021       Выпуск 381 (05.04.2021 - 11.04.2021)       Вопросы и обсуждения
     09.04.2021       Выпуск 381 (05.04.2021 - 11.04.2021)       Видео

Effective API schemas testing

Эффективное тестирование API схем при помощи property-based тестирования

     09.04.2021       Выпуск 381 (05.04.2021 - 11.04.2021)       Статьи

Test Automation Strategy for REST APIs with Python — Tooling

Overview of open source tooling for REST APIs testing

     08.04.2021       Выпуск 381 (05.04.2021 - 11.04.2021)       Статьи

Обработка и анализ текстов на Python и Spark NLP

В наше время без анализа и обработки текстов, не обходится ни один проект, и так уж сложилось что Python обладает широким спектром библиотек и фреймворков для задач NLP. Задачи могут быть как тривиальные: анализ тональности(sentiment) текста, настроение, распознавание сущностей(NER) так и более интересные как боты, сравнение диалогов в саппорт-чатах - мониторить следует ли ваша тех.поддержка или сейлз текстовым скриптам, или постобработка текста после SpeechToText.

 

     08.04.2021       Выпуск 381 (05.04.2021 - 11.04.2021)       Релизы