IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
читайте авторский блог

     13.04.2021       Выпуск 382 (12.04.2021 - 18.04.2021)       Релизы

PDFx - v1.4.1

PDFx is a tool to extract text, links, references and metadata from PDF files and URLs.

     13.04.2021       Выпуск 382 (12.04.2021 - 18.04.2021)       Релизы
     12.04.2021       Выпуск 382 (12.04.2021 - 18.04.2021)       Статьи

Телеграмм-бот на Python

Недавно я попал на стажировку в новую для себя IT-компанию и наш (моей команды) проект был - бот для телеграмма, который автоматизирует часть работы hr-менеджеров. Первую неделю нам дали на самостоятельное изучение всего, что мы посчитаем нужным (а я убежден, что лучший способ что-то изучить - это практика), так что я начал действовать. Язык программирования был выбран python (наверное понятно из обложки почему), так что в этой статьи я разберу пример именно с ним.

     12.04.2021       Выпуск 382 (12.04.2021 - 18.04.2021)       Статьи
     12.04.2021       Выпуск 382 (12.04.2021 - 18.04.2021)       Статьи

Адаптация подхода с применением сжатия zlib для отсеивания некачественных текстов разной длины

Подход безусловно интересный и стоит взять его на вооружение. Но разве коэффициент сжатия zlib на качественных текстах не имеет нелинейной зависимости от длины сжимаемого текста? Давайте проверим.

Возьмем текстовый корпус, состоящий из предложений, длина которых варьируется в диапазоне от 50 до 280 символов

     12.04.2021       Выпуск 382 (12.04.2021 - 18.04.2021)       Статьи

Генетический алгоритм vs алгоритм роя частиц

К задачам поиска лучшего варианта решения (объекта, параметров или других данных) сводятся многие из проблем математики, экономики, статистики и т.д. Эти проблемы возникают, когда приходится строить математическую модель ситуации. При обработке полученной математической модели не всегда является возможным перебрать все данные, предоставленные системой, поэтому возникает потребность в разработке таких алгоритмов, которые могли бы искать оптимальные данные с некоторыми погрешностями, чтобы ограничить зону обработки данных для поиска последующих лучших значений.

В данной статье под задачей оптимизации понимается нахождение экстремума (минимума) некоторой вещественной функции в заданной области. Будут рассмотрены два самых важных алгоритма в оптимизации: генетический алгоритм и алгоритм роя частиц.

     10.04.2021       Выпуск 381 (05.04.2021 - 11.04.2021)       Вопросы и обсуждения
     09.04.2021       Выпуск 381 (05.04.2021 - 11.04.2021)       Релизы
     09.04.2021       Выпуск 381 (05.04.2021 - 11.04.2021)       Статьи

HMM: ловим мошеннические транзакции

Австрийский банк. У него много клиентов, у клиентов открыт счет в этом банке. В течении года клиент тратит средства со своего счета. Ходит в магазины, гасит коммунальные платежи и пр. Каждое списание денег со счета назовем транзакцией. Дана последовательность транзакций за определенное время (скажем год). Надо обучить машину, чтобы она начала проверять новые транзакции как достоверные или подозрительные. И выдавала предупреждение в последнем случае. Для решения задачи надо использовать Hidden Markov Model.

     09.04.2021       Выпуск 381 (05.04.2021 - 11.04.2021)       Вопросы и обсуждения
     09.04.2021       Выпуск 381 (05.04.2021 - 11.04.2021)       Видео

Effective API schemas testing

Эффективное тестирование API схем при помощи property-based тестирования

     09.04.2021       Выпуск 381 (05.04.2021 - 11.04.2021)       Статьи

Test Automation Strategy for REST APIs with Python — Tooling

Overview of open source tooling for REST APIs testing

     08.04.2021       Выпуск 381 (05.04.2021 - 11.04.2021)       Статьи

Обработка и анализ текстов на Python и Spark NLP

В наше время без анализа и обработки текстов, не обходится ни один проект, и так уж сложилось что Python обладает широким спектром библиотек и фреймворков для задач NLP. Задачи могут быть как тривиальные: анализ тональности(sentiment) текста, настроение, распознавание сущностей(NER) так и более интересные как боты, сравнение диалогов в саппорт-чатах - мониторить следует ли ваша тех.поддержка или сейлз текстовым скриптам, или постобработка текста после SpeechToText.

 

     08.04.2021       Выпуск 381 (05.04.2021 - 11.04.2021)       Релизы
     08.04.2021       Выпуск 381 (05.04.2021 - 11.04.2021)       Статьи

Липкие сессии для самых маленьких [Часть 1]

Липкие сессии (Sticky-session) — это особый вид балансировки нагрузки, при которой трафик поступает на один определенный сервер группы. Как правило, перед группой серверов находится балансировщик нагрузки (Nginx, HAProxy), который и устанавливает правила распределения трафика между доступными серверами.

     07.04.2021       Выпуск 381 (05.04.2021 - 11.04.2021)       Статьи