IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
читайте авторский блог

     14.04.2021       Выпуск 382 (12.04.2021 - 18.04.2021)       Статьи
     14.04.2021       Выпуск 382 (12.04.2021 - 18.04.2021)       Статьи

Ontol: подборка видео-лекций и каналов для продвинутых программистов

Недавно на HackerNews обсуждали видео и каналы, где можно пойчиться продвинутому программированию. Под катом — подборка из 30 полезняшек.

     14.04.2021       Выпуск 382 (12.04.2021 - 18.04.2021)       Статьи

Что не так с вашей консольной программой?

Мы еще в школе научились вызывать функцию print. Что может пойти не так в консольной разработке? Да, и если бы не растущая сложность программ, проблем бы у нас не было до сих пор. А в реальности — то в тексте трудно найти нужную информацию, то он не влезает в экран по ширине и по длине, а от многочисленности цветов рябит в глазах.

     14.04.2021       Выпуск 382 (12.04.2021 - 18.04.2021)       Статьи

ModulationPy: цифровые схемы модуляции на языке Python

На данный момент доступны два класса схем модуляции:

  • M-PSK: Phase Shift Keying (фазовая цифровая модуляция)

  • M-QAM: Quadratured Amplitude Modulation (квадратурная амплитудная модуляция)

    где M - это порядок модуляции.

Интересен модуль может быть, скорее всего, в разрезе образовательных целей в сфере беспроводной связи (подбор модуляций исходил именно из нее), однако, вдруг кому-то пригодится и для научных изысканий. Не MatLab'ом насущным едины!

     14.04.2021       Выпуск 382 (12.04.2021 - 18.04.2021)       Статьи

Детектирование пользовательских объектов

Добро пожаловать в статью по распознаванию. Так как большую часть рабочего времени я провожу в офисном пространстве open space, где каждое место пронумеровано, решил рассказать вам о компьютерном зрении на примере обычной таблички с номером рабочего места. Здесь мы дообучим нейросеть детектировать выбранную нами табличку.

     12.04.2021       Выпуск 382 (12.04.2021 - 18.04.2021)       Статьи

Телеграмм-бот на Python

Недавно я попал на стажировку в новую для себя IT-компанию и наш (моей команды) проект был - бот для телеграмма, который автоматизирует часть работы hr-менеджеров. Первую неделю нам дали на самостоятельное изучение всего, что мы посчитаем нужным (а я убежден, что лучший способ что-то изучить - это практика), так что я начал действовать. Язык программирования был выбран python (наверное понятно из обложки почему), так что в этой статьи я разберу пример именно с ним.

     12.04.2021       Выпуск 382 (12.04.2021 - 18.04.2021)       Статьи
     12.04.2021       Выпуск 382 (12.04.2021 - 18.04.2021)       Статьи

Адаптация подхода с применением сжатия zlib для отсеивания некачественных текстов разной длины

Подход безусловно интересный и стоит взять его на вооружение. Но разве коэффициент сжатия zlib на качественных текстах не имеет нелинейной зависимости от длины сжимаемого текста? Давайте проверим.

Возьмем текстовый корпус, состоящий из предложений, длина которых варьируется в диапазоне от 50 до 280 символов

     12.04.2021       Выпуск 382 (12.04.2021 - 18.04.2021)       Статьи

Генетический алгоритм vs алгоритм роя частиц

К задачам поиска лучшего варианта решения (объекта, параметров или других данных) сводятся многие из проблем математики, экономики, статистики и т.д. Эти проблемы возникают, когда приходится строить математическую модель ситуации. При обработке полученной математической модели не всегда является возможным перебрать все данные, предоставленные системой, поэтому возникает потребность в разработке таких алгоритмов, которые могли бы искать оптимальные данные с некоторыми погрешностями, чтобы ограничить зону обработки данных для поиска последующих лучших значений.

В данной статье под задачей оптимизации понимается нахождение экстремума (минимума) некоторой вещественной функции в заданной области. Будут рассмотрены два самых важных алгоритма в оптимизации: генетический алгоритм и алгоритм роя частиц.

     09.04.2021       Выпуск 381 (05.04.2021 - 11.04.2021)       Статьи

HMM: ловим мошеннические транзакции

Австрийский банк. У него много клиентов, у клиентов открыт счет в этом банке. В течении года клиент тратит средства со своего счета. Ходит в магазины, гасит коммунальные платежи и пр. Каждое списание денег со счета назовем транзакцией. Дана последовательность транзакций за определенное время (скажем год). Надо обучить машину, чтобы она начала проверять новые транзакции как достоверные или подозрительные. И выдавала предупреждение в последнем случае. Для решения задачи надо использовать Hidden Markov Model.

     09.04.2021       Выпуск 381 (05.04.2021 - 11.04.2021)       Статьи

Test Automation Strategy for REST APIs with Python — Tooling

Overview of open source tooling for REST APIs testing

     08.04.2021       Выпуск 381 (05.04.2021 - 11.04.2021)       Статьи

Обработка и анализ текстов на Python и Spark NLP

В наше время без анализа и обработки текстов, не обходится ни один проект, и так уж сложилось что Python обладает широким спектром библиотек и фреймворков для задач NLP. Задачи могут быть как тривиальные: анализ тональности(sentiment) текста, настроение, распознавание сущностей(NER) так и более интересные как боты, сравнение диалогов в саппорт-чатах - мониторить следует ли ваша тех.поддержка или сейлз текстовым скриптам, или постобработка текста после SpeechToText.

 

     08.04.2021       Выпуск 381 (05.04.2021 - 11.04.2021)       Статьи

Липкие сессии для самых маленьких [Часть 1]

Липкие сессии (Sticky-session) — это особый вид балансировки нагрузки, при которой трафик поступает на один определенный сервер группы. Как правило, перед группой серверов находится балансировщик нагрузки (Nginx, HAProxy), который и устанавливает правила распределения трафика между доступными серверами.

     07.04.2021       Выпуск 381 (05.04.2021 - 11.04.2021)       Статьи
     07.04.2021       Выпуск 381 (05.04.2021 - 11.04.2021)       Статьи

Сравнение ассортимента блюд трёх ресторанов Санкт-Петербурга

Мне никогда раньше не приходилось иметь дело с парсингом данных из интернета. Обычно все данные для работы (аналитик данных) приходят из выгрузок компании с использованием простого внутреннего интерфейса, либо формируются sql-запросами к таблицам напрямую из хранилища, если нужно что-то более сложное, чем “посмотреть выручку за предыдущий месяц”. 

     07.04.2021       Выпуск 381 (05.04.2021 - 11.04.2021)       Статьи

Как сделать полнотекстовую поисковую машину на 150 строках кода Python

Полнотекстовый поиск — неотъемлемая часть нашей жизни. Разыскать нужные материалы в сервисе облачного хранения документов Scribd, найти фильм в Netflix, купить туалетную бумагу на Amazon или отыскать с помощью сервисов Google интересующую информацию в Интернете — наверняка вы сегодня уже не раз отправляли похожие запросы на поиск нужной информации в невообразимых объёмах неструктурированных данных. И что удивительнее всего — несмотря на то что вы осуществляли поиск среди миллионов (или даже миллиардов) записей, вы получали ответ за считанные миллисекунды.

     07.04.2021       Выпуск 381 (05.04.2021 - 11.04.2021)       Статьи
     06.04.2021       Выпуск 381 (05.04.2021 - 11.04.2021)       Статьи
     06.04.2021       Выпуск 381 (05.04.2021 - 11.04.2021)       Статьи

Отбор признаков в задачах машинного обучения. Часть 1

Часто наборы данных, с которыми приходится работать, содержат большое количество признаков, число которых может достигать нескольких сотен и даже тысяч. При построении модели машинного обучения не всегда понятно, какие из признаков действительно для неё важны (т.е. имеют связь с целевой переменной), а какие являются избыточными (или шумовыми). Удаление избыточных признаков позволяет лучше понять данные, а также сократить время настройки модели, улучшить её точность и облегчить интерпретируемость.