IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
и сделали Тренажер IT-инцидентов для DevOps/SRE

     17.09.2020       Выпуск 352 (14.09.2020 - 20.09.2020)       Статьи

Чертыре способа получить аудио вк или «это не баг, а фича»

Сегодня я расскажу вам о моем опыте с ВК, найденных багах, об отношении к пользователям и, собственно, как получить аудиозаписи вк, пользуясь "не багами а фичами", как меня заверяли сотрудники данной корпорации. Итак, приступим!

     16.09.2020       Выпуск 352 (14.09.2020 - 20.09.2020)       Статьи

OpenCV в Python. Часть 1

OpenCV — это open source библиотека компьютерного зрения, которая предназначена для анализа, классификации и обработки изображений. Широко используется в таких языках как C, C++, Python и Java.

     16.09.2020       Выпуск 352 (14.09.2020 - 20.09.2020)       Статьи

Как читать файлы конфигурации в тестах с Selenium на Python


Руководство, описанное в этой статье, поможет вам в тестировании веб-интерфейсов. Мы создадим простое надежное решение для тестирования веб-интерфейса с помощью Python, pytest и Selenium WebDriver. Мы рассмотрим стратегии построения хороших тестов и паттерны написания правильных автоматизированных тестов. Конечно же, разработанный проект по тестированию сможет послужить хорошей основой для создания собственных тест-кейсов.

     16.09.2020       Выпуск 352 (14.09.2020 - 20.09.2020)       Статьи

HDTree: настраиваемое дерево решений на Python

Представляем настраиваемую и интерактивную структуру дерева решений, написанную на Python. Эта реализация подходит для извлечение знаний из данных, проверки интуитивного представления, улучшения понимание внутренней работы деревьев решений, а также изучение альтернативных причинно-следственных связей в отношении вашей проблемы обучения. Она может использоваться в качестве части более сложных алгоритмов, визуализации и отчётов, для любых исследовательских целей, а также как доступная платформа, чтобы легко проверить ваши идеи алгоритмов дерева решений.

     15.09.2020       Выпуск 352 (14.09.2020 - 20.09.2020)       Статьи

Pikabu-dataset

Предлагается взглянуть на dataset постов с pikabu.ru c точки зрения датастатистики. Сам датасет в составе 450к штук собран лучшими круглосуточными парсерами, обработан отдушками, убирающими дубликаты статей, а также нашпигован дополнительными столбцами, смысл наличия которых доступен только посвященным. Здесь не столько интересен сам датасет, сколько подход к анализу подобных сайтов. В последующих постах попробуем применить элементы из maсhine learning для анализа.

     15.09.2020       Выпуск 352 (14.09.2020 - 20.09.2020)       Статьи

Система отложенного исполнения на RabbitMQ

Сегодня я хочу продолжить тему «веселых картинок» в мире RabbitMQ. В своей статье Алексей Казаков рассматривал такой мощный инструмент, как отложенные очереди, и разные реализации стратегии Retry. А сегодня мы поговорим, как использовать RabbitMQ для планирования периодических задач.

Зачем нам понадобилось создавать свой велосипед и почему мы отказались от Сelery и других инструментов менеджмента задач? Дело в том, что они не подошли под наши задачи и требования к отказоустойчивости, которые у нас в компании достаточно жесткие.

     15.09.2020       Выпуск 352 (14.09.2020 - 20.09.2020)       Статьи

Преступления на почве расизма в США: статистический анализ

После моей недавней статьи (части 1, 2, 3) о криминале и полицейской стрельбе в США и их связи с расовой принадлежностью я решил продолжить эту тему и в таком же ключе проанализировать другие открытые данные — благо, таких еще достаточно благодаря программе криминальной отчетности ФБР.

Сегодня будем исследовать данные по преступлениям, совершенным на почве нетерпимости. Сначала посмотрим на всю статистику целиком, а затем подробно рассмотрим именно расовую нетерпимость и конкретно преступления, совершаемые белыми и черными на почве вражды к белым и черным.

     12.09.2020       Выпуск 351 (07.09.2020 - 13.09.2020)       Статьи

Как писать музыку на Python — помогут три тематические библиотеки (для специалистов разного уровня)

Продолжаем тему музыкального программирования — ранее мы говорили о языках Csound, SuperCollider и Pure Data, а сегодня рассказываем Python и библиотеках FoxDot, Pippi и Music-Code.

     11.09.2020       Выпуск 351 (07.09.2020 - 13.09.2020)       Статьи
     11.09.2020       Выпуск 351 (07.09.2020 - 13.09.2020)       Статьи

Анализируем причинно-следственные связи метрик ВКонтакте

Одна из наших задач — создавать и улучшать алгоритмы ранжирования для ленты новостей. В этой статье расскажу о том, как можно применять для этого причинно-следственный анализ — чтобы в результате сделать сервис интереснее для пользователей. Поговорим про преимущества такого подхода по сравнению с корреляционным анализом, и я предложу модификации существующих алгоритмов.

     11.09.2020       Выпуск 351 (07.09.2020 - 13.09.2020)       Статьи

Объяснение @classmethod и @staticmethod в Python

Перевод: Python’s @classmethod and @staticmethod Explained

Для новичков, изучающих объектно-ориентированное программирование на Python, очень важно хорошо разбираться в таких понятиях как classmethod и staticmethod для написания более оптимизированного и повторно используемого кода.

Кроме того, даже опытные программисты, работающие на разных языках, часто путают эти два понятия.

     11.09.2020       Выпуск 351 (07.09.2020 - 13.09.2020)       Статьи

Распознавание текста на картинке с помощью tesseract на Kotlin

Ни для кого не секрет, что Python прочно занял первенство в ML и Data Science. А что если посмотреть на другие языки и платформы? Насколько в них удобно делать аналогичные решения?

     10.09.2020       Выпуск 351 (07.09.2020 - 13.09.2020)       Статьи

Разработка python module, чтобы продакшн радовал

Я представляю команду разработчиков некоммерческой организации CyberDuckNinja. Мы создаём и поддерживаем целое семейство продуктов, которые позволяют облегчить разработку backend-приложений и сервисов машинного обучения.

Сегодня хотелось бы затронуть тему интеграции Python в C++.

     10.09.2020       Выпуск 351 (07.09.2020 - 13.09.2020)       Статьи

Black [O]lives Matter: раса, криминал и огонь на поражение в США. Часть 3

Продолжаем наше исследование, посвященное ситуации в США со стрельбой полицейских и уровнем преступности среди представителей белой и черной (афроамериканской) рас. Напомню, что в первой части я рассказал о предпосылках исследования, его целях и принятых оговорках / допущениях; а во второй части была демонстрация анализа взаимосвязи между расовой принадлежностью, преступностью и гибелью от рук служб правопорядка.

     08.09.2020       Выпуск 351 (07.09.2020 - 13.09.2020)       Статьи

Мониторинг микросервисов Flask с помощью Prometheus

Для того что бы понять как работает prometheus_flask_exporter достаточно минимального примера:

     07.09.2020       Выпуск 351 (07.09.2020 - 13.09.2020)       Статьи

Подборка статей о машинном обучении: кейсы, гайды и исследования за август 2020

Продолжаем собирать для вас материалы из области ML. Как и всегда предпочтение отдаем проектам, которые содержат ссылки на непустые репозитории, или предоставляют высокоуровневые API.

     07.09.2020       Выпуск 351 (07.09.2020 - 13.09.2020)       Статьи

Внедрение зависимостей в Python

Перевод: Jan Giacomelli — Python Dependency Injection Написание чистого, поддерживаемого кода — сложная задача

     05.09.2020       Выпуск 350 (31.08.2020 - 06.09.2020)       Статьи

Определение положения и скорости тележки мостового крана с помощью цифровой камеры и OpenCV

В компьютерном зрении существует метод измерения расстояния до объекта без использования датчиков глубинны и стереокамер. В данной работе метод используется для определения положения и скорости тележки мостового крана.

Благодаря тому, что тележка оснащена энкодерами, я смогу показать, насколько точно работает данный метод, основанный на подобие треугольников. В статье показано как измерить дистанцию с помощью одной камеры, и как это можно использовать в практических задачах.

Тема посвящена моей дипломной работе в магистратуре, которую я писал два года назад.

     04.09.2020       Выпуск 350 (31.08.2020 - 06.09.2020)       Статьи

Заметки Дата Сайентиста: на что обратить внимание при выборе модели машинного обучения — персональный топ-10

Мы снова в эфире и продолжаем цикл заметок Дата Сайентиста и сегодня представляю мой абсолютно субъективный чек-лист по выбору модели машинного обучения. Это топ-10 свойств задачи и просто пунктов (без порядка в них), с точки зрения которых я начинаю выбор модели и вообще моделирование задачи по анализу данных. Совсем не обязательно, что у вас он будет таким же — здесь все субъективно, но делюсь опытом из жизни.

     04.09.2020       Выпуск 350 (31.08.2020 - 06.09.2020)       Статьи

Пайплайны и частичное применения функций, зачем это в Python

Одно из главных достоинств Python — его выразительность. Функциональные средства языка позволяют лаконично описывать преобразования над данными. На мой взгляд в Python не хватает некоторых инструментов, которые помогли бы удобнее описывать преобразования данных и дополнить функциональную составляющую языка, в частности "пайплайны функций" и их частичное применение. Поэтому в этом посте я лью воду о возможности и необходимости данных средств с экспериментами по их реализации. Пришёл во многом за критикой. Приятного чтения!