IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
консультируем про IT, Python

     16.09.2020       Выпуск 352 (14.09.2020 - 20.09.2020)       Статьи

OpenCV в Python. Часть 1

OpenCV — это open source библиотека компьютерного зрения, которая предназначена для анализа, классификации и обработки изображений. Широко используется в таких языках как C, C++, Python и Java.

     16.09.2020       Выпуск 352 (14.09.2020 - 20.09.2020)       Статьи

Как читать файлы конфигурации в тестах с Selenium на Python


Руководство, описанное в этой статье, поможет вам в тестировании веб-интерфейсов. Мы создадим простое надежное решение для тестирования веб-интерфейса с помощью Python, pytest и Selenium WebDriver. Мы рассмотрим стратегии построения хороших тестов и паттерны написания правильных автоматизированных тестов. Конечно же, разработанный проект по тестированию сможет послужить хорошей основой для создания собственных тест-кейсов.

     16.09.2020       Выпуск 352 (14.09.2020 - 20.09.2020)       Статьи

HDTree: настраиваемое дерево решений на Python

Представляем настраиваемую и интерактивную структуру дерева решений, написанную на Python. Эта реализация подходит для извлечение знаний из данных, проверки интуитивного представления, улучшения понимание внутренней работы деревьев решений, а также изучение альтернативных причинно-следственных связей в отношении вашей проблемы обучения. Она может использоваться в качестве части более сложных алгоритмов, визуализации и отчётов, для любых исследовательских целей, а также как доступная платформа, чтобы легко проверить ваши идеи алгоритмов дерева решений.

     15.09.2020       Выпуск 352 (14.09.2020 - 20.09.2020)       Статьи

Pikabu-dataset

Предлагается взглянуть на dataset постов с pikabu.ru c точки зрения датастатистики. Сам датасет в составе 450к штук собран лучшими круглосуточными парсерами, обработан отдушками, убирающими дубликаты статей, а также нашпигован дополнительными столбцами, смысл наличия которых доступен только посвященным. Здесь не столько интересен сам датасет, сколько подход к анализу подобных сайтов. В последующих постах попробуем применить элементы из maсhine learning для анализа.

     15.09.2020       Выпуск 352 (14.09.2020 - 20.09.2020)       Статьи

Система отложенного исполнения на RabbitMQ

Сегодня я хочу продолжить тему «веселых картинок» в мире RabbitMQ. В своей статье Алексей Казаков рассматривал такой мощный инструмент, как отложенные очереди, и разные реализации стратегии Retry. А сегодня мы поговорим, как использовать RabbitMQ для планирования периодических задач.

Зачем нам понадобилось создавать свой велосипед и почему мы отказались от Сelery и других инструментов менеджмента задач? Дело в том, что они не подошли под наши задачи и требования к отказоустойчивости, которые у нас в компании достаточно жесткие.

     15.09.2020       Выпуск 352 (14.09.2020 - 20.09.2020)       Статьи

Преступления на почве расизма в США: статистический анализ

После моей недавней статьи (части 1, 2, 3) о криминале и полицейской стрельбе в США и их связи с расовой принадлежностью я решил продолжить эту тему и в таком же ключе проанализировать другие открытые данные — благо, таких еще достаточно благодаря программе криминальной отчетности ФБР.

Сегодня будем исследовать данные по преступлениям, совершенным на почве нетерпимости. Сначала посмотрим на всю статистику целиком, а затем подробно рассмотрим именно расовую нетерпимость и конкретно преступления, совершаемые белыми и черными на почве вражды к белым и черным.

     12.09.2020       Выпуск 351 (07.09.2020 - 13.09.2020)       Статьи

Как писать музыку на Python — помогут три тематические библиотеки (для специалистов разного уровня)

Продолжаем тему музыкального программирования — ранее мы говорили о языках Csound, SuperCollider и Pure Data, а сегодня рассказываем Python и библиотеках FoxDot, Pippi и Music-Code.

     11.09.2020       Выпуск 351 (07.09.2020 - 13.09.2020)       Статьи
     11.09.2020       Выпуск 351 (07.09.2020 - 13.09.2020)       Статьи

Анализируем причинно-следственные связи метрик ВКонтакте

Одна из наших задач — создавать и улучшать алгоритмы ранжирования для ленты новостей. В этой статье расскажу о том, как можно применять для этого причинно-следственный анализ — чтобы в результате сделать сервис интереснее для пользователей. Поговорим про преимущества такого подхода по сравнению с корреляционным анализом, и я предложу модификации существующих алгоритмов.

     11.09.2020       Выпуск 351 (07.09.2020 - 13.09.2020)       Статьи

Объяснение @classmethod и @staticmethod в Python

Перевод: Python’s @classmethod and @staticmethod Explained

Для новичков, изучающих объектно-ориентированное программирование на Python, очень важно хорошо разбираться в таких понятиях как classmethod и staticmethod для написания более оптимизированного и повторно используемого кода.

Кроме того, даже опытные программисты, работающие на разных языках, часто путают эти два понятия.

     11.09.2020       Выпуск 351 (07.09.2020 - 13.09.2020)       Статьи

Распознавание текста на картинке с помощью tesseract на Kotlin

Ни для кого не секрет, что Python прочно занял первенство в ML и Data Science. А что если посмотреть на другие языки и платформы? Насколько в них удобно делать аналогичные решения?

     10.09.2020       Выпуск 351 (07.09.2020 - 13.09.2020)       Статьи

Разработка python module, чтобы продакшн радовал

Я представляю команду разработчиков некоммерческой организации CyberDuckNinja. Мы создаём и поддерживаем целое семейство продуктов, которые позволяют облегчить разработку backend-приложений и сервисов машинного обучения.

Сегодня хотелось бы затронуть тему интеграции Python в C++.

     10.09.2020       Выпуск 351 (07.09.2020 - 13.09.2020)       Статьи

Black [O]lives Matter: раса, криминал и огонь на поражение в США. Часть 3

Продолжаем наше исследование, посвященное ситуации в США со стрельбой полицейских и уровнем преступности среди представителей белой и черной (афроамериканской) рас. Напомню, что в первой части я рассказал о предпосылках исследования, его целях и принятых оговорках / допущениях; а во второй части была демонстрация анализа взаимосвязи между расовой принадлежностью, преступностью и гибелью от рук служб правопорядка.

     09.09.2020       Выпуск 351 (07.09.2020 - 13.09.2020)       Видео

ORM vs plain SQL, why not both?

Буду рассказывать о ложной дихотомии ORM и запросов в голом SQL. Расскажу, как Django с одной стороны и aiohttp+asyncpg с другой позволяли нам катиться как угорелые

     09.09.2020       Выпуск 351 (07.09.2020 - 13.09.2020)       Видео

Трейсинг в микросервисной архитектуре на Python

Будут затронуты следующие темы: основная идея трейсинга микросервисов в контексте APM (application performance management), основные понятия в трейсинге на примере OpenTracing и Jaeger; краткий обзор существующих инструментов, библиотек для трейсинга. Как обеспечить 80% трейсинга и почти не писать код; особенности подготовки к трейсингу кода многопоточных и асинхронных (Tornado и Asyncio) приложений; советы по тестированию кода с трейсингом; краткий обзор будущего трейсинга — OpenTelemetry

     08.09.2020       Выпуск 351 (07.09.2020 - 13.09.2020)       Статьи

Мониторинг микросервисов Flask с помощью Prometheus

Для того что бы понять как работает prometheus_flask_exporter достаточно минимального примера:

     08.09.2020       Выпуск 351 (07.09.2020 - 13.09.2020)       Видео

Cerberus, or Data Validation for Humans / Nicola Iarocci (CIR 2000, Italy)

Soon or later in their career, every programmer has to deal with data validation. Be it a web, desktop or mobile application, you just cannot avoid data validation. A robust, powerful yet easy-to-use data validation library can be a valuable tool in your toolset. Cerberus is a lightweight and extensible open source data validation library for Python. It provides type checking and other validation, transformation and normalization rules out of the box and it is designed to be easily extensible and customized.

     07.09.2020       Выпуск 351 (07.09.2020 - 13.09.2020)       Статьи

Подборка статей о машинном обучении: кейсы, гайды и исследования за август 2020

Продолжаем собирать для вас материалы из области ML. Как и всегда предпочтение отдаем проектам, которые содержат ссылки на непустые репозитории, или предоставляют высокоуровневые API.

     07.09.2020       Выпуск 351 (07.09.2020 - 13.09.2020)       Видео

Sufficiently Advanced Testing / Zac Hatfield-Dodds (Australian National University)

Writing tests is a great start - but property-based testing libraries like Hypothesis can help you find bugs you didn't know were possible! There are even more advanced techniques out there, like symbolic execution, fuzzing, metamorphic relations, and delta-debugging. Come find out how they work, why you'd use them, and change the way you think about testing!

     07.09.2020       Выпуск 351 (07.09.2020 - 13.09.2020)       Статьи

Внедрение зависимостей в Python

Перевод: Jan Giacomelli — Python Dependency Injection Написание чистого, поддерживаемого кода — сложная задача