IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
читайте нас в Twitter

     20.09.2020       Выпуск 352 (14.09.2020 - 20.09.2020)       Статьи

Собираем данные AlphaVantage с Faust. Часть 1. Подготовка и введение

Не так давно мне пришлось работать над бэкендом высоко нагруженного проекта, в котором нужно было организовать регулярное выполнение большого количества фоновых задач со сложными вычислениями и запросами на сторонние сервисы. Проект асинхронный и до того, как я пришёл, в нём был простой механизм крон-запуска задач: цикл с проверкой текущего времени и запуск групп корутин через gather — такой подход оказался приемлем до момента, пока таких корутин были десятки и сотни, однако, когда их количество перевалило через две тысячи, пришлось думать об организации нормальной очереди задач с брокером, несколькими воркерами и прочим.

     19.09.2020       Выпуск 352 (14.09.2020 - 20.09.2020)       Статьи

Опыт проведения городской школьной олимпиады по программированию

В этой статье я расскажу про опыт проведения городской школьной олимпиады по программированию.

     19.09.2020       Выпуск 352 (14.09.2020 - 20.09.2020)       Статьи

Учимся обращаться к данным и запрашивать их при помощи Google BigQuery. С примерами на Python и R

Совсем недавно у нас вышла подробная книга о работе с хранилищем данных Google BigQuery. Сегодня мы решили вновь кратко затронуть эту тему и опубликовать небольшой кейс о выполнении запросов к данным BigQuery на Python и R.

Сообщите в комментариях, интересует ли публикация на тему машинного обучения с применением BigQuery

     18.09.2020       Выпуск 352 (14.09.2020 - 20.09.2020)       Статьи

Pysa: как избежать проблем безопасности в коде Python

7 августа Facebook представил Pysa — ориентированный на безопасность статический анализатор с открытым исходным кодом, помогающий работать с миллионами строк в Instagram. Раскрыты ограничения, затронуты проектные решения и, конечно, средства, помогающие избегать ложных положительных срабатываний. Показана ситуация, когда Pysa наиболее полезен, и код, в котором анализатор неприменим. Подробности из блога Facebook Engineering под катом.

     17.09.2020       Выпуск 352 (14.09.2020 - 20.09.2020)       Статьи
     17.09.2020       Выпуск 352 (14.09.2020 - 20.09.2020)       Статьи

Многоканальные массовые рассылки на Redis

Меня зовут Борис и в этом труде я поделюсь с тобой опытом проектирования и реализации сервиса массовых рассылок, как части объемлющей системы оповещения студентов преподавателями (далее также — Ада), которую тоже я осуществляю.

     17.09.2020       Выпуск 352 (14.09.2020 - 20.09.2020)       Статьи

Чертыре способа получить аудио вк или «это не баг, а фича»

Сегодня я расскажу вам о моем опыте с ВК, найденных багах, об отношении к пользователям и, собственно, как получить аудиозаписи вк, пользуясь "не багами а фичами", как меня заверяли сотрудники данной корпорации. Итак, приступим!

     17.09.2020       Выпуск 352 (14.09.2020 - 20.09.2020)       Статьи
     17.09.2020       Выпуск 352 (14.09.2020 - 20.09.2020)       Статьи
     16.09.2020       Выпуск 352 (14.09.2020 - 20.09.2020)       Статьи

OpenCV в Python. Часть 1

OpenCV — это open source библиотека компьютерного зрения, которая предназначена для анализа, классификации и обработки изображений. Широко используется в таких языках как C, C++, Python и Java.

     16.09.2020       Выпуск 352 (14.09.2020 - 20.09.2020)       Статьи
     16.09.2020       Выпуск 352 (14.09.2020 - 20.09.2020)       Статьи
     16.09.2020       Выпуск 352 (14.09.2020 - 20.09.2020)       Статьи

Как читать файлы конфигурации в тестах с Selenium на Python


Руководство, описанное в этой статье, поможет вам в тестировании веб-интерфейсов. Мы создадим простое надежное решение для тестирования веб-интерфейса с помощью Python, pytest и Selenium WebDriver. Мы рассмотрим стратегии построения хороших тестов и паттерны написания правильных автоматизированных тестов. Конечно же, разработанный проект по тестированию сможет послужить хорошей основой для создания собственных тест-кейсов.

     16.09.2020       Выпуск 352 (14.09.2020 - 20.09.2020)       Статьи

HDTree: настраиваемое дерево решений на Python

Представляем настраиваемую и интерактивную структуру дерева решений, написанную на Python. Эта реализация подходит для извлечение знаний из данных, проверки интуитивного представления, улучшения понимание внутренней работы деревьев решений, а также изучение альтернативных причинно-следственных связей в отношении вашей проблемы обучения. Она может использоваться в качестве части более сложных алгоритмов, визуализации и отчётов, для любых исследовательских целей, а также как доступная платформа, чтобы легко проверить ваши идеи алгоритмов дерева решений.

     16.09.2020       Выпуск 352 (14.09.2020 - 20.09.2020)       Статьи
     15.09.2020       Выпуск 352 (14.09.2020 - 20.09.2020)       Статьи

Pikabu-dataset

Предлагается взглянуть на dataset постов с pikabu.ru c точки зрения датастатистики. Сам датасет в составе 450к штук собран лучшими круглосуточными парсерами, обработан отдушками, убирающими дубликаты статей, а также нашпигован дополнительными столбцами, смысл наличия которых доступен только посвященным. Здесь не столько интересен сам датасет, сколько подход к анализу подобных сайтов. В последующих постах попробуем применить элементы из maсhine learning для анализа.

     15.09.2020       Выпуск 352 (14.09.2020 - 20.09.2020)       Статьи
     15.09.2020       Выпуск 352 (14.09.2020 - 20.09.2020)       Статьи

Система отложенного исполнения на RabbitMQ

Сегодня я хочу продолжить тему «веселых картинок» в мире RabbitMQ. В своей статье Алексей Казаков рассматривал такой мощный инструмент, как отложенные очереди, и разные реализации стратегии Retry. А сегодня мы поговорим, как использовать RabbitMQ для планирования периодических задач.

Зачем нам понадобилось создавать свой велосипед и почему мы отказались от Сelery и других инструментов менеджмента задач? Дело в том, что они не подошли под наши задачи и требования к отказоустойчивости, которые у нас в компании достаточно жесткие.