IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
читайте авторский блог

     30.09.2020       Выпуск 354 (28.09.2020 - 04.10.2020)       Статьи

PEP 638. Немного lisp и php для Питона

На прошлой неделе Марк Шеннон опубликовал черновик очередного предложения по улучшению Питона за номером 638.

Суть предложения сводится к реализации в Питоне поддержки макросов. Макросы, по задумке Шеннона, должны позволять модифицировать абстрактное синтаксическое дерево на этапе компиляции.

     29.09.2020       Выпуск 354 (28.09.2020 - 04.10.2020)       Статьи

Самый точный прогноз погоды: бот для Telegram на облачных функциях

Сервисов, предоставляющих информацию о погоде, достаточно много, вот только какому из них верить? Когда я стал часто ездить на велосипеде, мне захотелось обладать наиболее точной информацией о погодных условиях в том месте, где я катаюсь.

     29.09.2020       Выпуск 354 (28.09.2020 - 04.10.2020)       Статьи

Process Mining без PM4PY

Построить граф по логам процесса очень просто. В распоряжении аналитиков в настоящее время достаточное многообразие профессиональных разработок, таких как Celonis, Disco, PM4PY, ProM и т.д., призванных облегчить исследование процессов. Намного сложнее найти отклонения на графах, сделать верные выводы по ним.

     28.09.2020       Выпуск 354 (28.09.2020 - 04.10.2020)       Статьи

Как искусственный интеллект играет в «Змейку»

Рассказываем о нейросети, которая применяет глубокое обучение и обучение с подкреплением, чтобы играть в Змейку. Код на Github, разбор ошибок, демонстрации иры искусственного интеллекта и эксперименты над ним вы найдете под катом.

     27.09.2020       Выпуск 353 (21.09.2020 - 27.09.2020)       Статьи

Как я умный аквариум делал (backend)

Работая программистом в одной из больших и успешных компаний Москвы, я не переставал совершенствовать свои навыки программирования и проходил различные курсы на платформе Udemy.

 

Конечно просто смотря курс и повторяя все за автором было скучновато, да и были моменты которые я не понимал ввиду своей некомпетентности на тот момент. Нужно делать свои проекты, основываясь на том, что дает автор курса — подумал я, и был конечно же прав. Только настоящие трудности и их разрешение дает вам бесценный опыт, это и есть настоящая обучение.

     25.09.2020       Выпуск 353 (21.09.2020 - 27.09.2020)       Статьи

Реализация аудиоконференций в Telegram + Asterisk

В предыдущей статье я описывал реализацию выбора пользователем места жительства при регистрации в моем telegram боте, который я создавал вдохновившись идеей «Телефонного эфира». В этой же статье я опишу интеграцию бота с Asterisk.

     25.09.2020       Выпуск 353 (21.09.2020 - 27.09.2020)       Статьи

Ищем «Троллей». Алгоритм шинглов & косинусное сходство

Думаю, многие в напряженных дискуссиях в интернете сталкивались с обвинением людей в том, что они боты, тролли и проплачены Кремлем, Киевом или Вашингтоном. Но как действительно выявить таковых или просто людей пытающихся активно донести своё мнение до остальных?

     25.09.2020       Выпуск 353 (21.09.2020 - 27.09.2020)       Статьи

Как трекать людей в масках или универсальный подход к трекингу объектов произвольной природы

С тех пор, как нейронные сети начали набирать популярность, большинство инженеров стали решать многие из задач ПО в области Public Safety методами deep learning. Несмотря на то что у нейросетей нет конкурентов в вопросах обнаружения (detection) и распознавания (identification) объектов, всё же они не могут похвастаться способностью анализировать и рассуждать, а лишь создают закономерности, которые не всегда можно понять или интерпретировать.

 

Мы придерживаемся такого мнения: для трекинга нескольких объектов более эффективными будут интерпретируемые и предсказуемые подходы, такие как, например, метод вероятностной ассоциации данных (probabilistic data association approach).

     24.09.2020       Выпуск 353 (21.09.2020 - 27.09.2020)       Статьи
     23.09.2020       Выпуск 353 (21.09.2020 - 27.09.2020)       Статьи

Масштабируемая классификация данных для безопасности и конфиденциальности

Классификация данных на основе контента — это открытая задача. Традиционные системы предотвращения потери данных (DLP) решают эту проблему путем снятия отпечатков с соответствующих данных и мониторинга конечных точек для снятия отпечатков. Учитывая большое количество постоянно меняющихся ресурсов данных в Facebook, этот подход не только не масштабируется, но и неэффективен для определения того, где находятся данные. Эта статья посвящена сквозной системе, построенной для обнаружения чувствительных семантических типов в Facebook в масштабе и автоматического обеспечения хранения данных и контроля доступа.

     23.09.2020       Выпуск 353 (21.09.2020 - 27.09.2020)       Статьи

3D ML. Часть 4: дифференциальный рендеринг

В нескольких предыдущих заметках данной серии мы уже упоминали понятие дифференциального рендеринга. Сегодня пришло время разъяснить что это такое и с чем это едят.

     23.09.2020       Выпуск 353 (21.09.2020 - 27.09.2020)       Статьи

Фоновые задачи на Faust, Часть II: Агенты и Команды

Часть II. Узнаем, как писать агентов, обрабатывающих стрим событий из kafka, а так же как написать команды (обёртка на click).

     22.09.2020       Выпуск 353 (21.09.2020 - 27.09.2020)       Статьи
     22.09.2020       Выпуск 353 (21.09.2020 - 27.09.2020)       Статьи
     22.09.2020       Выпуск 353 (21.09.2020 - 27.09.2020)       Статьи
     22.09.2020       Выпуск 353 (21.09.2020 - 27.09.2020)       Статьи

Как мы оркестрируем процессы обработки данных с помощью Apache Airflow

В нашем департаменте Airflow играет роль оркестратора процессов обработки больших данных, с его помощью мы загружаем в Hadoop данные из внешних систем, обучаем ML модели, а также запускаем проверки качества данных, расчеты рекомендательных систем, различных метрик, А/Б-тестов и многое другое.

     22.09.2020       Выпуск 353 (21.09.2020 - 27.09.2020)       Статьи

Лучшие инструменты с открытым исходным кодом и библиотеки для Deep Learning — ICLR 2020 Experiencebi

Сложно найти на Хабре человека, который не слышал бы про нейронные сети. Регулярные новости о свежих достижениях нейронных сетей заставляют удивляться широкую публику, а также привлекают новых энтузиастов и исследователей. Привлеченный поток специалистов способствует не только еще большим успехам нейронных моделей, но и приводит к развитию инструментов для более удобного использования Deep Learning подходов. Помимо всем известных фреймворков Tensorflow и PyTorch активно развиваются и другие библиотеки, нередко более гибкие, но менее известные.  Эта статья является переводом одного из постов neptune.ai и освещает самые интересные инструменты для глубокого обучения, представленные на конференции по машинному обучения ICLR 2020.