IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
читайте нас в Twitter

     01.10.2020       Выпуск 354 (28.09.2020 - 04.10.2020)       Статьи

Как разложить фото, видео по папкам, исходя из их дат, используя python

Всем знакомы завалы из фото и видео, кои покоятся годами после копирования с устройств.

Особенно это характерно для iphone,ipad, которые при прямом копировании (без itunes) создают
залежи медиаконтента. Как это все разложить по годам-месяцам?

Да, есть синхронизация, да, можно сразу все сортировать. Но…

     30.09.2020       Выпуск 354 (28.09.2020 - 04.10.2020)       Статьи

Новый способ изучения психотропных веществ с помощью ЭЭГ и нейронных сетей

В данной статье мы хотели бы поделиться результатами исследования, суть которого заключается в расшифровке паттернов нейрональной активности на фоне действия психотропных веществ с помощью алгоритмов глубокого обучения.

 

При планировании и реализации работы мы руководствовались принципами прозрачности и открытости. С этой целью создана страница проекта с детальным описанием исследования и регулярной отчетностью: https://cmi.to/r2/

     30.09.2020       Выпуск 354 (28.09.2020 - 04.10.2020)       Статьи

PEP 638. Немного lisp и php для Питона

На прошлой неделе Марк Шеннон опубликовал черновик очередного предложения по улучшению Питона за номером 638.

Суть предложения сводится к реализации в Питоне поддержки макросов. Макросы, по задумке Шеннона, должны позволять модифицировать абстрактное синтаксическое дерево на этапе компиляции.

     29.09.2020       Выпуск 354 (28.09.2020 - 04.10.2020)       Статьи

Самый точный прогноз погоды: бот для Telegram на облачных функциях

Сервисов, предоставляющих информацию о погоде, достаточно много, вот только какому из них верить? Когда я стал часто ездить на велосипеде, мне захотелось обладать наиболее точной информацией о погодных условиях в том месте, где я катаюсь.

     29.09.2020       Выпуск 354 (28.09.2020 - 04.10.2020)       Статьи

Process Mining без PM4PY

Построить граф по логам процесса очень просто. В распоряжении аналитиков в настоящее время достаточное многообразие профессиональных разработок, таких как Celonis, Disco, PM4PY, ProM и т.д., призванных облегчить исследование процессов. Намного сложнее найти отклонения на графах, сделать верные выводы по ним.

     28.09.2020       Выпуск 354 (28.09.2020 - 04.10.2020)       Статьи

Как искусственный интеллект играет в «Змейку»

Рассказываем о нейросети, которая применяет глубокое обучение и обучение с подкреплением, чтобы играть в Змейку. Код на Github, разбор ошибок, демонстрации иры искусственного интеллекта и эксперименты над ним вы найдете под катом.

     27.09.2020       Выпуск 353 (21.09.2020 - 27.09.2020)       Статьи

Как я умный аквариум делал (backend)

Работая программистом в одной из больших и успешных компаний Москвы, я не переставал совершенствовать свои навыки программирования и проходил различные курсы на платформе Udemy.

 

Конечно просто смотря курс и повторяя все за автором было скучновато, да и были моменты которые я не понимал ввиду своей некомпетентности на тот момент. Нужно делать свои проекты, основываясь на том, что дает автор курса — подумал я, и был конечно же прав. Только настоящие трудности и их разрешение дает вам бесценный опыт, это и есть настоящая обучение.

     26.09.2020       Выпуск 353 (21.09.2020 - 27.09.2020)       Видео

Moscow Python Podcast. Профессии в ML и DS (level: All)

В гостях у Moscow Python Podcast куратор курсов Learn Python, аналитик-разработчик в компании Тинькофф Глеб Синяков. Поговорили о том, что нового происходит в индустрии и как в нее войти.

     25.09.2020       Выпуск 353 (21.09.2020 - 27.09.2020)       Статьи

Реализация аудиоконференций в Telegram + Asterisk

В предыдущей статье я описывал реализацию выбора пользователем места жительства при регистрации в моем telegram боте, который я создавал вдохновившись идеей «Телефонного эфира». В этой же статье я опишу интеграцию бота с Asterisk.

     25.09.2020       Выпуск 353 (21.09.2020 - 27.09.2020)       Статьи

Ищем «Троллей». Алгоритм шинглов & косинусное сходство

Думаю, многие в напряженных дискуссиях в интернете сталкивались с обвинением людей в том, что они боты, тролли и проплачены Кремлем, Киевом или Вашингтоном. Но как действительно выявить таковых или просто людей пытающихся активно донести своё мнение до остальных?

     25.09.2020       Выпуск 353 (21.09.2020 - 27.09.2020)       Статьи

Как трекать людей в масках или универсальный подход к трекингу объектов произвольной природы

С тех пор, как нейронные сети начали набирать популярность, большинство инженеров стали решать многие из задач ПО в области Public Safety методами deep learning. Несмотря на то что у нейросетей нет конкурентов в вопросах обнаружения (detection) и распознавания (identification) объектов, всё же они не могут похвастаться способностью анализировать и рассуждать, а лишь создают закономерности, которые не всегда можно понять или интерпретировать.

 

Мы придерживаемся такого мнения: для трекинга нескольких объектов более эффективными будут интерпретируемые и предсказуемые подходы, такие как, например, метод вероятностной ассоциации данных (probabilistic data association approach).

     23.09.2020       Выпуск 353 (21.09.2020 - 27.09.2020)       Статьи

Масштабируемая классификация данных для безопасности и конфиденциальности

Классификация данных на основе контента — это открытая задача. Традиционные системы предотвращения потери данных (DLP) решают эту проблему путем снятия отпечатков с соответствующих данных и мониторинга конечных точек для снятия отпечатков. Учитывая большое количество постоянно меняющихся ресурсов данных в Facebook, этот подход не только не масштабируется, но и неэффективен для определения того, где находятся данные. Эта статья посвящена сквозной системе, построенной для обнаружения чувствительных семантических типов в Facebook в масштабе и автоматического обеспечения хранения данных и контроля доступа.

     23.09.2020       Выпуск 353 (21.09.2020 - 27.09.2020)       Статьи

3D ML. Часть 4: дифференциальный рендеринг

В нескольких предыдущих заметках данной серии мы уже упоминали понятие дифференциального рендеринга. Сегодня пришло время разъяснить что это такое и с чем это едят.

     23.09.2020       Выпуск 353 (21.09.2020 - 27.09.2020)       Статьи

Фоновые задачи на Faust, Часть II: Агенты и Команды

Часть II. Узнаем, как писать агентов, обрабатывающих стрим событий из kafka, а так же как написать команды (обёртка на click).

     22.09.2020       Выпуск 353 (21.09.2020 - 27.09.2020)       Статьи

Как мы оркестрируем процессы обработки данных с помощью Apache Airflow

В нашем департаменте Airflow играет роль оркестратора процессов обработки больших данных, с его помощью мы загружаем в Hadoop данные из внешних систем, обучаем ML модели, а также запускаем проверки качества данных, расчеты рекомендательных систем, различных метрик, А/Б-тестов и многое другое.

     22.09.2020       Выпуск 353 (21.09.2020 - 27.09.2020)       Статьи

Лучшие инструменты с открытым исходным кодом и библиотеки для Deep Learning — ICLR 2020 Experiencebi

Сложно найти на Хабре человека, который не слышал бы про нейронные сети. Регулярные новости о свежих достижениях нейронных сетей заставляют удивляться широкую публику, а также привлекают новых энтузиастов и исследователей. Привлеченный поток специалистов способствует не только еще большим успехам нейронных моделей, но и приводит к развитию инструментов для более удобного использования Deep Learning подходов. Помимо всем известных фреймворков Tensorflow и PyTorch активно развиваются и другие библиотеки, нередко более гибкие, но менее известные.  Эта статья является переводом одного из постов neptune.ai и освещает самые интересные инструменты для глубокого обучения, представленные на конференции по машинному обучения ICLR 2020.

     21.09.2020       Выпуск 353 (21.09.2020 - 27.09.2020)       Статьи

Machine learning в анализе логов Netflix

Представьте лог на 2,5 гигабайта после неудачной сборки. Это три миллиона строк. Вы ищете баг или регрессию, которая обнаруживается на миллионной строке. Вероятно, найти одну такую строку вручную просто невозможно. Один из вариантов — diff между последней успешной и упавшей сборкой в надежде на то, что баг пишет в журналы необычные строки. Решение Netflix быстрее и точнее LogReduce — под катом.