IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
читайте авторский блог

     05.04.2021       Выпуск 381 (05.04.2021 - 11.04.2021)       Статьи

Нейродайджест: главное из области машинного обучения за март 2021

В марте было особенно много новостей про применение самообучения в области компьютерного зрения. Главная проблема, которую пытаются решить самообучающиеся модели — выполнять задачи, не полагаясь на тщательно подобранные и помеченные наборы данных. FAIR и Microsoft представили сразу несколько исследований и инструментов на эту тему.

     03.04.2021       Выпуск 380 (29.03.2021 - 04.04.2021)       Статьи

Сделать робота на raspberry pi, обновленный pi-tank. Часть 2. Софт

Вторая часть полностью посвящена описанию программного обеспечения, используемого на роботе.

Так как разработанный робот (pi-tank) по большому счету рассчитан на начинающих роботостроителей, то все будет максимально упрощено, а в конце статьи будет приложен образ (image) для raspberry pi для самостоятельного дальнейшего изучения.

     03.04.2021       Выпуск 380 (29.03.2021 - 04.04.2021)       Статьи

Поиск изображений

Пытаясь реализовать обратный поиск изображений для своего сайта, я столкнулся с огромным миром поиска изображений. Ниже приведены краткие описания и варианты применения некоторых подходов обратного поиска/поиска похожих изображений.

     02.04.2021       Выпуск 380 (29.03.2021 - 04.04.2021)       Статьи

Осваиваем анализ лидарных данных и измеряем дорожные знаки

Сегодня мы хотели бы поделиться с вами нашим опытом анализа лидарных облаков. В заметке расскажем: 

  • какими инструментами и библиотеками можно пользоваться для анализа и обработки лидарных данных;

  • рассмотрим практический пример анализа лидарных облаков, полученных с лидарного комплекса, установленного на автомобиле;

  • попробуем применить стандартные библиотеки и техники для анализа и визуализации данных.

     02.04.2021       Выпуск 380 (29.03.2021 - 04.04.2021)       Статьи

10 мощных функций из стандартной библиотеки Python

Сегодня я пишу о доступных функциях в стандартной библиотеки и расскажу про их применение.

     02.04.2021       Выпуск 380 (29.03.2021 - 04.04.2021)       Статьи

Python & EEL. Делаем просто на Python’е и красиво на JS

В этой статья я хочу показать на небольшом примере, как же все таки создать простое и красивое десктопное приложение на HTML, CSS, JS и Python. В качестве библиотеки для связи всех компонентов будем использовать EEL.

     02.04.2021       Выпуск 380 (29.03.2021 - 04.04.2021)       Статьи

Аспекты учета и поиска геоинформационных объектов с задействованием MongoDB

Геоинформация - это любые сведения, отражающие расположение, форму и размеры объекта (далее - геообъект). Ее учет ведется в картографии, геологии, метеорологии, землеустройстве, экологии, муниципальном управлении, транспорте, экономике, обороне и многих других областях. Геоинформация является неотъемлемой частью так называемых Больших данных, что приводит к необходимости разработки средств ее анализа и визуализации.

     01.04.2021       Выпуск 380 (29.03.2021 - 04.04.2021)       Статьи

Аналитика возраста воздушного флота российских авиакомпаний

Сегодня вашему вниманию представлена исследование(аналитика) возраста воздушного флота российских авиакомпаний, представленных на российском рынке для осуществления коммерческих перевозок. Полный список можно посмотреть тут.

     01.04.2021       Выпуск 380 (29.03.2021 - 04.04.2021)       Статьи

Яндекс-капча vs tesseract

Речь пойдет об относительно новом творении в области капча-производства, новой яндекс-капче. Поищем слабые места, пролезем в эти слабые места и осмотримся там. Также подумаем на тему — помогает ли программа пакету распознавания текста на картинке — Tesseract — стать лучше.

     01.04.2021       Выпуск 380 (29.03.2021 - 04.04.2021)       Статьи

Перехват и анализ сетевого трафика с помощью библиотеки pcap

Сегодня многие крупные компании для увеличения производительности открывают доступ сотрудников с рабочих компьютеров в Интернет. Однако не все сотрудники используют его продуктивно и безопасно для рабочих сетей, по этой причине требуется контроль доступа.

     30.03.2021       Выпуск 380 (29.03.2021 - 04.04.2021)       Статьи

Telegram bot + ML: универсальный алгоритм совмещения

Пишу модели для кейсов на Kaggle, изучаю чужие и вдохновляюсь. Все статьи с описанием того, как внедрить их в веб-проект, для меня, школьника Junior Frontend'а, дают overhead сложной инфы, я же хочу просто "позаимствовать" любую крутую модель и быстро внедрить в свой сервис. Руки зачесались придумать универсальный алгоритм, так что решение было найдено быстро.

     30.03.2021       Выпуск 380 (29.03.2021 - 04.04.2021)       Статьи

DialoGPT на русском

В конце 2019 года вышла одна из работ по GPT-2. Инженеры из Microsoft обучили стандартную GPT-2 вести диалог. Тогда, прочитав их статью, я очень впечатлился и поставил себе цель обучить такую же модель, но уже на русском языке.

Время шло, и через год Сбер сделал очень хорошее дело, выложив в открытый доступ несколько небольших вариантов моделей GPT-3, обученных на русском языке.

     30.03.2021       Выпуск 380 (29.03.2021 - 04.04.2021)       Статьи

Process Mining как эволюция «научного управления» — и наша открытая библиотека для анализа

Process Mining – это мост между Data Mining и Process Management. Это подход к извлечению, анализу и оптимизации процессов на основе данных из журналов событий (event logs), доступных в информационных системах. Мы разработали и открыли библиотеку, позволяющую быстро и достаточно просто обрабатывать данные информационных систем производства, чтобы находить узкие места и точки неэффективности.

     29.03.2021       Выпуск 380 (29.03.2021 - 04.04.2021)       Статьи

Создание удобного и наглядного keymap/hotkey для PyCharm или любой другой программы

Об опыте создания и использования keymap-ов на 100+ комбинаций простыми словами.Современные программы имеют богатый функционал. Беда в том, что на хорошее овладение этим богатым функционалом уходят килограммы времени. Горячие клавиши могут здорово сократить эти самые затраты времени на изучение практически любой программы. Но как?

     29.03.2021       Выпуск 380 (29.03.2021 - 04.04.2021)       Статьи

Анимация волновой функции частицы Шрёдингера (ψ) с помощью Python (с полным кодом)

Двойственная природа материи — широко известное понятие среди физиков. Вещество на атомном уровне в некоторых случаях ведёт себя как частицы, а в некоторых — как волны. Чтобы объяснить это, мы вводим волновую функцию частицы ψ(x, t), которая описывает не фактическое положение частицы, а вероятность нахождения частицы в данной точке. Волновая функция ψ(x, t), или поле вероятностей, которое удовлетворяет, возможно, самому важному уравнению в частных производных, по крайней мере для физиков, является уравнением Шрёдингера.

     29.03.2021       Выпуск 380 (29.03.2021 - 04.04.2021)       Статьи

Что Microsoft известно о вас, и как эту информацию можно использовать для получения полезных знаний

Значительная часть моих ежедневных действий на компьютере и смартфоне выполняется с помощью приложений Microsoft. Отправить электронную почту, создать заметку в календаре, просмотреть файлы в облачном хранилище, обменяться сообщениям в рабочих группах — все эти операции так или иначе выполняются приложениями Microsoft. Нравится мне это или нет, все мои данные хранятся в Microsoft Cloud. У Microsoft имеется полезный инструмент — API-интерфейс, предоставляющий доступ к большей части таких данных и позволяющий управлять ими, так почему бы им не воспользоваться для получения полезной информации?

В этой статье представлено полное руководство по созданию собственного приложения Dashboard с использованием API Microsoft Graph и Django для анализа данных платформ OneDrive, Outlook и др.

     29.03.2021       Выпуск 380 (29.03.2021 - 04.04.2021)       Статьи

Telegram-бот на Python для создания задач в MS Outlook и заметок в Evernote

В MS Outlook есть прекрасный раздел задач. Это удобно и быстро. Можно с утра (или с вечера) накидать себе задачек на день и постепенно расщёлкивать их. Вторым уровнем группируем задачи по матрице Эйзенхауера или используем любой другой удобный вам инструмент тайм-менеджмента. Одна проблема с этими задачами: для их создания надо заходить в Outlook, щёлкать, писать, нажимать Enter, двигать в нужную группу. Это всё долго и не всегда удобно. Но есть в Outlook также правила, позволяющие письма содержащие определённые слова в теме автоматически делать задачами. Ещё быстрее и проще получится, если такие письма отправляются прямо из Telegram. О простейших ботах помогающих создавать задачи в MS Outlook и заметки в Evernote без необходимости сложных интеграций.

     28.03.2021       Выпуск 379 (22.03.2021 - 28.03.2021)       Статьи

Анализ и построение ROC-кривых: связь с РЛС

Многие слышали о ROC-кривой, которая часто используется в ML. Расшифровывая данную аббревиатуру мы получаем, что ROC (англ. receiver operating characteristic). При переводе с английского это означает РХП (рабочая характеристика приемника). Данное понятие позаимствовано из теории обнаружения сигналов. ROC-кривую можно связать с радиолокационной станцией (РЛС), рассматривая ее с точки зрения обнаружения объекта. Опишем это более формально.

     28.03.2021       Выпуск 379 (22.03.2021 - 28.03.2021)       Статьи

TaskFlow API в Apache Airflow 2.0

Декабрьский релиз Apache Airflow 2.0 принёс много нововведений в инструмент. А самое, пожалуй, заметное из них это TaskFlow API. В этой заметке я подробно разберу что это такое и как стало красиво и удобно описывать Python операторы, используя обычные функции и декоратор @task.