IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
консультируем про IT, Python

     21.03.2022       Выпуск 431 (21.03.2022 - 27.03.2022)       Статьи

Профилирование Python-программ и анализ их производительности

Профилирование — это неотъемлемая часть любых работ по оптимизации кода или производительности программ. Любой опыт, любые знания в сфере оптимизации производительности, которые уже у вас есть, не принесут особой пользы в том случае, если вы не знаете о том, где их применить. В результате оказывается, что поиск узких мест приложений может помочь в деле решения проблем производительности, поможет сделать это быстро и приложив не слишком много усилий.

     21.03.2022       Выпуск 431 (21.03.2022 - 27.03.2022)       Статьи

Платим пользователям, не платим за рекламу, или подключение системы вознаграждений на сайт в 3 простых шага

Для того чтобы получить полезный трафик не обязательно платить за размещение рекламных постов и баннеров на сторонних площадках и тратить на это значительную часть своего рекламного бюджета. Уже давно вошли в моду системы лояльности, которые позволяют финансово вознаграждать своих пользователей за активность в приложении. Это своего рода внутренний арбитраж трафика: мы закупаем активность своих же пользователей в обход посредников. Чтобы это реализовать потребуется несколько часов свободного времени и капелька желания.

     21.03.2022       Выпуск 431 (21.03.2022 - 27.03.2022)       Статьи

Парсинг сайта с помощью PYTHON + SELENIUM

В этой статье, на примере моей задачи, рассмотрим, как можно извлечь большой объем данных с сайта ГИББД и с помощью какого инструмента. Это может быть полезно для финансовых компаний, которые принимают автомобили в качестве залога. Итак, мне необходимо было получить информацию о владельцах и периодах владения автомобилями, чтобы определить были ли изменения в конкретном периоде. Данная информация есть на официальном сайте ГИБДД.рф. На входе было дано 70 тысяч VIN номеров автомобилей, по которым и возможно было сделать эту выгрузку.

     20.03.2022       Выпуск 430 (14.03.2022 - 20.03.2022)       Статьи

Разбираем алгоритмы компьютерной графики. Часть 3 – анимация «Пламя»

Рассмотрим алгоритм рисования простейшего пламени. Придуман он довольно давно и использовался в огромном количестве демо и игр.

     20.03.2022       Выпуск 430 (14.03.2022 - 20.03.2022)       Статьи

«Живые» кликабельные обои на Python'е?

Для начала хотелось просто сделать вывод дня недели и времени на центр экрана. Так я и поступил, но этого стало мало и я решил выводить нагрузку на ЦП и ОЗУ. Но приходилось часто обновлять рабочий стол (каждую секунду), а это оказалось не лучшая идея из-за нагрузки на ЦП, да и с моим то i3.

     20.03.2022       Выпуск 430 (14.03.2022 - 20.03.2022)       Статьи

Оптическое распознавание символов с помощью Rust и WebAssembly

После переписывания Cyberscore я захотел отправить на сайт какие-нибудь результаты. Последнее, во что я играл, это Pokémon Legends: Arceus, по которой на Cyberscore есть около 3000 таблиц результатов. Я не собирался отправлять столько рекордов вручную, поэтому начал придумывать инструмент для автоматизации этого процесса.

     20.03.2022       Выпуск 430 (14.03.2022 - 20.03.2022)       Статьи

Создание APP для самотестирования (Python)

Недавно от знакомых прилетела задачка написать программу для самотестирования. Порылся в инете, думал в лёгкую найду наработки, но ничего кроме платных и бесплатных конструкторов тестов не нашёл (может плохо искал, кто знает…). Мне показалось, что устанавливать какие-то инородные проги, а потом ещё туда все вопросы ручками забивать - совсем некрасиво. Так родилось приложение для самотестирования, написанное на Python с помощью GUI библиотеки Tkinter.

     19.03.2022       Выпуск 430 (14.03.2022 - 20.03.2022)       Статьи

Уроки компьютерного зрения на Python + OpenCV с самых азов. Часть 4

На прошлом уроке мы познакомились с медианной фильтрацией, кастомными фильтрами и выделением контуров. Напомню, что выделенный контур можно использовать для поиска области интересов на изображении и для нахождения различных фич. В частности, вот что можно далее сделать с контуром

     18.03.2022       Выпуск 430 (14.03.2022 - 20.03.2022)       Статьи

Разбираем алгоритмы компьютерной графики. Часть 2 — «Туннель из демо «Second Reality»»

В 1993 году на демопати Assembly, которая проходит в Финляндии, команда Future Crew презентовала свою новую работу «Second Reality».

(хороший разбор исходников этой демо можно найти здесь же на Хабре, по этой ссылке«Анализ кода демо Second Reality»)

     17.03.2022       Выпуск 430 (14.03.2022 - 20.03.2022)       Статьи

Телеграм как инструмент для оценки стоимости предметов

Телеграм снова стал очень популярен. Наше дело маленькое - получить от этого мессенджера максимум личной выгоды с учетом фактора времени. Я не буду уделять большого внимания библиотекам или деталям реализации, а предложу только общую концепцию довольно комплексной системы, которая кому-то может оказаться полезной.

Раньше я уже писал про использование телеграм бота для мониторинга состояния своих ресурсов, сейчас я бы хотел уделить особое внимание механике внедрения UI телеграм бота в процессе оценки предметов. Так как проект ориентирован на предметы старины, которые несут историческую информационную нагрузку, оценивать мы будем именно их.

     16.03.2022       Выпуск 430 (14.03.2022 - 20.03.2022)       Статьи

Разбор задачи Титаник на Kaggle (Baseline)

Задача Титаника одна из самых известных платформы Kaggle. Рано или поздно, любой начинающий специалист по данным возьмется за ее решение. Здесь я покажу на пальцах: как проверить гипотезы, найти зависимости и реализовать предсказание только на основе аналитики.

     15.03.2022       Выпуск 430 (14.03.2022 - 20.03.2022)       Статьи

Разбираем алгоритмы компьютерной графики. Часть 1 — «Starfield Simulation»

Этой небольшой заметкой я хочу начать цикл статей посвященных алгоритмам компьютерной графики. Причем, не аппаратным тонкостям реализации этой самой графики, а именно алгоритмической составляющей.

     14.03.2022       Выпуск 430 (14.03.2022 - 20.03.2022)       Статьи

Рисуем красивые трейсбеки, перехватывая исключения в Python

Все мы тратим немало времени на отладку, копаясь в логах или читая трейсбеки (traceback, отчёты о трассировке стека). Любое из этих дел может оказаться сложным и длительным. Этот материал посвящён тому, как сделать трассировку стека и работу с исключениями как можно более простыми и эффективными.

     14.03.2022       Выпуск 430 (14.03.2022 - 20.03.2022)       Статьи

Классификация текста с использованием моделей трансформеров

Модели трансформеров на данный момент являются state-of-the-art решениями в мире обработки естественного языка. Новые, более крупные и качественные модели появляются почти каждый месяц, устанавливая новые критерии производительности по широкому кругу задач. В данной статье мы будем использовать модель трансформера для бинарной классификации текста.

     13.03.2022       Выпуск 429 (07.03.2022 - 13.03.2022)       Статьи

Безопасность веб-приложений

Вася, неплохой веб-разработчик, решил создать свой прекрасный интернет-магазин, который приносил бы ему пассивный доход. Вася набил руку за несколько лет работы веб-разработчиком и считает, что сделать это будет раз плюнуть. Раскруткой и рекламой будет заниматься его друг, поэтому они не будут разобраны в статье этими аспектами Василий не интересуется.

     13.03.2022       Выпуск 429 (07.03.2022 - 13.03.2022)       Статьи

Geo data in Python

Понадобилось мне недавно нарисовать в Python данные на карте, благо в данных есть координаты. Казалось бы, что может быть сложного... Но обо всем по порядку.

 

     10.03.2022       Выпуск 429 (07.03.2022 - 13.03.2022)       Статьи

Доверять Джини или нет: вот в чем вопрос

Коэффициент Джини (или индекс Джини), кривая Лоренца, TPR (true positive rate) и FPR (false positive rate) – одни из самых популярных атрибутов экономических задач, решаемых с помощью машинного обучения. Все они используются для оценки качества модели и, так или иначе, связаны друг с другом. Предлагаю вспомнить, как они рассчитываются.

     08.03.2022       Выпуск 429 (07.03.2022 - 13.03.2022)       Статьи

Анонимизация базы данных или как быть уверенным, что ты не нарушаешь закон “О персональных данных”

В настоящее время практически все ИТ-продукты работают с персональной информацией пользователя: ФИО, телефон, e-mail, паспортные и другие идентифицирующие данные. Для  обеспечения защиты прав и свобод, человека и гражданина при обработке его персональных данных в Российской Федерации существует Федеральный закон от 27.07.2006 N 152-ФЗ “О персональных данных”.

     07.03.2022       Выпуск 429 (07.03.2022 - 13.03.2022)       Статьи

Уроки компьютерного зрения на Python + OpenCV с самых азов. Часть 3

Продолжим изучение компьютерного зрения. Начало здесь. Напомню краткое содержание предыдущих уроков. Мы изучили этапы анализ и обработки изображений, установку OpenCV, простейшие действия над изображением, такие как преобразование в черно-белый формат, изменение размеров, накладывание фильтра размытия.

     07.03.2022       Выпуск 429 (07.03.2022 - 13.03.2022)       Статьи

Оптимизация использования памяти в Python-приложениях

Когда заходит разговор об оптимизации производительности приложений, обычно основное внимание уделяют лишь скорости процессора и уровню его использования. Редко кого заботят соображения, касающиеся потребления памяти. Ну — до тех пор, пока программа не исчерпает доступную ей RAM. Обычно, оптимизируя работу с памятью, программы защищают от сбоев, вызываемых ошибками, связанными с нехваткой памяти. Но существует и множество других причин для того, чтобы попытаться ограничить потребление памяти приложением.