IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
и сделали Тренажер IT-инцидентов для DevOps/SRE

     18.03.2022       Выпуск 430 (14.03.2022 - 20.03.2022)       Статьи

Разбираем алгоритмы компьютерной графики. Часть 2 — «Туннель из демо «Second Reality»»

В 1993 году на демопати Assembly, которая проходит в Финляндии, команда Future Crew презентовала свою новую работу «Second Reality».

(хороший разбор исходников этой демо можно найти здесь же на Хабре, по этой ссылке«Анализ кода демо Second Reality»)

     17.03.2022       Выпуск 430 (14.03.2022 - 20.03.2022)       Статьи

Телеграм как инструмент для оценки стоимости предметов

Телеграм снова стал очень популярен. Наше дело маленькое - получить от этого мессенджера максимум личной выгоды с учетом фактора времени. Я не буду уделять большого внимания библиотекам или деталям реализации, а предложу только общую концепцию довольно комплексной системы, которая кому-то может оказаться полезной.

Раньше я уже писал про использование телеграм бота для мониторинга состояния своих ресурсов, сейчас я бы хотел уделить особое внимание механике внедрения UI телеграм бота в процессе оценки предметов. Так как проект ориентирован на предметы старины, которые несут историческую информационную нагрузку, оценивать мы будем именно их.

     16.03.2022       Выпуск 430 (14.03.2022 - 20.03.2022)       Статьи

Разбор задачи Титаник на Kaggle (Baseline)

Задача Титаника одна из самых известных платформы Kaggle. Рано или поздно, любой начинающий специалист по данным возьмется за ее решение. Здесь я покажу на пальцах: как проверить гипотезы, найти зависимости и реализовать предсказание только на основе аналитики.

     15.03.2022       Выпуск 430 (14.03.2022 - 20.03.2022)       Статьи

Разбираем алгоритмы компьютерной графики. Часть 1 — «Starfield Simulation»

Этой небольшой заметкой я хочу начать цикл статей посвященных алгоритмам компьютерной графики. Причем, не аппаратным тонкостям реализации этой самой графики, а именно алгоритмической составляющей.

     14.03.2022       Выпуск 430 (14.03.2022 - 20.03.2022)       Статьи

Рисуем красивые трейсбеки, перехватывая исключения в Python

Все мы тратим немало времени на отладку, копаясь в логах или читая трейсбеки (traceback, отчёты о трассировке стека). Любое из этих дел может оказаться сложным и длительным. Этот материал посвящён тому, как сделать трассировку стека и работу с исключениями как можно более простыми и эффективными.

     14.03.2022       Выпуск 430 (14.03.2022 - 20.03.2022)       Статьи

Классификация текста с использованием моделей трансформеров

Модели трансформеров на данный момент являются state-of-the-art решениями в мире обработки естественного языка. Новые, более крупные и качественные модели появляются почти каждый месяц, устанавливая новые критерии производительности по широкому кругу задач. В данной статье мы будем использовать модель трансформера для бинарной классификации текста.

     13.03.2022       Выпуск 429 (07.03.2022 - 13.03.2022)       Статьи

Безопасность веб-приложений

Вася, неплохой веб-разработчик, решил создать свой прекрасный интернет-магазин, который приносил бы ему пассивный доход. Вася набил руку за несколько лет работы веб-разработчиком и считает, что сделать это будет раз плюнуть. Раскруткой и рекламой будет заниматься его друг, поэтому они не будут разобраны в статье этими аспектами Василий не интересуется.

     13.03.2022       Выпуск 429 (07.03.2022 - 13.03.2022)       Статьи

Geo data in Python

Понадобилось мне недавно нарисовать в Python данные на карте, благо в данных есть координаты. Казалось бы, что может быть сложного... Но обо всем по порядку.

 

     10.03.2022       Выпуск 429 (07.03.2022 - 13.03.2022)       Статьи

Доверять Джини или нет: вот в чем вопрос

Коэффициент Джини (или индекс Джини), кривая Лоренца, TPR (true positive rate) и FPR (false positive rate) – одни из самых популярных атрибутов экономических задач, решаемых с помощью машинного обучения. Все они используются для оценки качества модели и, так или иначе, связаны друг с другом. Предлагаю вспомнить, как они рассчитываются.

     08.03.2022       Выпуск 429 (07.03.2022 - 13.03.2022)       Статьи

Анонимизация базы данных или как быть уверенным, что ты не нарушаешь закон “О персональных данных”

В настоящее время практически все ИТ-продукты работают с персональной информацией пользователя: ФИО, телефон, e-mail, паспортные и другие идентифицирующие данные. Для  обеспечения защиты прав и свобод, человека и гражданина при обработке его персональных данных в Российской Федерации существует Федеральный закон от 27.07.2006 N 152-ФЗ “О персональных данных”.

     07.03.2022       Выпуск 429 (07.03.2022 - 13.03.2022)       Статьи

Уроки компьютерного зрения на Python + OpenCV с самых азов. Часть 3

Продолжим изучение компьютерного зрения. Начало здесь. Напомню краткое содержание предыдущих уроков. Мы изучили этапы анализ и обработки изображений, установку OpenCV, простейшие действия над изображением, такие как преобразование в черно-белый формат, изменение размеров, накладывание фильтра размытия.

     07.03.2022       Выпуск 429 (07.03.2022 - 13.03.2022)       Статьи

Оптимизация использования памяти в Python-приложениях

Когда заходит разговор об оптимизации производительности приложений, обычно основное внимание уделяют лишь скорости процессора и уровню его использования. Редко кого заботят соображения, касающиеся потребления памяти. Ну — до тех пор, пока программа не исчерпает доступную ей RAM. Обычно, оптимизируя работу с памятью, программы защищают от сбоев, вызываемых ошибками, связанными с нехваткой памяти. Но существует и множество других причин для того, чтобы попытаться ограничить потребление памяти приложением.

     06.03.2022       Выпуск 428 (28.02.2022 - 06.03.2022)       Статьи

Скриптинг без скриптинга

Уже давно считается, что многие (если не все) игры или приложения можно улучшить, добавив в них поддержку скриптов.

     04.03.2022       Выпуск 428 (28.02.2022 - 06.03.2022)       Статьи

Основы теории вероятности с помощью Python

Тематика сегодняшнего сообщения – это разбор базовых понятий в теории вероятностей с помощью языка программирования Python.

     04.03.2022       Выпуск 428 (28.02.2022 - 06.03.2022)       Статьи

Databaser. Возвращение легкости стартапа

Первая проблема, с который мы столкнулись – развороты больших баз данных (БД) у разработчиков на локальных машинах. Сегодня мы расскажем об инструменте «Databaser», который на 100% позволяет ее решить.

     03.03.2022       Выпуск 428 (28.02.2022 - 06.03.2022)       Статьи

Tile server на коленке: навигация по старинным картам

Я являюсь full stack разработчиком на культурно-историческом IT портале Königsland, который успешно начал свою работу примерно месяц назад. Этот ресурс посвящается культуре и истории Восточной Пруссии и является своеобразной летописью времен, которая больше всего напоминает вирутальный музей, где можно получить довольно полную информацию об истории этого великого края, а эта информация пополняется по мере возникновения у меня свободного времени.Страницы этой летописи приоткрывают завесу тайны и позволяют получить пользу от современных технологий тем, кто увлекается стариной.

     03.03.2022       Выпуск 428 (28.02.2022 - 06.03.2022)       Статьи

Не изобретая велосипед. Кэширование: рассказываем главные секреты оптимизации доступа к данным

Точно скажу, что костыли и велосипеды не лучшее решение, особенно если мы говорим о кэшировании, а конкретнее, если нам надо оптимизировать метод доступа к данным, чтобы он имел производительность выше, чем на источнике. Я докажу это на нескольких примерах, приведённых в статье, всего за 5 минут.

     02.03.2022       Выпуск 428 (28.02.2022 - 06.03.2022)       Статьи

Откровения про отсутствующий Nested Inline от разработчика с очень маленьким Django

— Стыдно признаться, но в нашей компании мы до сих пор используем Django… Так начинали со мной разговор представители навороченных стендов российских конференций Pycon Russia 2021 и Moscow Python Conf++ 2021, где я выступал с докладами про Django. Эдакий "coming out" без объяснений, почему это стыдно, и зачем в этом надо признаваться. Если уж «Все леди делают это» так давайте говорить об этом, как о чем-то нормальном! Я, например, рассказываю, как делать это в удовольствие и с естественными извращениями. Я про работу с Django, конечно, а вы, о чем подумали? Дальше речь пойдет как раз про извращения. Шок контент и ненормативная лексика.

     01.03.2022       Выпуск 428 (28.02.2022 - 06.03.2022)       Статьи

Сбор данных с обходом капчи посредством PYAUTOGUI, KERAS и TENSORFLOW

Существует большое количество методов для автоматического сбора и обработки больших объемов данных из веб-ресурсов. Однако иногда недоступно извлечение данных с помощью автоматизированного кода, выполняющего GET-запросы с последующим парсингом HTML-кода, и его преобразованием в необходимый формат, также, как и все смежные методы. В таких случаях на помощь может прийти эмулятор действия пользователя («кликер», «бот», «робот»).