IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
консультируем про IT, Python

     03.06.2023       Выпуск 493 (29.05.2023 - 04.06.2023)       Статьи

Автоматический майнинг изображений

В предыдущих статьях мы рассказали, как создать фотогалерею с собственной поисковой системой [1,2]1. Но где нам найти изображения для нашей галереи? Нам придется вручную искать источники «хороших» изображений, а затем вручную проверять, является ли каждое изображение «хорошим». Можно ли автоматизировать обе эти задачи? Ответ — да.

     02.06.2023       Выпуск 493 (29.05.2023 - 04.06.2023)       Статьи

Решаем задачу сетевого планирования с помощью Python

Недавно на математический основах информатики в университете мы проходили задачу сетевого планирования, с помощью которой можно смоделировать процесс производства изделий. Мне была интересна данная тема и я решила поделиться с вами, как решить задачу сетевого планирования с использованием языка Python.

     02.06.2023       Выпуск 493 (29.05.2023 - 04.06.2023)       Статьи
     02.06.2023       Выпуск 493 (29.05.2023 - 04.06.2023)       Статьи

Повторяй за мной или двигаем виртуальной камерой like a pro

DVD – как много в этой аббревиатуре! Уверен, что вы наверняка помните такое явление, как ларьки и палатки с дисками, исчезнувшие только к началу 2010-х годов (по крайней мере так было в столице). В один из таких ларьков в конце 2009-го заглянул десятилетний я, внимание которого тут же привлекла коробка с надписью «3D Studio Max 2010»... Аниматором я, увы, так и не стал, однако интерес к области визуальных эффектов сохранился надолго.

     02.06.2023       Выпуск 493 (29.05.2023 - 04.06.2023)       Статьи

Менеджер контекста это просто

В статье рассматриваются возможности контекстного менеджера языка Python, его роль в управлении ресурсами и обеспечении безопасного выполнения кода. Приводятся примеры использования контекстных менеджеров для работы с файлами, базами данных, потоками и сетевыми соединениями. Также обсуждается возможность создания собственных контекстных менеджеров и приводятся примеры простого и асинхронного контекстных менеджеров.

     01.06.2023       Выпуск 493 (29.05.2023 - 04.06.2023)       Статьи

Создаем блог на Django с опросами и тестами. Краткая инструкция. Часть 2

В предыдущей части мы частично разобрали шаблон для нашего блога, выбрали виртуальную машину и запустили на ней нативный веб-сервер Django. Однако он предназначен только для тестирования и запуска приложений во время разработки. Для обработки запросов в продакшене нужно настроить Nginx и WSGI Gunicorn. В этой статье показываем, как это сделать.

     31.05.2023       Выпуск 493 (29.05.2023 - 04.06.2023)       Статьи

Телеграм бот для CustDev'а на Aiogram

Перед тем как выпускать минимальный продукт, нужно проверить его востребованность на рынке. Как правило, наши представления о рынке не соответствуют реальности, отчего очень легко попасть в ситуацию, когда бюджет реализован, какой-то минимальный продукт готов, а трафик отсутствует. Для таких случаев и существует CustDev.

 

     31.05.2023       Выпуск 493 (29.05.2023 - 04.06.2023)       Статьи

Битва медведей: Pandas против Polars

Возможно, вы прочитали название статьи и подумали, что попали на программу «В мире животных». Но нет, речь пойдет о сравнении двух гигантов аналитики данных в Python: Pandas и Polars. В этой статье мы подробно рассмотрим вопрос быстродействия этих двух решений в части работы с файлами больших объемов.

     31.05.2023       Выпуск 493 (29.05.2023 - 04.06.2023)       Статьи

Уроки компьютерного зрения на Python + OpenCV с самых азов. Часть 10. Мой пэт-проект

На предыдущем уроке я рассказал о своем пэт-проекте, связанном с компьютерным зрением. В этом уроке вы познакомились идей и наброском архитектуры этого пэт-проекта. Сегодня продолжу описывать, как я добавлял в проект новые классы и что из этого вышло.  Напомню, что идея состояла в том, чтобы написать полноценный конвейер обработки изображений, начав с простой задачи, например, распознавание номеров. В результате эксперимента выяснилось, что известная библиотека для распознавания символов tesseract плохо распознает цифры. Было принято решение написать какую-то свою распознавалку для цифр. Но сначала надо как-то найти, где эти цифры расположены на изображении.

     31.05.2023       Выпуск 493 (29.05.2023 - 04.06.2023)       Статьи

Определение свободного парковочного места с помощью Computer Vision

Дело было так: смотрел я как-то в окно и увидел, как человек сидит в машине на парковке и ждет, когда освободится парковочное место. Бывает, что и я сижу в машине и жду, когда же можно будет припарковать своего верного коня. И тут я подумал, а почему бы не подключить Компьютерное Зрение для этого? Зачем я учился разработке нейросетей, если не могу заставить компьютер работать вместо меня?

     30.05.2023       Выпуск 493 (29.05.2023 - 04.06.2023)       Статьи

Быстро, точно, градиентно: как наш подход к градиентному бустингу повышает эффективность моделей

Недавно мы поделились с вами нашим пайплайном разработки линейных моделей для решения задач бинарной классификации. Теперь же мы решили поведать о нашем опыте построения моделей градиентного бустинга. За последнее время команда проделала колоссальную работу: мы протестировали различные методы отбора факторов, нашли новые инсайты в данных, провели интересную (а, главное, полезную!) аналитическую работу и решили несколько Ad-hoc задач.

     29.05.2023       Выпуск 493 (29.05.2023 - 04.06.2023)       Статьи

Сумки в надежных руках благодаря YOLO: проверяем охранников

Безопасность является важной темой в нашей современной жизни, особенно в общественных местах, таких как аэропорты, вокзалы и торговые центры. Одним из распространенных методов обеспечения безопасности является проверка сумок на проходной. Но, как говорится, кто устережёт самих сторожей? Могут ли современные технологии компьютерного зрения наблюдать за охранниками как они за нами?

     29.05.2023       Выпуск 493 (29.05.2023 - 04.06.2023)       Статьи

Что нам стоит диаграмму в Python построить: 5 вариантов привлекающей внимание визуализации данных и кое-что ещё

Диаграммы помогают визуализировать как простые, так и самые сложные наборы данных. При этом диаграмм — множество видов, у каждого есть свои достоинства и недостатки. О наиболее эффектных и эффективных, реализуемых с Python, мы решили рассказать в сегодняшней подборке. Если вам интересна эта тема – просим под кат. А если у вас есть собственные предпочтения среди графиков (или вы используете что-то ещё), то пишите в комментариях, обсудим. Что же – поехали!

     29.05.2023       Выпуск 493 (29.05.2023 - 04.06.2023)       Статьи

Werkzeuger: раскручиваем arbitrary file read до RCE в веб-приложении на flask

В данной статье мы: 1) Создадим свое первое веб-приложение на Flask 2) Изучим, зачем нужен режим отладки? 3) Рассмотрим, как генерируется PIN для входа в интерактивной консоль Python. 4) Разберем, как можно с помощью уязвимости чтения файлов получить доступ к интерактивной консоли Python. БОНУС) Узнаем, что же делать, если консоль была заблокирована из-за слишком большого количества попыток входа

     29.05.2023       Выпуск 493 (29.05.2023 - 04.06.2023)       Статьи

Как я использовал Pytest для написания QA-тестов, гарантированно обходящих 2FA

Тестирование страниц входа и согласия может быть довольно сложным: та же самая двухфакторная аутентификация (2FA), которая обеспечивает безопасность ваших клиентов, также затрудняет написание автоматизированных тестов. В этой статье я расскажу, как написал Python-тесты, которые обходят 2FA и при этом не покушаются на  безопасность клиентов. Для этого я использовал Selenium и разработал Slackbot.

     28.05.2023       Выпуск 492 (22.05.2023 - 28.05.2023)       Статьи

Сравнение нейросетей для перевода

С помощью GPT-4 можно решать самые разнообразные задачи по преобразованию текста, включая перевод на разные языки.Мне стало интересно, кто переводит лучше: GPT-4 или специализированные нейронки для перевода, такие как Google Translate и DeepL?Сегодня мы сравним качество перевода от различных нейросетей на 24 языковых парах.

     27.05.2023       Выпуск 492 (22.05.2023 - 28.05.2023)       Статьи
     27.05.2023       Выпуск 492 (22.05.2023 - 28.05.2023)       Статьи

Я написал одну из самых быстрых библиотек датафреймов

У меня в портфолио есть несколько готовых пет-проектов на Rust, и я заметил, что позиция «а у нас уже получилась DataFrame?» нисколько меня не устраивает. Поэтому я подумал, не сделать ли мне элементарный контейнер, который решал бы мою конкретную задачу. Но этот проект вышел из-под контроля.

     26.05.2023       Выпуск 492 (22.05.2023 - 28.05.2023)       Статьи

Пишем первый ML-пайплайн на Airflow: подробный туториал

В этом туториале мы пошагово разберем, как создать с нуля и запустить локально свой первый пайплайн на Airflow. Данный пайплайн специально адаптирован под задачи машинного обучения. В этом примере мы будем загружать новости из открытого источника и использовать NLP-модель для их классификации (zero-shot classification).