IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
консультируем про IT, Python

     10.05.2023       Выпуск 490 (08.05.2023 - 14.05.2023)       Статьи
     09.05.2023       Выпуск 490 (08.05.2023 - 14.05.2023)       Статьи

Делаем анализатор ников на новой FRED-T5. Тотальный разнос

Мы так давно ждали, и, наконец, свершилось! В русском языке появилась новая, по-настоящему "понимающая" модель. По результатам тестов Russian SuperGLUE модель признана лучшей в русском сегменте по пониманию языка, и, поэтому, кто-то должен провести свежий, так сказать, народный тест модели, показать, на что она способна в руках тунеядца вроде меня! Запасайтесь квасом и попкорном, дальше будет жарко, как никак, скоро лето (по крайней мере на момент выпуска поста).

     09.05.2023       Выпуск 490 (08.05.2023 - 14.05.2023)       Статьи

Автоматическая документация API Django Rest Framework с помощью DRF Spectacular

Целью этой статьи является демонстрация возможностей drf-spectacular для документирования API и основного набора техник, которые покроют большую часть сценариев использования. Мы настроим генерацию документации и рассмотрим все основные способы гибкой настройки отображения.

     08.05.2023       Выпуск 490 (08.05.2023 - 14.05.2023)       Статьи

Mojo может стать крупнейшим достижением в области разработки языков программирования за последние десятилетия

Mojo — это новый язык программирования, основанный на Python, который устраняет имеющиеся у него проблемы производительности и развёртывания.

     08.05.2023       Выпуск 490 (08.05.2023 - 14.05.2023)       Статьи

Почему мне противно от хакатонов, но все равно в них участвую

Эта статья будет о нашем “экспертном” взгляде на хакатоны, где мы вкинем пару холиварных тейков и, кстати, расскажем о нашем решении для True Tech Hack. В Иннополисе невероятно скучно жить. Настолько, что в нашей айти-деревне за три года построился только еще один, никому не нужный в постковидный период удаленки, технопарк. Поэтому мы решили поехать развеяться. А выбор пал на хакатон True Tech Hack — приуроченный к недавнему ребрендингу MTC. Само собой, чтобы посетить заключительный этап хакатона (еще и совпавший по датам с одноименной конференцией, что определенно вкусно) нужно пройти в десятку финалистов, но об этом позже.

     07.05.2023       Выпуск 489 (01.05.2023 - 07.05.2023)       Статьи

Электричество без регистрации и sms: быстрое введение в pandapower

Даже если вы раньше ни разу не имели дела с расчетом электрических сетей, с этой библиотекой вы можете быстро войти-в-айти-начала-прошлого-века... (спойлер: в электричество).Итак, продолжаем цикл изучения электрических python-библиотек с разбора pandapower - открытой библиотеки для расчета электрических сетей. Подробные комментарии прилагаются (необходимы лишь минимальные знания физики электричества).

     06.05.2023       Выпуск 489 (01.05.2023 - 07.05.2023)       Статьи

За границей Hello World: полный гайд по разработке Telegram ботов на Python + Aiogram 3. Часть 2: Меню и OpenAI API

Продолжаю серию статей про разработку telegram-ботов на библиотеке aiogram и языке программирования Python. Хочется отметить, что статья не является документацией или учебником. Я просто рассказываю пошагово как разработать полнофункционального бота, стараясь затронуть как можно больше тем. Если вы не увидели в статье чего-то очень важного по вашему мнению — предложите рассмотреть тему в следующей статье в комментариях.

     06.05.2023       Выпуск 489 (01.05.2023 - 07.05.2023)       Статьи

Решаем криптарифмы с помощью алгебры и python

Если вы увлекались математикой в возрасте до 12 лет, то, наверное, встречались с криптарифмами - арифметическими ребусами. Арифметические ребусы хороши для тренировки у младшеклассников навыков логического мышления и счета в столбик. Однако и нам с вами может быть интересно поискать ответ на общий вопрос - а как, всё таки, алгоритмизировать процесс решения ребуса?

     06.05.2023       Выпуск 489 (01.05.2023 - 07.05.2023)       Статьи

Макет автоматизированного создания пользователей (ботов) в социальных сетях и имитации их активности

В статье описаны методики автоматизированного создания пользователей-ботов в социальной сети ВКонтакте, имитации их активности и опубликования информации в группах, основываясь на предложенном контексте. Разработанный алгоритм создания пользователей, используемый в методике, позволяет избежать блокировки автоматически созданных пользователей. Методики имитации активности и опубликования информации основаны на статистических сведениях об активности пользователей социальной сети и методах API ВКонтакте.

     05.05.2023       Выпуск 489 (01.05.2023 - 07.05.2023)       Статьи

Нечеткое сравнение строк с помощью rapidfuzz

В публикации расскажу, как при решении задачи нечеткого сравнения строк, среди разных инструментов сравнения (по косинусному сходству, по сходству Левенштейна, по сходству Джаро‑Винклера) был выбран лучший вариант нечеткого сопоставления. Сравнение инструментов производилось исходя из скорости выполнения, правильности сравнения и простоты реализации, с помощью библиотек rapidfuzz и sklearn.

     05.05.2023       Выпуск 489 (01.05.2023 - 07.05.2023)       Статьи

Безопасная разработка в Python. 2 часть

В первой части статьи мы начали разбирать тему безопасной разработки на языке Python, поговорили о том, что нельзя допускать бесконтрольное выполнение команд, вводимых пользователем, также нельзя позволять вводить ключи к некоторым командам. Также, вспомнили про SQL инъекции и рассмотрели общие рекомендации по защите. Однако, в той или иной степени все приведенные в первой статье уязвимости свойственны и другим языкам программирования. В этой статье мы рассмотрим более свойственные именно для языка Python уязвимости. И начнем мы с такой интересной темы как десериализация.

     05.05.2023       Выпуск 489 (01.05.2023 - 07.05.2023)       Статьи

Как я написал удобную оболочку над электронным дневником

Статья о том, как я в 15 лет облегчил работу с электронным дневником, представленным Кировской области в 2022 году.Что получилось сделать и как это было реализовано.

     05.05.2023       Выпуск 489 (01.05.2023 - 07.05.2023)       Статьи

Книга «Python для хакеров. Нетривиальные задачи и проекты»

«Python для хакеров. Нетривиальные проекты и задачи» делает упор на реальные проекты, так что от экспериментирования с синтаксисом вы сразу перейдете к написанию полноценных программ. Развивая свои навыки разработки на Python, вы будете проводить научные опыты, изучать статистику и решать задачи, которые не давали покоя гениям на протяжении многих лет, и даже займетесь обнаружением далеких экзопланет.

     05.05.2023       Выпуск 489 (01.05.2023 - 07.05.2023)       Статьи

Асинхронные задачи с FastAPI и Celery

Если в приложении есть длительные процессы, то вместо того, чтобы блокировать основной поток, вы должны обрабатывать их в фоновом режиме.Чтобы достичь этого, мы расскажем вам о процессе настройки Celery и Redis для обработки длительно выполняющихся процессов в приложении FastAPI. Мы также будем использовать Docker и Docker Compose, чтобы связать все воедино. Наконец, мы рассмотрим, как протестировать задачи Celery с помощью модульных (unit) и интеграционных тестов.

     04.05.2023       Выпуск 489 (01.05.2023 - 07.05.2023)       Статьи

Как человек посередине помогает крутить прокси для парсинга

Каждый, кто занимался сбором данных во «внешнем мире» знает, что этот мир жесток. И парсер сторонних сайтов всегда может наткнуться на какие-то блокировки, задержки и множество других проблем, которые либо замедляют работу, либо вообще делают парсинг невозможным. Лимиты по IP и капча — нам не друзья. Поэтому было решено сделать инструмент, позволяющий с ними бороться.

     04.05.2023       Выпуск 489 (01.05.2023 - 07.05.2023)       Статьи

PySpark для аналитика. Как правильно просить ресурсы и как понять, сколько нужно брать

Эта статья будет полезна аналитикам, дата-инженерам и специалистам по обработке больших данных, а также тимлидам команд, которые работают с Apache Spark для решения задач аналитики и машинного обучения. Вы узнаете, как правильно задавать параметры Spark-сессии, чтобы получить ресурсы.

     03.05.2023       Выпуск 489 (01.05.2023 - 07.05.2023)       Статьи

Как ускорить бинарный поиск

Я решил рассказать о том, как ускорить обычный бинаный поиск в сотни раз и искать данные в обычном текстовом файле БЫСТРЕЕ, чем при использовании класических баз данных. Сейчас я попробую решить задачу бинарного поиска без них, расскажу об основных способах оптимизации, а в конце проведу сравнение. Это вполне реальная задача, с которой я столкнутся при разработке собственного проекта, а поэтому мне есть что вам рассказать.

     03.05.2023       Выпуск 489 (01.05.2023 - 07.05.2023)       Статьи

Особенности работы с русской кодировкой при загрузке файлов через aiohttp

В ходе исследования непонятного бага с битой кодировкой в именах загружаемых файлов мы столкнулись с непредвиденным поведением популярной библиотеки aiohttp. Решая эту проблему, мы получили полезный опыт, которым хочу с вами поделиться.

     03.05.2023       Выпуск 489 (01.05.2023 - 07.05.2023)       Статьи

Шпаргалка: fixture в pytest

В данной статье представлены примеры использования фикстур (fixture) для фреймворка автоматического тестирования pytest. Фикстуры представляют собой функции, которые можно использовать для решения различных задач при проведении автоматизированного тестирования.