IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
читайте авторский блог


Новый материал в ленте
  virtualenv - 20.26.3

Инструмент создания виртуального рабочего окружения. Скачать можно по ссылке: https://pypi.python.org/pypi/virtualenv


Python Дайджест. Выпуск 482

(13.03.2023 - 19.03.2023)

поделиться выпуском 
Дайджест python,

Статьи

  Цепочка методов в pandas. Прокачиваем свой код. Минигайд для интересующихся

Цепочка методов (или цепочка вызовов, method chaining) - это стиль записи кода, который позволяет выполнять несколько операций за один раз, в конечном счете экономя время и энергию.Для тех, кто не знаком с этой концепцией, это, по сути, способ применения нескольких методов или функций к данным в одной строке кода. Традиционный подход к использованию pandas предполагает использование отдельных функций и команд по одной за раз. Это может стать довольно утомительным и трудным для запоминания. Кроме того, если что-то пойдет не так, может быть трудно устранить неполадки, поскольку было использовано несколько операций. У меня еще была привычка, прыгать с одной ячейке на другую, вот тогда точно можно не вспомнить, что ты делал и проще переписать все заново.

  Простейший полнотекстовый поиск на Python с поддержкой морфологии

В прошлой статье я рассказывала, что составила для своего проекта словарь «Властелина Колец», причем для каждого англоязычного терма (слова/словосочетания) хранится перевод и список глав, в которых встречается это выражение. Все это составлено вручную. Однако мне не дает покоя, что многие вхождения термов могли быть пропущены.

  Бесплатный мультиязычный чат для сайта на Tawk + Notion + Telegram + chatGPT + GPT-Index

Вы хотите общаться с посетителями сайта на всех языках и при этом чтобы вам помогал обученный на вашей базе знаний chatGPT?Я следил за различными видами использования chatGPT с момента его выхода. Предлагаемое в статье решение я еще не встречал и поэтому думаю оно будет кому-то полезным.

  Генерация DAG в Apache Airflow

Пошаговая инструкция о том, как из одного DAG сделать фабрику DAG.Включает в себя: установка Airflow через Docker и поэтапное объяснение того, как сделать фабрику DAG.

  Какого цвета атомы?

В этой статье мы обсудим какие бывают цветовые схемы для атомов, дальтонизм, цветовую модель RGB в контексте Python-а. А в конце мы попробуем сделать собственную цветовую схему для атомов первого и второго периодов таблицы Менделеева, исходя из того, чтобы цвета были чуточку дружелюбнее к дальтоникам.

  Python Дайджест: как актуализировать всю кодовую базу с помощью pre-commit

Продолжаю рассказывать, как open source проект Python Дайджест спустя 5 лет без обновлений удалось актуализировать по всему стэку технологий. В первой части рассказал, как удалось outdated проект с Python 3.4 обновить до Python 3.11 и Django 4.1. В этой части расскажу, как удалось максимально дешево привести кодовую базу в актуальное состояние.

  Обзор LMS.NetMap

Часто при проведении пентестов большой корпоративной инфрастуктуры нам не хватало визуального отображения карты сети. Zenmap — это, конечно, хорошо, но с момента последнего релиза прошло уже около 8 лет. Другие свободные решения зачастую не отличаются функционалом, а платные решения дорого стоят. Плюсом, множество готовых решений нацелены на мониторинг и администрирование, что является избыточным для решения наших задач.

  Дублирующий скрипт: как с его помощью мы ускорили бизнес-процесс с двух рабочих дней до семи минут

Как известно, при создании промышленного процесса, в котором регламентирован каждый шаг, все участвующие подразделения стараются максимально облегчить выполнение своей части работы. Поэтому часто применяются упрощения, которые не позволяют учесть все нюансы процесса, отслеживаемые в ручном режиме каждым аналитиком. По сути, перед автоматизаторами стоит задача охватить наибольшее число вариаций и при этом не усложнить процесс так, чтобы с ним было невозможно работать. Под усложнениями понимаются различные блокирующие процесс проверки, многочисленные итерации согласований по той или иной задаче, формы дополнительного ручного ввода данных и т.п.

  Strawberry GraphQL и FastAPI. Так что получается, Pydantic всё-таки не нужен?

Сказ пойдет о том, как я протаптывал тропинки в этом неизведанном (или неосвещенном) мире GraphQL и Python.

  Django. Ускорение сайта с помощью кэширования шаблонов и их частей

Описание двух способов ускорения генерирования страниц сайта как с помощью кэширования частей шаблонов сайта, так и использования кэширующего загрузчика шаблонов на сайте.

  Django REST. Реализация функционала добавления в «избранное» с возможностью расширения типов добавляемого контента

Допустим у нас есть зарегистрированные пользователи и какая-то модель, например "Компании", которую пользователь может добавлять в избранное. Обычно такая задача решается путем создания третьей таблицы Favorite, являющейся связующим звеном, для реализации ManyToManyField связи между пользователем и компанией

  ETL процесс для миграции процедур с mssql на postgreSQL. Часть 1. Введение

Хочется поделиться опытом преображения одного представления кода в другой с помощью ETL процесса и графовой базы данных на актуальном в наши дни примере.

Вкратце есть база на mssql сервере есть хранимые процедуры. Есть база на postgres. Есть ETL процесс на Apache Air Flow. Запускаем процесс, по окончании в базе postgres появляются процедуры и данные.

  Django DRF Sign-in with Apple

Пришла пора внедрить систему аутентификации от Apple в проект на Django DRF, ведь система входа от Google была реализована давно и по идее проблем не должно было возникнуть, но как оказалось, у Apple есть свои определённые интересные и не очень особенности, о которых я напишу ниже.

  Бот-тестировщик. Автоматизация тестирования интеграции с Telegram ботом с помощью Telethon

В процессе автоматизации часто появляются интересные задачи, к которым, на первый взгляд, абсолютно непонятно как подступиться. Об одной из таких задач сегодня и пойдёт речь.Статья об автоматизации тестирования веб-приложения в связке с telegram ботом с использованием Telethon и очереди сообщений.

  Django. Добавление счётчика уникальных просмотров

Как сделать простой счётчик уникальных просмотров на основе ip адреса для не авторизованных пользователей и записи в таблицы пользователей для авторизованных пользователей

  How virtual environments work

Как происходит подмена интерпретатора в деталях

  Классификация изображений в облачной системе Google Colab

Нейронку можно обучить не только понимать, где на картинке собака, а где кошка. Можно шагнуть дальше, чтобы обучить ее распознавать данные графиков зрачковых реакций на свет и выдавать результат: норма или отклонение. Эта статья про сверточные нейронные сети, классификацию изображений с помощью моделей глубокого обучения, а также применение Google Colab для написания кода на Python.

  Учим нейросеть принимать решения на основе уже известного опыта (на примере Шахмат и загруженного датасета)

Учим нейросеть играть в Шахматы, загрузив в нее датасеты уже сыгранных партий с известным результатом.То есть никакого минимакса, деревьев и расчетов на несколько ходов вперед.Идея в том, что если в нейросеть загрузить много партий, уже сыгранныx другими игроками, то нейросеть будет знать, как поступали другие игроки в соответствующих случаях и к какому результату это приводило. Нейросеть обобщит имеющийся опыт и будет делать ход на основе уже известного опыта и выявленных закономерностей, причем делать ход «мгновенно».

  5 полезных библиотек Python (с примерами)

Python остается топ 1 среди языков программирования по версии многих журналов и сайтов. Популярность языка и его большое сообщество привело к тому, что сейчас для Python существует огромное число библиотек. К сожалению, большая часть этих библиотек была создана энтузиастами и больше не поддерживается. Давайте посмотрим на 5 хороших развивающихся библиотек, которые могут помочь при решении практических задач.

  Генерация 2D мира с помощью клеточного автомата на Python

На написание этой статьи меня вдохновил автор YouTube канала PeaAshMeter. В своем видео автор показывает простейший генератор 2D мира, который основан на простейшем правиле клеточного автомата. Что такое клеточный автомат? Какие клеточные автоматы бывают? На эти и многие другие вопросы я попробую ответить.

  Визуализация модели PyTorch

PyTorch — это библиотека глубокого обучения. С помощью PyTorch можно создавать очень сложные модели глубокого обучения. Однако иногда возникает необходимость в графическом представлении архитектуры модели.

  progressive_plots или ускоряем построение графиков

Большую часть карьеры я работал на стыке R&D и Deep Learning и в задачах возникающих в этих нишах часто невозможно написать какие-то автотесты и не всегда понятно где вообще может быть проблема поэтому нужно визуально исследовать графики каких-то алгоритмически-заданных функций или показаний с девайса при разных параметрах, а хочется эти графики изучить в максимально детализированном варианте, что почти всегда занимает неприлично большое количество времени.

Релизы

  sentry - 23.3.0

Мощная система логгирования и платформа агрегации логов.Скачать можно по ссылке: https://pypi.python.org/pypi/sentry/

  SQLAlchemy - 2.0.7

Библиотека работы с базами данных.Скачать можно по ссылке: http://pypi.python.org/pypi/SQLAlchemy/

  jsonschema - 4.18.0a1

Валидатор JSON данных.Скачать можно по ссылке: https://pypi.python.org/pypi/jsonschema

  simplejson - 3.18.4

Простой, быстрый, расширяемый JSON кодер / декодер для Python.Скачать можно по ссылке: http://pypi.python.org/pypi/simplejson/

  coverage - 7.2.2

Утилита позволяющая измерить процент покрытия тестами.Скачать можно по ссылке: http://pypi.python.org/pypi/coverage/

  django-tinymce - 3.6.0

Интеграция редактора TinyMCE в админ панель Django.Скачать можно по ссылке: https://pypi.python.org/pypi/django-tinymce/

  virtualenv - 20.21.0

Инструмент создания виртуального рабочего окружения.Скачать можно по ссылке: https://pypi.python.org/pypi/virtualenv