Python Дайджест. Выпуск 483

This article looks at where potential performance issues can occur in a Django application and how to address them in order to speed up your app.

Представим ситуацию. Перед вами важная задача — классифицировать огромный поток входящих обращений сотрудников/клиентов для дальнейшего анализа профильными сотрудниками на предмет отклонений и для построения интересующих статистик. Первое решение, приходящее в голову — в ручном режиме просматривать обращения и проводить их классификацию. Спустя пару часов, приходит осознание того, что решение было не самым правильным и так задачу не выполнить в срок. Как же тогда поступить? Именно об этом будет следующий пост.

В ИТМО создали облачный сервис, который помогает  специалистам получить доступ к возможностям машинного обучения практически без навыков программирования на Python.Для целого ряда типовых задач сервис позволяет визуально набросать пайплайн решения, импортировать в него данные, подобрать соответствующую модель машинного обучения и проверить ее качество. Эксперименты показывают, что для среднего специалиста по данным на типовых задачах инструмент ускоряет работу в 3-5 раз, позволяя в итоге выгрузить код модели на Python, чтобы вставить в сторонний проект. В этой статье рассказываем, откуда появилась идея инструмента и на какой стадии находится его разработка.

Обычно при изучении нейронных сетей встречается много теории и новых терминов. Это усваивается сильно лучше, если некоторое время "поиграть с параметрами". Мы взяли простой широкоизвестный датасет (MNIST, изображения рукописных цифр), простую однослойную FNN (Нейронная сеть прямого распространения) и подвигали параметры в разные стороны, отмечая и сравнивая, что происходит.

Этот блокнот познакомит вас с основами Petals — системы логического вывода и точной настройки языковых моделей с сотнями миллиардов параметров без необходимости использования высокопроизводительных GPU. С помощью Petals вы можете объединять вычислительные ресурсы с другими людьми и запускать большие языковые модели с миллиардами параметров, например BLOOM-196B или BLOOMZ того же размера, что и GPT-3.

Рассказываем о том, как внедряли новомодные AI-инструменты в проект. Как это повлияло на его популярность и что за этим последовало — читайте в статье.Технические особенности проекта: фреймворк — Laravel, БД — PostgreSQL, кэш/очереди — Redis, архитектура — основной кластер DigitalOcean Kubernetes и графический кластер GKE.

Понравилась статья HabraTab — девайс для хаброзависимых, где описана разработка устройства для визуализации рейтинга пользователя на Хабре.

А почему бы не использовать возможности chatGPT и попросить его делать что-то за нас? Например, давайте попробуем настроить его так, чтобы он мог забронировать нам столик в наш любимый ресторан.

Как упростить жизнь Django приложению.

Мне часто приходится пользоваться PowerShell. Конечно, его создатели не имели никакого представления о прекрасном и эстетике. Уродливость PowerShell особенна видна при его сравнении, например, с Python. С другой стороны, как говорится, c лица не воду пить - работает и хорошо? Но нет, мне кажется в PowerShell есть по крайней мере пара моментов, которые фатально влияют на его практическое применение.

В статье мы соберём OpenCV с поддержкой OpenVINO, а также узнаем отличия в скорости инференса модели машинного зрения на C++ и Python при прочих равных.

Ещё не успело ИИ-сообщество оправится от набега ЛЛаМ и высвобождения GPT-4, подоспела новая напасть — 19го марта была выпущена китайская нейросеть ModelScope text2video от Alibaba, создающая короткие видеоролики по текстовому описанию.

Когда речь заходит про взаимодействие микросервисов, все сразу вспоминают о сложных архитектурных паттернах, вроде Event Bus и CQRS. В этой статье я расскажу, как выполнить простенькую задачку для двух микросервисов без навороченной архитектуры. В моем случае это создание сервиса, который агрегирует события компании в единую ленту событий.

В разработке кода мы стараемся использовать все доступные средства, для того чтобы сделать его удобным для чтения и понятным человеку. В Python множество инструментов, которые могут помочь улучшить читаемость кода, и Context manager, о котором дальше пойдет речь, один из них.

На этот раз злодеи зашли куда дальше, нацелившись на самих Python разработчиков. Ещё в ноябре 2022 года многие исследователи обнаружили более 400 вредоносных пакетов, загруженных в официальный репозиторий Python Package Index (PyPI). 

Вообще я, как правило, нормально программирую. Иногда даже такое заворачиваю, что сам тащусь весь день.Но если б я писал, какой я красавчик, то никому не было бы интересно. Поэтому сегодня — очередная партия программистских историй от меня любимого, с косяками, багами и болью. Иногда это происходило по запарке, или когда я торопился, или после нудной работы, когда мозг уже плавился, а иногда просто я тупил, потому что я человек. В общем, такие вот типичные будни кодера. Наслаждайтесь! Ну что он там опять натворил?

В данной статье поэтапно расскажу, как подключится к Jira используя Python и выгрузить историю изменений статуса.

В программных продуктах для работы с STL, таких как Geomatix Design X, Wrap, NX и др., функционал обязательно включает сегментацию STL модели на отдельные грани. В свободно распространяемом ПО, однако, инструменты для сегментации зачастую отсутствуют. В данной статье хочу рассказать о реализованном мной на Python алгоритме разбиения STL на отдельные грани.

Туториал по написанию более продвинутых блочных шаблонных тегов в Django. Которые можно использовать помимо обычных inclusion_tag

Развитие искусственного интеллекта сейчас переживает бурный рост, и сфера его применения постоянно расширяется, проникая в области, ранее никак не связанные с ИТ.

Небольшой рассказ с картинками о проведении тематического моделирования для массива документов, на примере датасета анекдотов на русском языке. В работе применены библиотеки Gensim, Sklearn. Рассмотрены разные способы векторизации токенов bag of words, tf-idf. Получены результаты для обсуждения и продолжения.

Очередной выпуск англоязычного подкаста Python Bytes

Podcast

Audio

Интеграция редактора TinyMCE в админ панель Django. Скачать можно по ссылке: https://pypi.python.org/pypi/django-tinymce/

Django-приложение для гибкой фильтрации объектов модели (querysets). Скачать можно по ссылке: https://pypi.python.org/pypi/django-filter/

Альтернативный базирующийся на сетке дизайн админ панели Django. Скачать можно по ссылке: https://pypi.python.org/pypi/django-grappelli/

Модуль для автоматизации тестирования web-приложений. Скачать можно по ссылке: https://pypi.python.org/pypi/selenium/

Python клиент для Redis. Скачать можно по ссылке: https://pypi.python.org/pypi/redis/

Библиотека и набор утилит для мониторинга событий файловой системы. Скачать можно по ссылке: https://pypi.python.org/pypi/watchdog/

XML/HTML парсер. Скачать можно по ссылке: https://pypi.python.org/pypi/beautifulsoup4/

Фреймворк для работы с AMQP. Скачать можно по ссылке: httpss://pypi.python.org/pypi/kombu/

Мощный web-фреймворк. Скачать можно по ссылке: https://pypi.python.org/pypi/Django/

Python клиент для Redis. Скачать можно по ссылке: https://pypi.python.org/pypi/redis/

Мощная система логгирования и платформа агрегации ошибок. Скачать можно по ссылке: https://pypi.python.org/pypi/sentry/

Статический анализатор Python-кода. Скачать можно по ссылке: https://pypi.python.org/pypi/pylint/