IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
читайте авторский блог

     25.07.2021       Выпуск 396 (19.07.2021 - 25.07.2021)       Статьи

Машинное обучение в Excel при помощи Python и PyXLL

К старту курса о машинном и глубоком обучении делимся переводом статьи, автор которой показывает на практике, как модель машинного обучения может использоваться через Excel. Зачем это нужно? Компании больше и больше вкладывают в исследования и разработку моделей прогнозов; по мнению автора оригинала статьи, разработчика и основателя компании PyXLL доступ к ML-моделям через Excel открывает новые горизонты. Вы сможете показать модель пользователям Excel, у которых нет опыта программирования или широких знаний в области статистики. При желании можно создавать инструменты разработки и тренировки моделей полностью в Excel, например строить графы в TensorFlow. Весь исходный код из статьи доступен на GitHub. Читать далее

     24.07.2021       Выпуск 396 (19.07.2021 - 25.07.2021)       Вопросы и обсуждения
     24.07.2021       Выпуск 396 (19.07.2021 - 25.07.2021)       Статьи

Python кодогенерация на благо ETL

В процессе разработки весьма часто встаёт задача преобразования данных, будь то данные от внешнего источника на пути в базу или данные из базы на пути в отчеты и т.п. Если описывать все необходимые преобразования императивно, то можно довольно скоро загрустить. Можно постараться и сделать всё декларативно, скажем, в виде некоторых dict-ов, в которых задать правила (функции?) по работе с каждым отдельным полем.

     23.07.2021       Выпуск 396 (19.07.2021 - 25.07.2021)       Статьи

Генератор абсурда за пять минут с NLTK и TreeTagger

Этот текст, при его очевидной абсурдности и лишённости смысла, мог показаться вам смутно знакомым. Это начало поэмы «Москва – Петушки», в котором слова, принадлежащие одной части речи, перемешаны между собой в случайном порядке.

     22.07.2021       Выпуск 396 (19.07.2021 - 25.07.2021)       Статьи

Классификатор обращений пользователей (1C + python)

В нашей компании очень много пользователей и каждый день они шлют массу обращений на самые разные темы. У нас есть два отдела: "Программные разработки" и "Системные администраторы", и что бы облегчить жизнь техподдержке, был написан классификатор, который стыкует обращение пользователя на тот или другой отдел. В основе классификатора лежит логистическая регрессия.

     22.07.2021       Выпуск 396 (19.07.2021 - 25.07.2021)       Статьи

Redis Python based cluster. Часть 2: зачем нужен Dynamo и что делать, когда Redis больше одного

Рано или поздно сервисы растут, а с большим RPS приходит Highload.

Что делать, когда ресурсов для вертикального масштабирования Redis уже нет, а данных меньше не становится? Как решить эту задачу без downtime и стоит ли её решать с помощью redis-cluster?

На воркшопе Redis Python based cluster Савва Демиденко и Илья Сильченков пробежались по теории алгоритмов консенсуса и попробовали в реальном времени показать, как можно решить проблему с данными, воспользовавшись sharding’ом, который уже входит в redis-cluster.

     22.07.2021       Выпуск 396 (19.07.2021 - 25.07.2021)       Статьи

Шпаргалка по командам django-admin

В этой статье приведен полный список команд утилиты django-admin с кратким описанием.

     22.07.2021       Выпуск 396 (19.07.2021 - 25.07.2021)       Статьи

Автоматический анализ документов

В этой статье я расскажу о том, как восстановить структуру таблицы и извлечь рукописные числа из отсканированного документа такого плана. Читать далее

     21.07.2021       Выпуск 396 (19.07.2021 - 25.07.2021)       Интересные проекты, инструменты, библиотеки

mem_usage_ui - Memory Graphing UI

Measuring and graphing memory usage of local processes

     21.07.2021       Выпуск 396 (19.07.2021 - 25.07.2021)       Статьи

Не суйте свой Pydantic в мое Django

Было замечательное теплое австрийское утро, и ничего не предвещало … ничего, пока мой коллега не порекомендовал мне посмотреть запись недавно прошедшей Pyconf.

Там кто-то рассказывал, как при помощи желтого скотча, такой-то матери и усилий любимых разработчиков они наконец то допилили Django Rest Framework до состояния франкенштейна подходящего его компании. Презентация выглядела странно, может я и прошел бы мимо, но моменты упоминания докладчиком PYDANTIC вызвали у меня явные сомнения в нормальности происходящего.

Оставим получившегося фRESTенштейна для другой статьи, и поразмышляем только о прозвучавшей в докладе возможности использования PYDANTIC в экосистеме Django — DRF.

     21.07.2021       Выпуск 396 (19.07.2021 - 25.07.2021)       Статьи
     21.07.2021       Выпуск 396 (19.07.2021 - 25.07.2021)       Статьи

Streamlit. Поиск кратчайшего пути

Самое длинное приключение начинается со слов «Я знаю короткую дорогу». Интересно о чем это? Читай дальше!

Streamlit - библиотека Python с открытым кодом. Она позволяет с легкостью создавать разные красивые веб-приложения для инженеров машинного обучения. Всего за несколько минут и пару строк кода можно создать стильные приложения.

     21.07.2021       Выпуск 396 (19.07.2021 - 25.07.2021)       Статьи
     21.07.2021       Выпуск 396 (19.07.2021 - 25.07.2021)       Статьи

Python Async (ASGI) Web Frameworks Benchmark

This is a simple benchmark for python async frameworks. Almost all of the frameworks are ASGI-compatible (aiohttp and tornado are exceptions on the moment).

     21.07.2021       Выпуск 396 (19.07.2021 - 25.07.2021)       Статьи
     20.07.2021       Выпуск 396 (19.07.2021 - 25.07.2021)       Вопросы и обсуждения