IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
и сделали Тренажер IT-инцидентов для DevOps/SRE

     26.01.2023       Выпуск 475 (23.01.2023 - 29.01.2023)       Статьи

MLflow: управление многозадачным обучением с независимыми моделями

Как создать и отслеживать многозадачное обучение с независимыми моделями на одном входе и на одном выходе. Полный код на GitHub, соблюдая инструкцию README.md с нуля установки до работающего запуска отслеживания экспериментов и обслуживания моделей

     25.01.2023       Выпуск 475 (23.01.2023 - 29.01.2023)       Статьи

Как предсказывать каталитические свойства наноматериалов

В этой статье я познакомлю вас со своим проектом, который посвящен предсказыванию свойств наночастиц и возможности открывать новые материалы имея только один пример.

     25.01.2023       Выпуск 475 (23.01.2023 - 29.01.2023)       Статьи

Книга «Математические алгоритмы для программистов. 3D-графика, машинное обучение и моделирование на Python»

Неважно, чем вы занимаетесь — большими данными, машинным обучением, компьютерной графикой или криптографией — без математики вам не обойтись! Везде сейчас требуются базовые знания и понимание алгоритмов. Практические примеры позволят легко разобраться с самыми необходимыми математическими понятиями. 300 упражнений и мини-проектов откроют вам новые возможности в освоении интересных и популярных IT-профессий. Вы познакомитесь с базовыми библиотеками Python, используемыми при разработке реальных приложений, и вспомните давно забытые основы линейной алгебры и матана.

     25.01.2023       Выпуск 475 (23.01.2023 - 29.01.2023)       Статьи

Асинхронный django: разоблачение Великого и Ужасного

Доброе утро, уважаемый читатель. Сегодня мы разоблачаем господина Гудвина. В частности, обсуждаем DEP-9 - roadmap по добавлению асинхронности в django за его авторством.

     24.01.2023       Выпуск 475 (23.01.2023 - 29.01.2023)       Статьи

Как можно применить генерацию изображений в химии для предсказания наноматериалов

Когда я со своими коллегами с направления Химия и ИИ начинал делать этот проект, в мире был в самом разгаре интерес к таким системам генерации изображений как Stable Diffusion, DALL-E и Midjourney. Именно тогда мы решили совместить модели обработки естественного языка (такие как BERT) и системы генерации изображений и применить все это в химическом домене.

 

     24.01.2023       Выпуск 475 (23.01.2023 - 29.01.2023)       Статьи

Управление производительностью с Python 3.12

В Python 3.12 появилась поддержка perf profiling. В этой статье рассмотрим, как это помогает сократить время выполнения Python-скрипта с 36 секунд до 0,8. Мы рассмотрим Linux-инструмент perf, а также графики Flame Graph (добавить пояснение: способ визуализации процессорного времени, потраченного на функции), посмотрим на  дизассемблированный код и займемся поиском ошибок. Код из статьи можно посмотреть здесь.

     24.01.2023       Выпуск 475 (23.01.2023 - 29.01.2023)       Статьи

Как я учил Алису отправлять почту

В декабре прошлого года я приобрел умную колонку Яндекса, Станцию Лайт. Еще не успел насладиться приобретением, а уже заметил, что, к сожалению, некоторого функционала Алисе не хватает. Погуглил и узнал, что существует витрина навыков, в которой представлены продукты сторонних разработчиков, – навыки для Алисы, расширяющие ее возможности. Идея этой витрины показалась мне интересной и я решил создать для нее новый навык. Мне хотелось научить Алису отправлять почту по команде с колонки, так как по дефолту она этого не умеет.

     24.01.2023       Выпуск 475 (23.01.2023 - 29.01.2023)       Статьи

Как Василий ускорял сборку тестов

Действие происходит в следующей вселенной:

  • лаборатория тестирования 2ГИС;

  • gitlab CI, тесты всех команд запускаются на общих раннерах, над которыми властвует команда IO;

  • e2e-тесты на различные BE-сервисы — python и vedro.

Однажды инженер Василий (собирательный образ, все совпадения случайны) проснулся и понял, что больше не может ждать эти бесконечные пайплайны. Чтобы отделить ощущения от реальности, он начал собирать статистику — сколько ходят пайпланы, сколько выполняются сами тесты в сервисе фото, а сколько собираются образы.

     23.01.2023       Выпуск 475 (23.01.2023 - 29.01.2023)       Статьи

Полное руководство по модулю asyncio в Python. Часть 7

Публикуем седьмую часть (1, 2, 3, 4, 5, 6) перевода руководства по модулю asyncio в Python. Здесь представлены разделы исходного материала с 17 по 19.

     23.01.2023       Выпуск 475 (23.01.2023 - 29.01.2023)       Статьи

Обзор библиотек на питоне для моделирования в сфере электроэнергетики

Если мы хотим без больших затрат средств и времени построить различные модели в сфере электроэнергетики, то питон (python) будет для нас поистине незаменимым языком. Больше всего доступных открытых и бесплатных "электрических" библиотек с хорошей документацией написано именно на питоне, и этот обзор будет посвящен их краткому разбору и классификации.

Обзор составлен в формате "краткое описание + ссылки на гитхаб и документацию". При выявлении новых открытых электрических python-библиотек список будет пополняться.

     23.01.2023       Выпуск 475 (23.01.2023 - 29.01.2023)       Статьи

DatRet: Реализация Tensorflow для табличных данных

Простая реализация архитектуры глубокой нейронной сети для табличных данных с автоматической генерацией слоев и послойным сокращением количества нейронов. С удобством использования, аналогичным классическим методам машинного обучения.

     22.01.2023       Выпуск 474 (16.01.2023 - 22.01.2023)       Статьи

Как снять данные с весового модуля со своей спецификацией протокола передачи данных и отправить на MQTT сервер

Данная статья написана для начинающих, тех кто на начальном уровне знает Python и немного разбирается в АСУ ТП. Задача достаточно распространенная, надо взять данные со старого, со своей спецификой оборудования и перевести ее в такой вид, что бы ее можно было легко достать (MQTT сервер) и обрабатывать (SCADA или любое ПО, которое умеет работать с MQTT).

 

     22.01.2023       Выпуск 474 (16.01.2023 - 22.01.2023)       Статьи

Пишем ETL-процесс на Python, часть 2

Сегодня мы сделаем web-интерфейс для управления запуском ETL-процесса. В прошлой статье мы написали консольный скрипт, который разово разово запускает выгрузку. Но как это передать заказчику ?!

     21.01.2023       Выпуск 474 (16.01.2023 - 22.01.2023)       Статьи

Задача коммивояжера (TSP) точное решение — метод целочисленного линейного программирования (Integer programming)

Дочитав эту статью до конца, вы сможете решать точно задачу коммивояжёра на сотню элементов за считанные секунды! Заинтригованы?

     21.01.2023       Выпуск 474 (16.01.2023 - 22.01.2023)       Статьи

Как подключить препроцессор SASS/SCSS к Django

"Django на прокачку" снова продолжает вас радовать. В сегодняшнем эпизоде мы:

1.       Узнаем, что такое препроцессоры и чем они интереснее обычного CSS;

2.       Разберёмся с SASS и SCSS, узнаем, чем они отличаются;

3.       И рассмотрим на практике, как использовать SASS/SCSS в Django-проекте.

     18.01.2023       Выпуск 474 (16.01.2023 - 22.01.2023)       Статьи

Страх и ненависть в переговорке: курим VideoSDK API, Vosk и Python

Сегодня поговорим о кастомных решениях для видеоконференцсвязи (далее — ВКС) с минимальными затратами человеко-часов и финансов на их создание. Я параноик Брать готовый open-source – меня не устраивает, всем известны случаи встраивания bad code в проекты с открытым исходным кодом с целью нанести ущерб пользователям из России. Поэтому за основу берём что-то отечественное с корпоративным уклоном, с открытым API и подходом «без регистрации и смс».

     18.01.2023       Выпуск 474 (16.01.2023 - 22.01.2023)       Статьи

Определение победителей матчей регулярного чемпионата КХЛ методами классического ML

Давно хотел применить методы машинного обучения в области спортивной индустрии. Данное желание обусловлено интересом к самому спорту и к тому, насколько хорошо математические модели могут предсказывать исходы различных спортивных событий. Можно было взять любую интересующую тему, и я выбрал определение победителей матчей регулярного чемпионата КХЛ. Так как курс был по ML, для решения задачи рекомендовалось применять классические методы без использования нейросетевых моделей. Дав волю своему экспериментаторскому началу, я принялся за дело.

     17.01.2023       Выпуск 474 (16.01.2023 - 22.01.2023)       Видео

Куда расти разработчику: взгляд из-за рубежа

Обсудим опыт жизни за рубежом и адаптацию в зарубежной компании, развитие, поиск наставника и всем ли нужно становиться тимлидами.

     16.01.2023       Выпуск 474 (16.01.2023 - 22.01.2023)       Статьи

Декораторы, о которых вам не расскажут

Если вы программируете на языке Python, вы должны были слышать о декораторах, однако существует много людей, которые либо не знакомы с ними, либо, что еще хуже, знакомы с ними (использовали так или иначе), но так и не поняли их суть.

     16.01.2023       Выпуск 474 (16.01.2023 - 22.01.2023)       Статьи

Полное руководство по модулю asyncio в Python. Часть 6

Перед вами шестая часть (12345) перевода руководства по модулю asyncio в Python. Здесь представлены 14-16 разделы исходного материала.