IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
и сделали Тренажер IT-инцидентов для DevOps/SRE

     27.05.2022       Выпуск 440 (23.05.2022 - 29.05.2022)       Статьи

Подгон под MNIST-овский датасет

В интернете можно найти 1000 и 1 статью по тренингу мнистовского датасета для распознавания рукописных чисел. Однако когда дело доходит до практики и начинаешь распознавать собственные картинки, то модель справляется плохо или не справляется вовсе. Конечно же мы можем перевести картинку в оттенки серого, насильно поменять размер под мнистовский на 28x28 пикселей, и тогда наша сеть будет работать с подобными картинками:

     27.05.2022       Выпуск 440 (23.05.2022 - 29.05.2022)       Статьи

Работа с фреймворками Python: преимущества и проблемы

Фреймворки помогают ускорить разработку и сделать её приятнее. Программу, которая раньше писалась неделю и занимала 1000 строк, с помощью фреймворка вы можете создать за пару часов и уместить в 50 строчках кода. Некоторые решения даже поставляются в виде подписки на сервисы, и программисту остаётся только написать шаблонный код — остальное сервис сделает сам. Несмотря на всё это, в российском IT всё равно чаще выбирают писать что-то своё, тратя на это много сил, времени и денег. Почему так происходит, попытались разобраться с Денисом Наумовым, Techlead и Data Engineer в Skyeng. 

     26.05.2022       Выпуск 440 (23.05.2022 - 29.05.2022)       Статьи

Классификация гистологических изображений со светлоклеточным раком почки, используя Keras

Год назад после участия в проекте по аннотации гистологических изображений, заинтересовался digital pathology и начал самостоятельно изучать то, что с этим связано (Python, ML,DL на Coursera и DataCamp) и в частности computer vision.

Для получения опыта, решил самостоятельно сделать проект по классификации гистологических изображений

     26.05.2022       Выпуск 440 (23.05.2022 - 29.05.2022)       Статьи

Как автоматически переписать текст другими словами, сохранив смысл? Рассказываем про рерайт-сервис

Часто при работе с текстами мы хотим не только выделить главное из больших отрывков, но и переписать текст, сохранив его смысл. В предыдущем посте мы рассказали, как команда SberDevices делала AI Service суммаризатора. Сегодня давайте поговорим про наш опыт создания не просто парафразера, а именно рерайтера текста. В связке эти инструменты могут быть полезны для множества практических задач. Демо обоих сервисов доступны в маркетплейсе AI Services.

     25.05.2022       Выпуск 440 (23.05.2022 - 29.05.2022)       Статьи

Аналитика содержимого аудиоразговоров (пробуем, пытаемся)

Данная статья не является новшеством. Это скорее сборка использования различных технологий для достижения одной цели — определение и анализ полученных данных. В моем случае - это аналитика аудиосодержимого. Нет, у меня не будет графиков по правилам Котельникова. Мы будем складывать полученные данные в различные базы данных и последовательно анализировать полученное, а также пытаться автономно на существующих мощностях переопределять речь в текст. К сожалению в первой части больше теории.

     25.05.2022       Выпуск 440 (23.05.2022 - 29.05.2022)       Статьи

Как ускорить Python с помощью C-расширений

В этой статье я расскажу о том, как писать быстрый код на Python с использованием C-расширений и победить GIL.

     25.05.2022       Выпуск 440 (23.05.2022 - 29.05.2022)       Статьи

Это наконец произошло: нейросеть и человек написали книгу. Вместе! Рассказываем, как им помогали разработчики

В издательстве Individuum вышел сборник рассказов «Пытаясь проснуться», написанных писателем и художником Павлом Пепперштейном и генеративной нейросетью ruGPT-3, разработанной командой SberDevices. 

     24.05.2022       Выпуск 440 (23.05.2022 - 29.05.2022)       Статьи

Асинхронный python без головной боли

Почему так сложно понять asyncio?
Асинхронное программирование традиционно относят к темам для "продвинутых". Действительно, у новичков часто возникают сложности с практическим освоением асинхронности. Но будь я автором самого толстого в мире учебника по python, я бы рассказывал читателям про асинхронное программирование уже с первых страниц. Вот только написали "Hello, world!" и тут же приступили к созданию "Hello, asynchronous world!". А уже потом циклы, условия и все такое.

     24.05.2022       Выпуск 440 (23.05.2022 - 29.05.2022)       Статьи

Airtable & Telegram Bot — рецепт быстрого запуска

В данной статье рассмотрим интеграцию no-code базы данных с телеграмм ботом. Благодаря хорошему API и читабельной документации Airtable удобно использовать разработчику. При этом человеку, не знакомому с программированием, подвластно создание базы данных с нуля и аналитика без единой строчки кода. Фактически в данной статье получим готовый рецепт для быстрого запуска небольшого сервиса.

     24.05.2022       Выпуск 440 (23.05.2022 - 29.05.2022)       Статьи

Анализ эффективности тренировок с помощью Python и линейной регрессии

Был ли эффект от регулярных тренировок? Я проанализировал данные своих предыдущих тренировок с помощью нескольких общепринятых методов и получил неоднозначные результаты.
 

     24.05.2022       Выпуск 440 (23.05.2022 - 29.05.2022)       Статьи

Как мы классифицировали товары при разработке СDP-платформы

Сейчас мы активно развиваем собственную платформу клиентских данных (CDP) DV Platform. Коротко расскажу, зачем вообще она нужна. Платформа обрабатывает данные из маркетплейсов и позволяет создавать и передавать сегменты пользователей, которые с наибольшей вероятностью совершат покупки конкретной категории или товара. Это позволяет оптимизировать маркетинговые бюджеты и увеличивать онлайн-продажи брендов.

     23.05.2022       Выпуск 440 (23.05.2022 - 29.05.2022)       Статьи

Распределённая настройка гиперапараметров с помощью Ray Tune

Перед вами третий материал из серии статей, посвящённой настройке гиперпараметров. Если вы только осваиваете эту тему — взгляните на первую статью, в которой говорится о том, что такое настройка гиперпараметров. Во второй части, посвящённой настройке гиперпараметров в XGBoost, мы исследуем практический пример.В первом материале нашей серии, состоящей из трёх частей, мы говорили о том, как подбор гиперпараметров способен помочь в деле поиска оптимальных настроек, позволяющих получить наилучшие результаты от использования моделей машинного обучения. Затем, во втором материале, мы разобрались с тем, как проводить настройку гиперпараметров в XGBoost, и выяснили, что модель, гиперпараметры которой подверглись настройке, даёт более точные прогнозы, чем модель, гиперпараметры которой не модифицировались.

     22.05.2022       Выпуск 439 (16.05.2022 - 22.05.2022)       Статьи

Как заставить директора купить кондиционер

Утро, лето, жара. Я просыпаюсь в 6:00 весь в поту. В квартире 27, на улице 21. Но по дороге на работу солнце возьмет свое, а наш офис находится на солнечной стороне. Каждое утро я вхожу в душное помещение, открываю окна, в надежде хоть немного его проветрить, включаю кондиционер. Как вы понимаете, всем дует в спину и включить кондиционер на полную не получится. Температура немного стабилизируется к обеду.

     21.05.2022       Выпуск 439 (16.05.2022 - 22.05.2022)       Статьи

Самообучаемый чат-бот python, который умеет искать ответы в Wikipedia

Давно хотел сделать своего собственного Jarvis. Недавно удалась свободная минутка и я его сделал. Он умеет переписываться с Вами, а также искать ответы на Ваши вопросы в Wikipedia. Для его реализации я использовал язык Python.

     20.05.2022       Выпуск 439 (16.05.2022 - 22.05.2022)       Статьи

О чем боятся спросить Junior DS. Оптимизация кода

Привет всем! В данной статья я постараюсь ответить на вопросы, связанные с оптимизацией работы кода. Мы затронем различные возможности оптимизации работы кода, которые очевидны опытным специалистам и о них, нередко, даже не задумываются начинающие Data Scientist'ы.

     20.05.2022       Выпуск 439 (16.05.2022 - 22.05.2022)       Статьи

Упущенные из виду факты о переменных и объектах в Python: все дело в указателях

В Python переменные и структуры данных не содержат объектов. Этот факт часто упускается из виду, и его трудно уяснить.

Вы можете успешно использовать Python годами, не вникая в нижеприведенные концепции, но полученные здесь знания, безусловно, облегчат решение многих из распространенных проблем Python.

 

     20.05.2022       Выпуск 439 (16.05.2022 - 22.05.2022)       Статьи

RFM-анализ для успешного сегментирования клиентов с помощью Python

RFM — это метод, используемый для анализа потребительской ценности.

Он группирует клиентов на основе истории их транзакций:

  • Recency (Давность) — Как давно клиент совершил покупку?

  • Frequency (Частота) — Как часто они совершают покупки?

  • Monetary Value (Денежная ценность) — Сколько они тратят?

 

     20.05.2022       Выпуск 439 (16.05.2022 - 22.05.2022)       Статьи

HDMI OLED-дисплей в стиле стимпанк

Чёрт возьми! Я не мог оставить без внимания тот факт, что мой предыдущий дурацкий проект получил настолько живой отклик. Вряд ли мне когда-либо удастся превзойти такое соотношение приложенных усилий и полученных за них «интернет-очков». Дурацкий, глупый и бесцельный — похоже, это мои дежурные слова. А что станет наиглупейшим апгрейдом для глупейшего дисплея, как ни придание ему вида а-ля стимпанк? Но в моём представлении это никак не цепляние к шляпе покрашенных в золото шестерёнок. Если я говорю стимпанк, то подразумеваю фрезерованную латунь и накатку.

     19.05.2022       Выпуск 439 (16.05.2022 - 22.05.2022)       Статьи

Практические применения генеративных моделей: как мы делали суммаризатор текстов

В последнее время вышло большое количество генеративных моделей для русского языка. Команды Сбера выпустили целое семейство авторегрессионных моделей ruGPT3, ruT5, о которых мы подробно писали ранее. Сегодня мы расскажем, как практически применять обучение таких моделей и какие продукты можно получить на их основе.

     19.05.2022       Выпуск 439 (16.05.2022 - 22.05.2022)       Статьи

Как написать свой прокси с кроликом и рейт-лимитами и не изменить змее с сусликом

Пару лет назад мы в Just Work делали несколько похожих проектов, которые должны были обрабатывать данные, получаемые из одного внешнего HTTP API. Это API, несмотря на согласованные повышенные лимиты, изредка банило наши ключи доступа за малейшее превышение. Из-за этого ответственность за соблюдение лимитов лежала на клиентах. В дальнейшем, проектов, использующих это API, должно было становиться все больше, и заказчика не устраивала перспектива разбираться с каждой реализацией по отдельности.