IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
читайте авторский блог

     20.07.2021       Выпуск 396 (19.07.2021 - 25.07.2021)       Статьи

Redis Python based cluster. Часть 1: распределённые системы, теоремы CAP и PACELC и зачем нужен Redis

Рано или поздно сервисы растут, а с большим RPS приходит Highload.

Что делать, когда ресурсов для вертикального масштабирования Redis уже нет, а данных меньше не становится? Как решить эту задачу без downtime и стоит ли её решать с помощью redis-cluster?

На воркшопе Redis Python based cluster Савва Демиденко и Илья Сильченков пробежались по теории алгоритмов консенсуса и попробовали в реальном времени показать, как можно решить проблему с данными, воспользовавшись sharding’ом, который уже входит в redis-cluster.

     20.07.2021       Выпуск 396 (19.07.2021 - 25.07.2021)       Релизы
     19.07.2021       Выпуск 396 (19.07.2021 - 25.07.2021)       Статьи
     19.07.2021       Выпуск 396 (19.07.2021 - 25.07.2021)       Статьи

Алгоритмы сортировки NumPy (и танцы, и мемы)

Да, наверное, нет более избитой темы, чем алгоритмы сортировки. Однако, меня в свое время так увлек процесс разбора того, какие алгоритмы задействованы в NumPy, что захотелось всем об этом рассказать. Возможно, слишком мелкая вещь, возможно, занудство какое-то, но тешу себя надеждой, что материал может быть полезным для тех, кто тему только начал! Особенно для таких же людей, как я, перешедших из смежных сфер (из телекома, например), где алгоритмы и структуры данных могут попросту не изучаться (бывает и такое). Если где-то что-то напутал (или наоборот материал оказался для вас полезным), буду рад обратной связи!

     19.07.2021       Выпуск 396 (19.07.2021 - 25.07.2021)       Вопросы и обсуждения

Django riffs - Going Live

Podcast. Full show notes are available at https://www.mattlayman.com/django-riffs/14.

     19.07.2021       Выпуск 396 (19.07.2021 - 25.07.2021)       Статьи
     19.07.2021       Выпуск 396 (19.07.2021 - 25.07.2021)       Статьи

Делаем простого бота в Telegram на Python. Интеграция с Excel

Друг предложил мне поработать над проектом для нашей кафедры. ТЗ пока не сформулировано, но точно известно, что это будет бот в телеге. Я хоть и питонист, но с ботами дел никогда не имел, поэтому пишу эту статью, как заметку, для себя и молодых перспективных ребят, чтоб у них было от чего оттолкнуться. Постараюсь писать максимально понятным и простым языком. Профессионалам тут особо делать не чего, хотя, может и придёт какая-нибудь идея.

     18.07.2021       Выпуск 395 (12.07.2021 - 18.07.2021)       Релизы
     18.07.2021       Выпуск 395 (12.07.2021 - 18.07.2021)       Статьи

Модели глубоких нейронных сетей sequence-to-sequence на PyTorch Часть6

В этом разделе мы будем реализовывать слегкаизмененнуюверсию модели Transformer из статьи Attention is All You Need. Все изображения в этой части взяты из этой статьи. Для получения дополнительной информации о Transformer обращайтесь сюда, сюда и сюда. На русском языке здесь.

     18.07.2021       Выпуск 395 (12.07.2021 - 18.07.2021)       Конференции, события, встречи разработчиков

PyCon Russia 2021

5-6 сентября 2021 г, около Москвы

     18.07.2021       Выпуск 395 (12.07.2021 - 18.07.2021)       Статьи

Обзор Databrick. Что облачный продукт может дать начинающим специалистам

Данная публикация посвящена Databricks и она получилась не совсем обычный по двум причинам.

     18.07.2021       Выпуск 395 (12.07.2021 - 18.07.2021)       Статьи

Как я управлял автомобилем через обычный сайт

Поговорим про возможность управлять различными устройствами через сайт. В прошлые выходные я решил провести необычный для себя эксперимент — выполнить пару простых упражнений на автодроме, управляя автомобилем через самый обычный сайт. Более того, стало интересно сделать своими руками минимальный функционал для выполнения упражнений в беспилотном режиме.

     18.07.2021       Выпуск 395 (12.07.2021 - 18.07.2021)       Статьи

Как победить несбалансированность датасета: метод upsampling data

Каждый начинающий дата саентист хоть раз сталкивался с проблемой несбалансированности данных для классификации: какой-то класс превосходит другие. Существует далеко не один способ борьбы с этой проблемой. В статье мы рассмотрим метод upsampling

     17.07.2021       Выпуск 395 (12.07.2021 - 18.07.2021)       Статьи

Как превратить фотографию в 3D-объект с помощью Nvidia Kaolin и PyTorch: рендеринг DIB-R

В научной работе NVIDIA 2019 года улучшенный дифференциальный рендерер — DIB-R представлен как инструмент решения одной из самых популярных сегодня задач Deep Learning: генерации 3D-объектов из одного двухмерного изображения. Статья на ArXiv содержала исходный код, но в ней не оказалось необходимой для его выполнения ML-модели. К старту курса«Machine Learning и Deep Learning», партнёр которого — компания NVIDIA, делимся переводом о том, как запустить руководство по работе с этой программой визуализации, как она работает, как обучить ML-модель рендеринга и проверить её в действии.

     17.07.2021       Выпуск 395 (12.07.2021 - 18.07.2021)       Статьи

Как работают Django Class-based views

Для новичка, который осваивает Django, представления на основе классов больше похожи на магию чёрного ящика, по крайней мере, у меня при первом знакомстве сложилось именно такое впечатление. Обильные руководства зачастую показывают, какие атрибуты и методы следует определить в вашем классе, чтобы этот ящик работал на вас, но не дают понимания принципа работы.Я хочу залезть под капот фреймворка и строчка за строчкой разобрать, как же работают представления на основе классов. Надеюсь, что по прочтении, Class-based views уже не будут казаться такими пугающими и я подстегну вас к дальнейшему самостоятельному изучению исходников. Возможно, вы думали о фреймворке как о некой магии, которую невозможно понять, но на самом деле это обычный код, написанный опытными разработчиками.

     17.07.2021       Выпуск 395 (12.07.2021 - 18.07.2021)       Статьи

Модели глубоких нейронных сетей sequence-to-sequence на PyTorch (Часть 5)

Эта модель кардинально отличается от предыдущих моделей, реализованных нами. Здесь вообще не используются рекуррентные компоненты. Вместо этого применяются свёрточные слои CNN, обычно используемые для обработки изображений. В качестве введения в особенности использования свёрточных слоёв для обработки текста см. руководство здесь.

     16.07.2021       Выпуск 395 (12.07.2021 - 18.07.2021)       Статьи

NFStats — анализ netflow данных для ISP «на коленке»

Приветствую! Продолжая рубрику "на коленке" (написал два года назад одну статью и уже рубрика), наконец у меня появилось время рассказать еще об одном проекте (а заодно и привести его в порядок), который используется у нас на сети небольшого транзитного провайдера для сбора и анализа статистики сетевого трафика .

     16.07.2021       Выпуск 395 (12.07.2021 - 18.07.2021)       Статьи

Управление сетевой инфраструктурой через Telegram за 5 EUR/месяц

Каким бы не был удобным WEB интерфейс системы управления сетью, это все-равно будет не так удобно, как использование мессенджера Telegram, где все в одном приложении: от общения с друзьями и получения прогноза погоды до управления сетевыми устройствами. В дополнение, удобный API интерфейс платформы Telegram позволяет получить желаемый сервис с минимальными трудозатратами. В данной статье я приведу самый простой пример одного из таких решений.