IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
консультируем про IT, Python

     11.05.2022       Выпуск 438 (09.05.2022 - 15.05.2022)       Статьи

Как изменилась стандартная библиотека Python за последние годы

Когда выходит очередная версия Python, все внимание достается новым фичам языка: моржовому оператору, слиянию словарей, паттерн-матчингу. Еще много пишут об изменениях в асинхронной работе (модуль asyncio) и типизации (модуль typing) — эти модули на виду и бурно развиваются.

     11.05.2022       Выпуск 438 (09.05.2022 - 15.05.2022)       Статьи

Парадоксальный рост популярности Python в научных вычислениях

Чтобы уверенно пересечь незнакомую местность, можно или двигаться быстрее, или подыскивать удобную дорожку. Другими словами, слишком пристальное внимание к скорости как таковой может вас притормозить. То же касается и разработки программного обеспечения.

     11.05.2022       Выпуск 438 (09.05.2022 - 15.05.2022)       Статьи

TileTool — модуль для обучения детей основам разработки игр

TileTool -игра на Python за считанные минуты. Модуль генерации и построения двухмерных игровых миров TileTool, базирующийся на небезызвестном PyGame, экономит кучу времени и помогает детям, изучающим программирование без боли освоить геймдев, а инди разработчикам упростить и ускорить разработку.

     10.05.2022       Выпуск 438 (09.05.2022 - 15.05.2022)       Статьи

Уроки компьютерного зрения на Python + OpenCV с самых азов. Часть 6

На прошлом уроке мы научились превращать набор особых точек, найденных специальным детектором особых точек, в граф. Там же я объяснил, зачем это вообще надо. Сегодня мы будем изучать такую область науки о компьютерном зрении, как нахождение областей интереса на изображении. Как правило, это вторая часть этапа обработки изображений (см. первый урок). И так, предположим, нам надо найти на изображении дорожный знак. Пусть мы пока ограничимся только поиском знаков «кирпич».

     10.05.2022       Выпуск 438 (09.05.2022 - 15.05.2022)       Статьи

Генетический алгоритм поиска решения для задачи по выбору планировок этажа многоквартирного дома

Предложенный алгоритм - это очень ранний прототип рабочей версии. Суть публикации познакомить всех желающих с возможностями генетических алгоритмов в различных сферах бизнеса.

     10.05.2022       Выпуск 438 (09.05.2022 - 15.05.2022)       Статьи

Как я случайно удалил 7 терабайт видео перед запуском в продакшн

Делимся материалом о том, насколько вредным может стать привыкание к библиотекам и насколько полезными — инструменты автоматизированного тестирования. За подробностями приглашаем под кат.

     09.05.2022       Выпуск 438 (09.05.2022 - 15.05.2022)       Статьи

Основы Интерактивных карт

Для визуализации интерактивных карт рассмотрим библиотеку - Folium.

Folium — это мощная библиотека визуализации данных в Python, которая была создана в первую очередь для того, чтобы помочь людям визуализировать гео-пространственные данные.

 

     06.05.2022       Выпуск 437 (02.05.2022 - 08.05.2022)       Статьи

Матчинг шаблона в Python 3.10

В Python 3.10 имплементирован своего рода оператор switch — что-то вроде него. Оператор switch в других языках, таких как C или Java, выполняет простой матчинг значения переменной и исполняет код в зависимости от этой величины. Он может использоваться просто, как обычный оператор switch, но способен на гораздо большее.

     06.05.2022       Выпуск 437 (02.05.2022 - 08.05.2022)       Статьи

Дата саентист и циклы-циклы-циклы…

«How I Met Your Mother», season 6, ep. 7 Коля любит циклы. Толя любит циклы. Оля любит циклы. Все любят циклы. И Сережа тоже. Один Мамба их не любит. И вот почему.

     06.05.2022       Выпуск 437 (02.05.2022 - 08.05.2022)       Статьи

Respect Validation на Python

В данной статье я расскажу вам историю "как я до этого дошёл" и мы рассмотрим основные преимущества данной библиотеки. Все полезные ссылки вы найдёте в конце статьи.

     06.05.2022       Выпуск 437 (02.05.2022 - 08.05.2022)       Статьи

Как установить ботов для StarCraft II

В StarCraft II есть встроенные боты, и все с ними хорошо, за исключением того, что они немного тупые, но речь пойдет не о них. В 2017 году разработчик игры компания Blizzard Entertainment опубликовала API, позволяющий создавать внешних ботов. Однако, по какой-то странной причине Blizzard рассматривает этот API как сугубо исследовательский проект, где боты должны сражаться только друг с другом. Нормальной возможности поиграть человеку с ботами они почему-то не сделали, хотя многие геймеры рассматривают ботов как довольно неплохой инструмент тренировок.

     05.05.2022       Выпуск 437 (02.05.2022 - 08.05.2022)       Статьи

Распределённое глубокое обучение: параллелизм моделей и данных в TensorFlow

Значительное количество задач, предусматривающих обучение глубоких нейронных сетей, можно решить на отдельном компьютере, обладающем единственным, сравнительно мощным и быстрым GPU. Но бывает так, что нужно что-то помощнее. Например — данные могут просто не поместиться в память, доступную на отдельной машине. Или окажется, что имеющееся «железо» просто не «потянет» некую задачу. В результате может возникнуть необходимость в горизонтальном масштабировании вычислительных мощностей.

     05.05.2022       Выпуск 437 (02.05.2022 - 08.05.2022)       Статьи

Сравнение сервисов фильтрации нецензурной лексики

Недавно понадобилось мне подключить мой проект (сайт на WordPress, Телеграм-канал, ВК группу) к фильтру матов и озадачился я предложениями, которые выдает интернет. Поэтому решил проанализировать те, что смог найти и составить личный список, который, надеюсь поможет коммунити Хабра.

Спойлер: найдено всего два сервиса и если знаете еще, то пишите в комментариях.

     04.05.2022       Выпуск 437 (02.05.2022 - 08.05.2022)       Статьи

Как выжать из солнечной батареи максимум с помощью обучения с подкреплением

Под катом вас ждёт чертёж установки, блок-схемы агента, работающего методом проб и ошибок, а также визуализации, видеоролики и, конечно, код. Материалом делимся к старту нашего флагманского курса по Data Science.

Агент-критик Softmax оптимизирует выработку энергии в моделируемой по реальным данным меняющейся среде освещения.

     04.05.2022       Выпуск 437 (02.05.2022 - 08.05.2022)       Статьи

Преобразование офисных файлов в текст

Представление документа в виде простого текста понадобится для анализа его содержимого: индексирования и поиска, классификации, предварительной проверки.

     04.05.2022       Выпуск 437 (02.05.2022 - 08.05.2022)       Статьи

Простой поиск дубликатов изображения

Существует множество проверенных решений, основанных на разных алгоритмах. Этот пример использует элементы машинного обучения, текущий уровень развития инструментов, позволяет с минимальными усилиями решать "бытовые задачи". В качестве меры сходства - косинусное сходство. Сравнение многомерных массивов (изображение в цифровом пространстве), ресурсоемкий процесс, поэтому, применяем обученную свёрточную нейронную сеть для уменьшения размерности с учетом важных пространственных признаков. Библиотека keras содержит готовые модели под разные задачи, этот пример задействует архитектуру VGG16 обученную на данных imagenet. Вход в сеть (N, 224, 224, 3), выход (1, 512).

     04.05.2022       Выпуск 437 (02.05.2022 - 08.05.2022)       Статьи

Коротко о 6 простых и эффективных видах визуализации

У нас есть несколько способов понимания данных. Зачастую, когда мы анализируем их, то думаем о визуализации в последнюю очередь. Тем не менее, наш разум устроен так, что нам нужна визуальная форма вещей, которые мы хотим исследовать. Поэтому визуализация необходима не только для представления каких-то выводов, но и для выявления закономерностей мира.

     03.05.2022       Выпуск 437 (02.05.2022 - 08.05.2022)       Статьи

Лингвистические особенности речи человека в диалогах с виртуальным ассистентом

Зачастую, для создания виртуальных ассистентов используются подходы на основе машинного обучения и, конечно, подходы на основе правил. Оба (в большей степени машинное обучение) полагаются на исходные данные, которыми обычно являются человеческие диалоги. При этом, не учитывается фактор того, что пользователи диалоговых систем не будут общаться с ними так же как с реальными людьми.

     02.05.2022       Выпуск 437 (02.05.2022 - 08.05.2022)       Статьи

Создаем простой ETL на Python

В работе аналитика данных часто приходится использовать наборы данных, загружаемые из открытых источников. Рассмотрим простой пример использования конвейера для таких задач.ETL, сокращение от extract-transform-load, представляет собой серию процессов, которые включают в себя сбор данных, их обработку и хранение в безопасном и доступном месте. Конвейеры ETL (ETL pipeline) позволяют упростить эти процессы с максимальной эффективностью и минимальными издержками.Рассмотрим пошаговую реализацию конвейера ETL с использованием модулей Python.

     02.05.2022       Выпуск 437 (02.05.2022 - 08.05.2022)       Статьи

Основы работы со Spark DataFrame

При работе с распределенными базами данных, возникают задачи, которые ввиду технических ограничений сложно или невозможно решить с помощью всем привычного пакета Pandas на Python. Решением может стать использование распределенных вычислений Spark и его собственных DataFrame.