IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
консультируем про IT, Python

     04.11.2020       Выпуск 359 (02.11.2020 - 08.11.2020)       Статьи

Напишем и поймем Decision Tree на Python с нуля! Часть 4. Структуры данных

Данная статья — четвертая в серии. Ссылки на предыдущие статьи: первая, вторая, третья

     03.11.2020       Выпуск 359 (02.11.2020 - 08.11.2020)       Статьи

25 лучших репозиториев GitHub для разработчиков Python

Согласно опросу разработчиков на StackOverflow в 2020 году*, Python — один из самых любимых языков в мире. Что еще более интересно, Python — это язык, который разработчики больше всего хотят попробовать в своей работе. Если вы один из тех, кто использует Python и хочет прокачать свои знания, или один из тех, кто хочет изучить Python, вы попали в нужное место. Под катом 25 лучших репозиториев Python на GitHub.

     03.11.2020       Выпуск 359 (02.11.2020 - 08.11.2020)       Статьи

Развертывание интерактивных визуализаций данных в реальном времени на Flask и Bokeh

Python имеет фантастическую поддержку полезных инструментов анализа: NumPy, SciPy, pandas, Dask, Scikit-Learn, OpenCV и многих других. Из библиотек визуализации данных для Python Bokeh преобладает как самая функциональная и мощная. Эта библиотека поддерживает несколько интерфейсов, охватывающих многие распространенные варианты применения.

     03.11.2020       Выпуск 359 (02.11.2020 - 08.11.2020)       Статьи

Определение токсичных комментариев на русском языке

Сегодня социальные сети превратились в одну из главных коммуникационных платформ как в онлайне, так и реальной жизни. Свобода выражения разных точек зрения, в том числе токсичных, агрессивных и оскорбительных комментариев может иметь долговременные негативные последствия для мнений людей и социальной сплочённости. Поэтому одной из важнейших задач современного общества является разработка средств автоматического определения токсичной информации в интернете для уменьшения негативных последствий.

     03.11.2020       Выпуск 359 (02.11.2020 - 08.11.2020)       Статьи

Прототип на «коленке»: cоздание приложения для мониторинга датчиков сердечного ритма в спортивном зале

Однажды за утренним кофе обсуждали с приятелем современные технологии Интернета вещей и разговорились на предмет реализации системы мониторинга фитнес-оборудования в спортивном клубе. Приятель искал способ реализации своей идеи с нулевой стартовой стоимостью, а мне интересно было сделать что-то полезное и устроить себе очередную проверку знаний и творческих способностей.

     02.11.2020       Выпуск 359 (02.11.2020 - 08.11.2020)       Статьи

Подборка статей о машинном обучении: кейсы, гайды и исследования за октябрь 2020

В октябре традиционно в центре внимания вновь GPT-3. С моделью от OpenAI связано сразу несколько новостей — хорошая и не очень.

     02.11.2020       Выпуск 359 (02.11.2020 - 08.11.2020)       Статьи

Как искусственный интеллект борется с вредителями

Сегодня, в преддверии старта набора на новый поток курса «Machine Learning», делимся с вами переводом поста из блога PyTorch, в котором рассказывается о работе ИИ для борьбы с вредителями, который анализирует ситуацию по фотографиям феромоновых ловушек в условиях индийской глубинки, где выращивают хлопок, о применении PyTorch Mobile для развертывания моделей прямо на смартфоне в оффлайне, о сжатии моделей и, конечно, немного о том, как работать с аномальными изображениями, которые отправляют индийские фермеры.

     02.11.2020       Выпуск 359 (02.11.2020 - 08.11.2020)       Статьи

Вскрытие покажет: Решаем лёгкий crackme и пишем генератор ключа

Доброго времени суток читающий. Мне хочется рассказать тебе про алгоритм решения одного лёгкого crackme и поделиться кодом генератора. Это был один из первых crackme, который я решил.

На просторах сети найден был наш подопотный. Это сrackme.

     30.10.2020       Выпуск 358 (26.10.2020 - 01.11.2020)       Статьи

Стресс-тестер для соревнований по программированию

Во-первых, не бойтесь названия «стресс-тестер». Это просто модный термин для написанного мной служебного инструмента для соревнований по программированию. Вместо того чтобы просто дать вам код, я расскажу о стратегии и плане, которые у меня были, когда я писал этот инструмент.

     29.10.2020       Выпуск 358 (26.10.2020 - 01.11.2020)       Статьи

Ловля цен. Практическое руководство в море закупок

Начнем с самого простого способа – попробуем ловить рыбу руками. Открываем базу товаров с закупок и начинаем искать похожий товар. Высока вероятность, что к вечеру мы так ничего и не поймаем.

Попробуем как-то отфильтровать базу товаров с закупок. Каждому товару в закупках присваивается код ОКПД2. Общероссийский классификатор продукции по видам экономической деятельности это код, который содержит информацию о товаре.

     28.10.2020       Выпуск 358 (26.10.2020 - 01.11.2020)       Статьи

Как нарисовать холдинг, цепочки владения и посчитать доли КИК

В юридической практике корпоративных юристов относительно недавно (несколько лет назад) появилась необходимость составлять и подавать уведомления о контролируемых иностранных компаниях (КИК) в рамках ст. 25.13 НК РФ. Суть этой обязанности — составить и подать документ, в котором будут отражены все связи общества в холдинге по цепочкам.

     28.10.2020       Выпуск 358 (26.10.2020 - 01.11.2020)       Статьи

Необходимый инструмент для каждого дата-сайентиста

Давайте посмотрим правде в глаза: обучение модели машинного обучения отнимает много времени, даже с учетом развития вычислительной техники за последние несколько лет. Даже самые тривиальные модели имеют более миллиона параметров. В масштабе крупнее у моделей бывает более миллиарда параметров — у GPT-3 их более 175 миллиардов! и обучение этих моделей занимает дни, а то и недели. Как дата-сайентисты мы хотели бы следить за метриками модели, чтобы знать, работает ли она, как мы того ожидаем. Но нет смысла сидеть рядом с компьютером, часами отслеживая показатели. Хорошо было бы получить все эти данные на телефон.

     28.10.2020       Выпуск 358 (26.10.2020 - 01.11.2020)       Статьи

Пишем бот для пазл игры на Python

Давно хотел попробовать свои силы в компьютерном зрении и вот этот момент настал. Интереснее обучаться на играх, поэтому тренироваться будем на боте. В статье я попытаюсь подробно расписать процесс автоматизации игры при помощи связки Python + OpenCV.

     27.10.2020       Выпуск 358 (26.10.2020 - 01.11.2020)       Статьи

Реализуем и сравниваем оптимизаторы моделей в глубоком обучении

Реализуем и сравниваем 4 популярных оптимизатора обучения нейронных сетей: оптимизатор импульса, среднеквадратичное распространение, мини-пакетный градиентный спуск и адаптивную оценку момента. Репозиторий, много кода на Python и его вывод, визуализации и формулы — всё это под катом.

     27.10.2020       Выпуск 358 (26.10.2020 - 01.11.2020)       Статьи

AutoVIML: Автоматизированное машинное обучение

Машинное обучение обладает преимуществом обучения алгоритмов, которые автоматически улучшаются, используя полученный опыт. Существует N различных алгоритмов и методов машинного обучения, и вам, как правило, нужно попробовать множество из них, чтобы найти лучшую модель прогнозирования для вашего датасета -  ту, которая будет иметь наивысшую точность.

Большинство методов машинного обучения, таких как регрессионные методы, классификация и другие модели, есть в Sklearn, но, чтобы выбрать, какой метод лучше всего подходит в нашем конкретном случае, нужно опробовать все эти модели вместе с настройкой гиперпараметров и найти наиболее эффективную модель. Вся эта работа отнимает много сил и времени, объем которых можно уменьшить с помощью пакета AutoVIML в Python.

AutoVIML – это открытый пакет Python, который упрощает машинное обучение.

     26.10.2020       Выпуск 358 (26.10.2020 - 01.11.2020)       Статьи

Создание камеры-ловушки с использованием Raspberry Pi, Python, OpenCV и TensorFlow

Я сильно верю в обучение через практику, через создание чего-то нового. А для того чтобы что-то создавать, нужно чтобы работа приносила бы удовольствие.

Я начну рассказ о моём новом проекте с того, что раскрою причины, по которым решил попытаться создать камеру-ловушку на основе Raspberry Pi.

     26.10.2020       Выпуск 358 (26.10.2020 - 01.11.2020)       Статьи

Расширение возможностей алгоритмов Машинного Обучения с помощью библиотеки daal4py

Каждый человек, который когда-либо сталкивался с алгоритмами машинного обучения знает, что даже простые ML модели на большом объёме данных могут обучаться непозволительно долго. Задачи восстановления зависимостей, классификации объектов оборачиваются минутами, а то и часами обучения сети.

 

Данная статья продемонстрирует, как на примере алгоритмов, взятых из библиотеки Scikit-Learn, можно расширить возможности обучения нейронных сетей, путём использования ускоренных вычислений библиотеки daal4py.

     26.10.2020       Выпуск 358 (26.10.2020 - 01.11.2020)       Статьи

Разбор вступительных задач Школы Программистов hh.ru

20 октября закончился набор в Школу программистов hh. Он длился два с половиной месяца. Мы благодарим всех участников, уделивших время попытке поступить к нам. Надеемся, вам понравились задания и вы получили удовольствие от их решения!

     26.10.2020       Выпуск 358 (26.10.2020 - 01.11.2020)       Статьи

Ускорение CPython в 5 раз

О финансировании для ускорения CPython