Выпуск 254

      Парсинг сайтов при помощи Python

Объем данных, доступных в Интернете, постоянно растет как по количеству, так и по форме. И эти данные очень часто бывают нужны для обучения ИИ. Большая часть этих данных доступна через API, но в то же время многие ценные данные по-прежнему доступны только через парсинг.

 

В данном руководстве будут рассмотрены несколько вариантов получения данных.

      Машинное обучение: прогнозируем цены акций на фондовом рынке

Машинное и глубокое обучение стали новой эффективной стратегией, которую для увеличения доходов используют многие инвестиционные фонды. В статье я объясню, как нейронные сети помогают спрогнозировать ситуацию на фондовом рынке — например, цену на акции (или индекс). В основе текста мой проект, написанный на языке Python. Полный код и гайд по программе можно найти на GitHub. Другие статьи по теме читайте в блоге на Medium.

      Python vs R

      Дорисовывание лиц с помощью машинного обучения

В этом примере показано использование различных алгоритмов машинного обучения для завершения изображений. Цель состоит в том, чтобы предсказать нижнюю половину лица, учитывая его верхнюю половину.

Первый столбец изображений показывает настоящие лица. Следующие столбцы иллюстрируют, как деревья (extremely randomized trees), метод k-ближайших соседей (k nearest neighbors/K-nn), линейная регрессия (linear regression) и RidgeCV (ridge regression complete) завершают нижнюю половину этих лиц.

      Котики против нейросети. Или выбираем и запускаем нейросеть для распознавания объектов на Raspberry Zero

Крохотный компьютер Raspberry — замечательная вещь. Я использовал Raspberry Zero W в паре проектов в течение последнего полугода. Подкупила простота протипирования и откатки различных идей. А теперь вот факультативно заинтересовал вопрос, потянет ли сей девайс полноценную сверточную сетку? [Спойлер — потянет, но есть забавые нюансы]. Кому интересна тема — добро пожаловать под кат. Осторожно, будет много котиков!

      Асинхронный Python для web разработки

      Отправляем email'ы с помощью Masonite Framework

      Анализ производительности WSGI-серверов: вернем uWSGI на место

На прошлой неделе был опубликован перевод статьи двухлетней давности Анализ производительности WSGI-серверов: Часть вторая, где незаслужено был обделен славой uWSGI.

 

Необходимо срочно перепроверить тесты!

      Transfer Learning: как быстро обучить нейросеть на своих данных

Машинное обучение становится доступнее, появляется больше возможностей применять эту технологию, используя «готовые компоненты». Например, Transfer Learning позволяет использовать накопленный при решении одной задачи опыт для решения другой, аналогичной проблемы. Нейросеть сначала обучается на большом объеме данных, затем — на целевом наборе.

      Отслеживание нескольких объектов с помощью dlib

      Готовим иерархическую кластеризацию или как я выявлял специализации у резюме

Я работаю разработчиком в hh.ru, и мне хочется перейти в датасайнс, но пока не хватает навыков. Поэтому в свободное от работы время я изучаю машинное обучение и стараюсь решать практические задачи из этой области. Недавно мне подкинули задачу по кластеризации наших резюме. Пост будет о том, как я решал её при помощи агломеративной иерархической кластеризации. Если не хочется читать, но интересен результат, то можно посмотреть сразу демо.

      Электронная подпись ГОСТ Р 34.10 документов формата PDF в офисном пакете LibreOffice

Пришла пора исполнить свой гражданский долг – заплатить налоги. Платить налоги мы будем через портал Госуслуги. В личный кабинет портала Госуслуг будем входить с помощью электронной подписи (терминология портала Госуслуг ), т.е. имея на руках сертификат, полученный в аккредитованном удостоверяющем центре (УЦ), и закрытый ключ. И то и другое я храню на токене PKCS#11 с поддержкой российской

      Перегружаем функции и операторы в Python

      Краткий обзор алгоритма машинного обучения Метод Опорных Векторов (SVM)

В данной статье мы изучим несколько аспектов SVM:

 

• теоретическую составляющую SVM;
• как алгоритм работает на выборках, которые невозможно разбить на классылинейно;
• пример использования на Python и имплементация алгоритма в библиотеке SciKit Learn.

В следующих статьях, я постараюсь рассказать о математической составляющей этого алгоритма.

      Пишем чат бота для ВКонтакте на python с помощью longpoll

Сейчас боты стали обыденностью и находятся на каждом шагу, но если тебе нужен свой бот в социальной сети вконтакте, то это легко реализовать.

      Скрипт сборщика цитат и распознания текста из видео на Python

Пост о скрипте, который скачивает видео с youtube и распознает в нем текст. Начать решил сразу с практической реализации. «Vdudictionary» — Скрипт сборщика сборника цитат героев «Вдудь» на Python. Юрий Дудь и его проект «Вдудь» не нуждается в представлении. Самые горячие интервью, которые интересно смотреть. Юрий Александрович умеет сделать интересное шоу, независимо от того, знаете ли Вы героя конкретного выпуска, являетесь его фанатом или впервые слышите это имя.

      Python Qt5 - QtWebEngine пример

      Test and Code: 51: функциональное тестирование

Аудио-подкаст

      StackOverflow: интересные вопросы за неделю (cl)

      Python 101: Episode #31 – lxml

      Python Junior подкаст. Говорим о собеседованиях разработчиков вчера, сегодня и завтра

      graph-cli - утилита для рисования графиков из csv

      Horizon - Applied Reinforcement Learning (Applied RL)

      Natasha - библиотека для выделения именованных сущностей для русского языка

      fuxploider - сканируем уязвимости при загрузке файла

      surreal - Open-Source Distributed Reinforcement Learning Framework

      vergeml - Machine Learning Environment

      statuscheck - проверяем доступность сервисов через их status pages

      algojammer – редактор для визуализации алгоритма

      Vespene – CI/CD и сервис автоматизации написанный на Django

      Django bugfix release: 2.1.3