IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
читайте авторский блог

     15.05.2021       Выпуск 386 (10.05.2021 - 16.05.2021)       Статьи

AI Pool: Using Autoencoder to generate digits with Keras

This article contains a real-time implementation of an autoencoder which we will train and evaluate using very known public benchmark dataset called MNIST data.

     15.05.2021       Выпуск 386 (10.05.2021 - 16.05.2021)       Статьи

Матрица-Перематрица

Работа нейронной сети основана на манипуляциях с матрицами. Для обучения используются разнообразные методы, многие из которых выросли из метода градиентного спуска, где необходимо умение обращаться с матрицами, вычислять градиенты (производные по матрицам). Если заглянуть “под капот” нейронной сети, можно увидеть цепочки из матриц, выглядящие зачастую устрашающе. Проще говоря, “нас всех подстерегает матрица”. Пора познакомиться поближе.

     15.05.2021       Выпуск 386 (10.05.2021 - 16.05.2021)       Статьи

CatBoost и ML-конкурсы

Эта статья основана на данных конкурса, который компания Driven Data опубликовала для решения проблем с источниками воды в Танзании. Краткий анализ данных, подготовка данных и бэйзлайн модель с использованием CatBoost. Целевая аудитория - те, кто хотят начать свой путь в ML-соревнованиях.

     14.05.2021       Выпуск 386 (10.05.2021 - 16.05.2021)       Статьи

Погружаемся в статистику вместе с Python. Часть 1. Z-статистика и p-value

Не знаю как вам, а мне статистика далась очень не просто. Причем "далась" - это еще громко сказано. Да, оказалось что можно довольно долго ехать на методичках, кое как вникая в смысл четырехэтажных формул, а иногда даже не понимая результатов, но все равно ехать. Ехать и не получать никакого удовольствия - вроде бы все понятно, но ощущение, что ты "не совсем в теме" все никак не покидает. Какое-то время пытался читать книги по R и не то что бы совсем безрезультатно, но и не "огонь". Нашел наикрутейшую книгу "Статистика для всех" Сары Бослаф, прочитал... все равно остались какие-то нюансы смысл которых так и не понятен до конца.

 

     14.05.2021       Выпуск 386 (10.05.2021 - 16.05.2021)       Статьи

С помощью Python создаём математические анимации, как на канале 3Blue1Brown

Вы наверняка когда-то испытывали трудности в понимании математических концепций алгоритмов машинного обучения и для лучшего понимания темы пользовались обучающим ресурсом 3Blue1Brown. 3Blue1Brown — известный математический YouTube-канал, который ведёт Грант Сандерсон. Многим нравится 3Blue1Brown за прекрасные объяснения Гранта и великолепные анимации.

     14.05.2021       Выпуск 386 (10.05.2021 - 16.05.2021)       Статьи

Если у вас нет плюсов

Мой друг Алексей ищет работу и ходит на собеседования. После которых интересуется, как-бы я ответил на некоторые из заданных вопросов.Отвечая на один такой вопрос, я слегка увлёкся, и материала набралось на целую статью. Впрочем, небольшую и несерьёзную - пятничного формата. Хотите немного развлечься? Вопрос лёгкий. Надеюсь, вы попытаетесь ответить на него самостоятельно, прежде чем читать дальше. Итак:"Сложить два целых числа (от 1 до 99) без использования оператора 'плюс'. Дайте пять разных ответов" Как думаете, сколько там ответов?

     13.05.2021       Выпуск 386 (10.05.2021 - 16.05.2021)       Статьи

Как построить систему распознавания лиц с помощью Elasticsearch и Python

Пытались ли вы когда-нибудь искать объекты на изображениях? Elasticsearch может помочь вам хранить, анализировать и искать объекты на изображениях или видео.

В этом кратком руководстве мы покажем вам, как создать систему распознавания лиц с помощью Python. Узнайте больше о том, как обнаруживать и кодировать информацию о внешности - и находить совпадения в поиске.

     13.05.2021       Выпуск 386 (10.05.2021 - 16.05.2021)       Статьи

Оно живое! Вышла версия Flask 2.0

Незаметно от всех 12 мая 2021 вышла новая версия известного микрофреймворка Flask. Хотя казалось, что во Flask есть уже все, ну или почти все, что нужно для микрофреймворка.
Предвкушая интерес, а что же нового завезли, оставлю ссылку на Change log.

     13.05.2021       Выпуск 386 (10.05.2021 - 16.05.2021)       Статьи

Липкие сессии для самых маленьких [Часть 2]. Или как понять kubernetes и преисполниться в своём познании

Липкие сессии (Sticky-session) — это особый вид балансировки нагрузки, при которой трафик поступает на один определенный сервер группы. Как правило, перед группой серверов находится балансировщик нагрузки (Nginx, HAProxy), который и устанавливает правила распределения трафика на доступные сервера.В первой части цикла мы уже разобрали как создавать липкие сессии с помощью Nginx. Во второй части разберем создание подобной балансировки средствами Kubernetes.Так как статьи в основном направлены на начинающих - придется коснуться основ kubernetes. Да-да, я знаю в интернете полно материала для изучения куба. Но здесь будет минимум душной теории и максимум практики. Лучше один раз развернуть тестовое приложение в кластере и понять основные принципы, чем читать тонну скучных мануалов.

     13.05.2021       Выпуск 386 (10.05.2021 - 16.05.2021)       Статьи

[Перевод] Запуск домашнего веб-сервера без статического IP с помощью Python

Задался тут вопросом, как можно обойтись без статического IP для экспериментов в домашних условиях. Наткнулся на вот эту статью.

Если вы хотите развернуть свой вебсервер с доступом извне, а платить провайдеру за статический IP не хотите, то данное решение вполне себе выход, которое можно в дальнейшем подогнать под свои нужды.

 

     12.05.2021       Выпуск 386 (10.05.2021 - 16.05.2021)       Статьи
     12.05.2021       Выпуск 386 (10.05.2021 - 16.05.2021)       Статьи
     12.05.2021       Выпуск 386 (10.05.2021 - 16.05.2021)       Статьи

Анализ банковских выписок в формате .xlsx с помощью Python и openpyxl

Нигде в практике юриста не появляется столь острая необходимость в анализе данных, как в банкротных делах: в таких случаях порой нужно в кратчайшие сроки проанализировать большие объемы информации из банковских выписок, чтобы найти подозрительные транзакции или восстановить уничтоженную/спрятанную/подправленную бухгалтерскую отчетность.

     12.05.2021       Выпуск 386 (10.05.2021 - 16.05.2021)       Статьи

Руководство по моему стилю тестирования на Python

В этой статье я попыталась собрать несколько своих техник тестирования на Python. Не стоит воспринимать их как догму, поскольку, думаю, со временем я обновлю свои практики.

     12.05.2021       Выпуск 386 (10.05.2021 - 16.05.2021)       Статьи

Изучаем YELP с помощью Neo4j, python

YELP — зарубежная сеть, которая помогает людям находить местные предприятия и услуги, основываясь на отзывах, предпочтениях и рекомендациях. В текущей статей будет проведен определенный ее анализ с использованием платформы Neo4j, относящаяся к графовым СУБД, а также язык python.

     12.05.2021       Выпуск 386 (10.05.2021 - 16.05.2021)       Статьи
     12.05.2021       Выпуск 386 (10.05.2021 - 16.05.2021)       Статьи

Python и статистический вывод: часть 4

Этот заключительный пост посвящен анализу дисперсии. Анализ дисперсии, который в специальной литературе также обозначается как ANOVA от англ. ANalysis Of VAriance, — это ряд статистических методов, используемых для измерения статистической значимости расхождений между группами. Он был разработан чрезвычайно одаренным статистиком Рональдом Фишером, который также популяризировал процедуру проверки статистической значимости в своих исследовательских работах по биологическому тестированию.

     12.05.2021       Выпуск 386 (10.05.2021 - 16.05.2021)       Статьи

Python и статистический вывод: часть 3

Для статистиков и исследователей данных проверка статистической гипотезы представляет собой формальную процедуру. Стандартный подход к проверке статистической гипотезы подразумевает определение области исследования, принятие решения в отношении того, какие переменные необходимы для измерения предмета изучения, и затем выдвижение двух конкурирующих гипотез. Во избежание рассмотрения только тех данных, которые подтверждают наши субъективные оценки, исследователи четко констатируют свою гипотезу заранее. Затем, основываясь на данных, они применяют выборочные статистики с целью подтвердить либо отклонить эту гипотезу.

     11.05.2021       Выпуск 386 (10.05.2021 - 16.05.2021)       Статьи

Python и статистический вывод: часть 2

В статистической науке термины «выборка» и «популяция» имеют особое значение. Популяция, или генеральная совокупность, — это все множество объектов, которые исследователь хочет понять или в отношении которых сделать выводы. Например, во второй половине 19-го века основоположник генетики Грегор Йохан Мендель) записывал наблюдения о растениях гороха. Несмотря на то, что он изучал в лабораторных условиях вполне конкретные сорта растения, его задача состояла в том, чтобы понять базовые механизмы, лежащие в основе наследственности абсолютно всех возможных сортов гороха.