IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
консультируем про IT, Python

     08.10.2020       Выпуск 355 (05.10.2020 - 11.10.2020)       Статьи
     07.10.2020       Выпуск 355 (05.10.2020 - 11.10.2020)       Статьи

Визуализация при помощи генеративных алгоритмов: дифференциальная сетка (2D и 3D) и трещины

Это развитие идей из публикации Визуализация при помощи генеративных алгоритмов: гифа, деревья, повторяющиеся и дифференциальные линии (на Python), однако вам необязательно читать ее — все проекты, описанные здесь самодостаточны.

Все что вам необходимо знать: последнее время автору были особенно интересны биологические образы и дифференциальный рост. В посте есть результаты экспериментов с различными биологическими и физическими закономерностями, в частности дифференциальной сеткой, в том числе в 3D, и трещинами.

     07.10.2020       Выпуск 355 (05.10.2020 - 11.10.2020)       Статьи

ipipou: больше чем просто нешифрованный туннель

Здесь будет о нешифрованном IPv4 туннеле, но не о «тёплом ламповом», а о модерновом «светодиодном». А ещё тут мелькают сырые сокеты, и идёт работа с пакетами в пространстве пользователя.

     06.10.2020       Выпуск 355 (05.10.2020 - 11.10.2020)       Статьи

Как сделать интерактивную карту с помощью Python и open source библиотек

Сегодня делимся с вами пошаговым руководством создания интерактивных карт для веб-приложения или блога. Просто сохраните эту статью в закладках. Хоть и существует, например, библиотека d3.js, которая может создавать пользовательские карты, есть несколько инструментов еще проще. В этом посте посмотрим на три простые в обращении, но мощные библиотеки Python с открытым исходным кодом и поработаем с ними.

     06.10.2020       Выпуск 355 (05.10.2020 - 11.10.2020)       Статьи

Разработка модели в PySpark ML на датасете с разными типами данных для ржавых чайников

Хочу раскрыть подробно одну интересную, но, к несчастью, не встречающуюся тему в документации Spark: как обучать модель в PySpark ML на датасете с разными типами данных (строковыми и числовыми)? Желание написать данную статью было вызвано необходимостью в течение нескольких дней просматривать Интернет в поисках необходимой статьи с кодом, ведь в официальном туториале от Spark приведён пример работы не то что с признаками одного типа данных, а вообще с одним признаком, а информация, как работать с несколькими колонками тем более разных типов данных, там отсутствует. Однако, подробно изучив возможности PySpark для работы с данными, у меня получилось написать рабочий код и понять как всё происходит, чем хочу поделиться и с вами. Так что полный вперёд, друзья!

     06.10.2020       Выпуск 355 (05.10.2020 - 11.10.2020)       Статьи
     05.10.2020       Выпуск 355 (05.10.2020 - 11.10.2020)       Статьи

Подборка статей о машинном обучении: кейсы, гайды и исследования за сентябрь 2020

Мы не устаем восхищаться возможностями GPT-3 и рассказывать о сферах ее применения, но многие при этом видят в алгоритме угрозу своей профессии.
И компания VMO, которая занимается A/B тестированием, решила провести соревнование — профессиональные копирайтеры против GPT-3.

     05.10.2020       Выпуск 355 (05.10.2020 - 11.10.2020)       Статьи

Разработка графического профайлера Python FunctionTrace

Сегодня мы делимся с вами переводом статьи создателя FunctionTrace — профайлера Python с интуитивно понятным графическим интерфейсом, который может профилировать многопроцессорные и многопоточные приложения и потребляет на порядок меньше ресурсов, чем другие профайлеры Python. Неважно, только учитесь ли вы веб-разработке на Python, либо уже давно используете его — всегда полезно понимать, что делает ваш код. О том, как появился этот проект, о деталях его разработки — далее под катом.

     05.10.2020       Выпуск 355 (05.10.2020 - 11.10.2020)       Статьи

Serverless телеграм бот с использованием Яндекс облака

Для студентов мы стараемся внедрить в учебный процесс новейшие технологии и «Serverless» боты являются одним из таких направлений.

Эта статья навеяна популярностью ресурса среди студентов-программистов, но я постараюсь рассказать всё максимально просто для совсем начинающих программистов. В итоге создадим простого Эхо-бота, как заготовку для различных модификаций.

     05.10.2020       Выпуск 355 (05.10.2020 - 11.10.2020)       Статьи

7 бесплатных книг, которые следует прочитать каждому дата-сайентисту


Самообразование — пожалуй, один из самых сложных путей и процессов для взрослого человека. Когда вокруг столько отвлекающих факторов, уже трудно заставить себя довести дело до конца (особенно если мотивация неочевидна). Но самообразование как эволюция — это неотъемлемый элемент жизни любого профессионала или того, кто хочет им стать. Книги в этом случае могут стать тем самым выстрелом, которым убиваются два зайца, вы и растете как специалист, и не «выпадаете из жизни». Автор материала подобрал 7 бесплатных электронных книг, которые помогут вам изучать Data Science и ML.

     05.10.2020       Выпуск 355 (05.10.2020 - 11.10.2020)       Статьи

Отношение один к одному: связывание модели пользователя с кастомной моделью профиля в Django

Снова базы данных? В реляционной базе данных есть три основных отношения: Отношение «один-к-одному»; Отношение «один-ко-многим»; Отношение «многие-ко-многим». В этой статье мы будем разбираться с первым из них – отношением «один-к-одному».

     05.10.2020       Выпуск 355 (05.10.2020 - 11.10.2020)       Статьи
     03.10.2020       Выпуск 354 (28.09.2020 - 04.10.2020)       Статьи

Формат таблиц в pandas

Если вы пока ещё не знаете как транслировать данные напрямую заказчику в подсознание или, на худой конец, текст сообщения в slack, вам пригодится информация о том, как сделать процесс интерпретации таблиц более быстрым и комфортным. Например, в excel для этого используется условное форматирование и спарклайны. А в этой статье мы посмотрим как визуализировать данные с помощью Python и библиотеки pandas: будем использовать свойства DataFrame.style и Options and settings.

     02.10.2020       Выпуск 354 (28.09.2020 - 04.10.2020)       Статьи
     02.10.2020       Выпуск 354 (28.09.2020 - 04.10.2020)       Статьи
     02.10.2020       Выпуск 354 (28.09.2020 - 04.10.2020)       Статьи

Простейший голосовой помощник на Python

Для создания голосового помощника не нужно обладать большими знаниями в программировании, главное понимать каким функционалом он должен владеть. Многие компании создают их на первой линии связи с клиентом для удобства, оптимизации рабочих процессов и наилучшей классификации звонков. В данной статье представлена программа, которая может стать основой для Вашего собственного чат-бота, а если точнее – голосового помощника для распознавания голоса и последующего выполнения команд. С ее помощью мы сможем понять принцип работы наиболее часто встречаемых голосовых помощников.

     02.10.2020       Выпуск 354 (28.09.2020 - 04.10.2020)       Статьи

Как задача из классического сбора данных, перешла в решение простенькой задачи MNIST. Или как я спарсил сайт ЦИК

В один из будничных дней, под вечер, от моего начальника прилетела интересная задачка. Прилетает ссылка с текстом: «хочу отсюда получить все, но есть нюанс». Через 2 часа расскажешь, какие есть мысли по решению задачи. Время 16:00.

     01.10.2020       Выпуск 354 (28.09.2020 - 04.10.2020)       Статьи

Robot Framework vs Pytest

Я активный сторонник Robot Framework. Уже писал на Хабре о том, что с его помощью можно решить практически любую задачу по автоматизации тестирования, особенно когда разработка ведется на Python. В той же статье я упоминал, что на смежных проектах в компании используется Pytest. Мне пришлось довольно близко познакомиться с этим инструментом, так что теперь я готов провести его полноценное сравнение с Robot Framework, конечно же, со своей персональной колокольни.