IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
читайте авторский блог

     07.03.2023       Выпуск 481 (06.03.2023 - 12.03.2023)       Статьи

Парсинг данных через api vk и google sheets api на python

Появилась потребность собирать статистику постов из группы в контакте и затем проанализировать реакции подписчиков на конкретные посты. Если переформулировать на выходе стоит задача с заданной периодичностью снимать показания статистики постов в вк и сохранять их.Я не профессиональный программист и не претендую, поэтому решил сделать все довольно просто.

     07.03.2023       Выпуск 481 (06.03.2023 - 12.03.2023)       Статьи

Тайны мозга. Анализируем данные MRI с помощью FreeSurfer и Python

Визуализация мозга это революционное направление в неврологии, оно позволяет исследователям получать беспрецедентное представление о структуре и функциях человеческого мозга. Одной из областей, где визуализация показала особые перспективы, является выявление паттернов мозговой активности, связанных с различными предрасположенностями, такими как черты личности, когнитивные способности и психические расстройства. В этой статье мы рассмотрим, как эту технологию можно использовать для выявления предрасположенностей человека, и какие открытия были сделаны в этой области, увидим как, используя данные MRI получить сведения о базовых структурах мозга на примере его коры.

     06.03.2023       Выпуск 481 (06.03.2023 - 12.03.2023)       Статьи

Эргономичный мониторинг на практике

Мониторинг проекта — это комплексная задача. В неё входит не только передача метрик, но и сбор логов, трейсов, health-чеки, правила для алертов и система их доставки до ответственных разработчиков.Важно, чтобы мониторинг развивался планомерно в процессе разработки бизнес-логики. В этой статье я расскажу о том, как подойти к реализации мониторинга со стороны разработки так, чтобы он был полезен и удобен в использовании.

     06.03.2023       Выпуск 481 (06.03.2023 - 12.03.2023)       Статьи

Книга «Внутри CPYTHON: гид по интерпретатору Python»

CPython, самая популярная реализация Python, абстрагируется от сложностей ОС и предоставляет платформу для создания масштабируемых и высокопроизводительных приложений. Каждому python-разработчику на какой-то стадии необходимо будет узнать, как работает CPython. Это позволит в полной мере использовать его мощь и оптимизировать приложения. Вы разберетесь с основными концепциями внутреннего устройства CPython и научитесь: читать исходный код интерпретатора CPython и свободно ориентироваться в нем; вносить изменения в синтаксис Python и компилировать их в вашу собственную версию CPython; понимать внутреннюю реализацию таких структур, как списки, словари и генераторы; управлять памятью CPython; масштабировать код Python за счет параллелизма и конкурентного выполнения; дополнять базовые типы новой функциональностью; выполнять наборы тестов; профилировать и проводить бенчмарк Python-кода и исполнительной среды; отлаживать код C и Python на профессиональном уровне; изменять или обновлять компоненты библиотеки CPython, чтобы они могли использоваться в будущих версиях.

     06.03.2023       Выпуск 481 (06.03.2023 - 12.03.2023)       Статьи

Особенности автоматического дифференцирования в PyTorch. Часть 2

Это вторая часть статьи‑переводаот команды разработчиков PyTorch (Адама Пашке, Сэма Гросса и их единомышленников). В первой части авторы разобрали принципиальные отличия PyTorch от DyNet и других фреймворков и библиотек автоматического дифференцирования, а также особенности его интерфейса (флаги переменных, хуки, расширения). Сегодня — информация о реализации данного фреймворка в таких аспектах как управление памятью (оперативная очистка промежуточных значений, когда они становятся ненужными), выполнение операций над тензором и способ их аннулирования.

     06.03.2023       Выпуск 481 (06.03.2023 - 12.03.2023)       Статьи

Отслеживаем изменения в doc и docx при помощи Python

У нас появилась необходимость отслеживать изменения в doc и docx файлах с фиксацией имени пользователя, который внес эти изменения. Сами файлы находятся в расшаренной папке (да, да, общие папки это зло, но убедить у меня не получилось) и необходимо знать кто внес изменения. Подробнее под катом.

     06.03.2023       Выпуск 481 (06.03.2023 - 12.03.2023)       Статьи

SimpleUI фреймворк для быстрого создания бизнес приложений на Android

SimpleUI для Android — это бесплатный full‑app фреймворк для упрощенного создания широкого спектра бизнес‑приложений (клиентских приложений для ERP,WMS и других корпоративных систем, а также самостоятельных приложений). За счет особой архитектуры и принципов проектирования значительно сокращается время разработки, распространение и администрирование, поддержка.

     06.03.2023       Выпуск 481 (06.03.2023 - 12.03.2023)       Статьи

Не пытайтесь измерить использование памяти в Pandas

Представьте: у вас есть файл с данными, которые вы хотите обработать в Pandas. Хочется быть уверенным, что память не закончится. Как оценить использование памяти с учетом размера файла? Все эти оценки могут как занижать, так и завышать использование памяти. На самом деле оценивать использование памяти просто не стоит.

     05.03.2023       Выпуск 480 (27.02.2023 - 05.03.2023)       Статьи

От широких датафреймов в Pandas к длинным и обратно

Изменение размерности датафреймов Pandas — одна из наиболее типовых задач при обработке данных в аналитике. Датафрейм можно переводить и из длинного формата в широкий, и из широкого в длинный. А чем же они отличаются друг от друга?

     05.03.2023       Выпуск 480 (27.02.2023 - 05.03.2023)       Статьи

Основы PyCharm

Сегодня я расскажу новичкам про полезные и удобные функции PyCharm. Эта статья предназначена для тех, кто уже знаком с PyCharm и написал свои первые программы. Затронем основной функционал пайчарма, который может упростить и ускорить вашу работу и узнаем, как запускать сервер и тесты Django в один клик. А ещё, я поделюсь подборкой полезных плагинов и горячих клавиш.

     04.03.2023       Выпуск 480 (27.02.2023 - 05.03.2023)       Статьи

Chaos Engineering, применение на практике

В современном мире, где ПО является фундаментальной частью нашей жизни, надежность и отказоустойчивость систем приобрела первостепенное значение. Chaos Engineering - это дисциплина, направленная на тестирование и повышение отказоустойчивости сложных распределенных систем путем проведения контролируемых экспериментов, имитирующих реальные сценарии отказов. Такой подход помогает выявить и устранить потенциальные проблемы до того, как они появились и могли бы привести к значительным сбоям, сократить время простоя и повысить общую доступность систем. В этой статье мы рассмотрим Chaos Engineering и преимущества этого подхода, известные интеграции, результаты, а также приведем примеры кода, чтобы показать, как использовать данную технологию на практике.

     03.03.2023       Выпуск 480 (27.02.2023 - 05.03.2023)       Статьи

Справится ли ChatGPT с внесением изменения в код?

В предыдущей статье я рассказывал как провести рефакторинг кода GildedRose с целью снижения Time2Market.В результате из кода с цикломатической сложностью 19 получился код с цикломатической сложностью 5, при этом сам код изменился до неузнаваемости. Мне стало любопытно сможет ли ChatGPT описать что делает этот код и реализовать в нем новое требование.Что из этого вышло — узнайте в тексте статьи.

     03.03.2023       Выпуск 480 (27.02.2023 - 05.03.2023)       Статьи

Как без денег и знаний в AI повторил Copilot'а

Создаём своего Copilot'а без знаний в AI и денег.

     03.03.2023       Выпуск 480 (27.02.2023 - 05.03.2023)       Статьи

Алгоритмы быстрого умножения чисел: от столбика до Шенхаге-Штрассена

При написании высокоуровневого кода мы редко задумываемся о том, как реализованы те или иные инструменты, которые мы используем. Ради этого и строится каскад абстракций: находясь на одном его уровне, мы можем уместить задачу в голове целиком и сконцентрироваться на её решении.

И уж конечно, никогда при написании a * b мы не задумываемся о том, как реализовано умножение чисел a и b в нашем языке. Какие вообще есть алгоритмы умножения? Это какая‑то нетривиальная задача?

В этой статье я разберу с нуля несколько основных алгоритмов быстрого умножения целых чисел вместе с математическими приёмами, делающими их возможными.

     03.03.2023       Выпуск 480 (27.02.2023 - 05.03.2023)       Статьи
     03.03.2023       Выпуск 480 (27.02.2023 - 05.03.2023)       Статьи
     03.03.2023       Выпуск 480 (27.02.2023 - 05.03.2023)       Статьи

Бот для телеграмма, использующий Яндекс.Диск (Python)

О том как я делал бота, который файлы с яндекс диска показывает, для лично-производственных целей.

     03.03.2023       Выпуск 480 (27.02.2023 - 05.03.2023)       Статьи
     02.03.2023       Выпуск 480 (27.02.2023 - 05.03.2023)       Статьи

Задача «Индекс Линкольна»

Предположим ваш тестер нашел в программе 20 ошибок. И теперь вы хотите прикинуть сколько в программе всего ошибок на самом деле. Вы точно знаете что в программе как минимум 20 ошибок, и если вы абсолютно уверены в высокой квалификации вашего тестера вы можете предположить что в программе на самом деле где-то около 20 ошибок. Но что если квалификация вашего тестера вызывает сомнения? Возможно в программе сотни ошибок. Как в этом случае вы можете оценить количество ошибок? Увы имея в своем распоряжении только одного тестера ничего больше сделать нельзя. Но если у вас два тестера то у вас есть отличный способ оценить общее количество ошибок даже если квалификация тестеров вызывает сомнения.

     02.03.2023       Выпуск 480 (27.02.2023 - 05.03.2023)       Статьи

Как я написал Telegram-бота для учёта подписок

Пока тестил подписки, решил подойти к этому основательно и начал вести учёт трат. С одной стороны, не хотелось, чтобы деньги с зарплатной карты списывались из-за того, что я забыл отключить пробный период. С другой стороны, заводить левую карту, на которой нет денег, тоже было не очень удобно, так как планировал пользоваться подписками, которые мне понравятся. Но вообще с точки зрения учёта это самый годный вариант, так как с пустой карты ничего и не потратишь