IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
консультируем про IT, Python

     06.03.2023       Выпуск 481 (06.03.2023 - 12.03.2023)       Статьи

Не пытайтесь измерить использование памяти в Pandas

Представьте: у вас есть файл с данными, которые вы хотите обработать в Pandas. Хочется быть уверенным, что память не закончится. Как оценить использование памяти с учетом размера файла? Все эти оценки могут как занижать, так и завышать использование памяти. На самом деле оценивать использование памяти просто не стоит.

     05.03.2023       Выпуск 480 (27.02.2023 - 05.03.2023)       Статьи

От широких датафреймов в Pandas к длинным и обратно

Изменение размерности датафреймов Pandas — одна из наиболее типовых задач при обработке данных в аналитике. Датафрейм можно переводить и из длинного формата в широкий, и из широкого в длинный. А чем же они отличаются друг от друга?

     05.03.2023       Выпуск 480 (27.02.2023 - 05.03.2023)       Статьи

Основы PyCharm

Сегодня я расскажу новичкам про полезные и удобные функции PyCharm. Эта статья предназначена для тех, кто уже знаком с PyCharm и написал свои первые программы. Затронем основной функционал пайчарма, который может упростить и ускорить вашу работу и узнаем, как запускать сервер и тесты Django в один клик. А ещё, я поделюсь подборкой полезных плагинов и горячих клавиш.

     04.03.2023       Выпуск 480 (27.02.2023 - 05.03.2023)       Статьи

Chaos Engineering, применение на практике

В современном мире, где ПО является фундаментальной частью нашей жизни, надежность и отказоустойчивость систем приобрела первостепенное значение. Chaos Engineering - это дисциплина, направленная на тестирование и повышение отказоустойчивости сложных распределенных систем путем проведения контролируемых экспериментов, имитирующих реальные сценарии отказов. Такой подход помогает выявить и устранить потенциальные проблемы до того, как они появились и могли бы привести к значительным сбоям, сократить время простоя и повысить общую доступность систем. В этой статье мы рассмотрим Chaos Engineering и преимущества этого подхода, известные интеграции, результаты, а также приведем примеры кода, чтобы показать, как использовать данную технологию на практике.

     03.03.2023       Выпуск 480 (27.02.2023 - 05.03.2023)       Статьи

Справится ли ChatGPT с внесением изменения в код?

В предыдущей статье я рассказывал как провести рефакторинг кода GildedRose с целью снижения Time2Market.В результате из кода с цикломатической сложностью 19 получился код с цикломатической сложностью 5, при этом сам код изменился до неузнаваемости. Мне стало любопытно сможет ли ChatGPT описать что делает этот код и реализовать в нем новое требование.Что из этого вышло — узнайте в тексте статьи.

     03.03.2023       Выпуск 480 (27.02.2023 - 05.03.2023)       Статьи

Как без денег и знаний в AI повторил Copilot'а

Создаём своего Copilot'а без знаний в AI и денег.

     03.03.2023       Выпуск 480 (27.02.2023 - 05.03.2023)       Статьи

Алгоритмы быстрого умножения чисел: от столбика до Шенхаге-Штрассена

При написании высокоуровневого кода мы редко задумываемся о том, как реализованы те или иные инструменты, которые мы используем. Ради этого и строится каскад абстракций: находясь на одном его уровне, мы можем уместить задачу в голове целиком и сконцентрироваться на её решении.

И уж конечно, никогда при написании a * b мы не задумываемся о том, как реализовано умножение чисел a и b в нашем языке. Какие вообще есть алгоритмы умножения? Это какая‑то нетривиальная задача?

В этой статье я разберу с нуля несколько основных алгоритмов быстрого умножения целых чисел вместе с математическими приёмами, делающими их возможными.

     03.03.2023       Выпуск 480 (27.02.2023 - 05.03.2023)       Статьи

Бот для телеграмма, использующий Яндекс.Диск (Python)

О том как я делал бота, который файлы с яндекс диска показывает, для лично-производственных целей.

     02.03.2023       Выпуск 480 (27.02.2023 - 05.03.2023)       Статьи

Задача «Индекс Линкольна»

Предположим ваш тестер нашел в программе 20 ошибок. И теперь вы хотите прикинуть сколько в программе всего ошибок на самом деле. Вы точно знаете что в программе как минимум 20 ошибок, и если вы абсолютно уверены в высокой квалификации вашего тестера вы можете предположить что в программе на самом деле где-то около 20 ошибок. Но что если квалификация вашего тестера вызывает сомнения? Возможно в программе сотни ошибок. Как в этом случае вы можете оценить количество ошибок? Увы имея в своем распоряжении только одного тестера ничего больше сделать нельзя. Но если у вас два тестера то у вас есть отличный способ оценить общее количество ошибок даже если квалификация тестеров вызывает сомнения.

     02.03.2023       Выпуск 480 (27.02.2023 - 05.03.2023)       Статьи

Как я написал Telegram-бота для учёта подписок

Пока тестил подписки, решил подойти к этому основательно и начал вести учёт трат. С одной стороны, не хотелось, чтобы деньги с зарплатной карты списывались из-за того, что я забыл отключить пробный период. С другой стороны, заводить левую карту, на которой нет денег, тоже было не очень удобно, так как планировал пользоваться подписками, которые мне понравятся. Но вообще с точки зрения учёта это самый годный вариант, так как с пустой карты ничего и не потратишь

     02.03.2023       Выпуск 480 (27.02.2023 - 05.03.2023)       Статьи

Просим бота написать бота

В этой статье хочу поделиться интересным опытом работы с ChatGPT, в рамках которого
был написан телеграм-бот на языке Python, использующий API OpenAI для
получения ответов на запросы.

     01.03.2023       Выпуск 480 (27.02.2023 - 05.03.2023)       Вопросы и обсуждения

Python Bytes: #325 It's called a merge conflict

Очередной выпуск англоязычного подкаста Python Bytes

     28.02.2023       Выпуск 480 (27.02.2023 - 05.03.2023)       Статьи

Книга «40 алгоритмов, которые должен знать каждый программист на Python»


Понимание работы алгоритмов и умение применять их для решения прикладных задач – must-have для любого программиста или разработчика. Эта книга поможет вам не только развить навыки использования алгоритмов, но и разобраться в принципах их функционирования, в их логике и математике.

     28.02.2023       Выпуск 480 (27.02.2023 - 05.03.2023)       Статьи

Особенности автоматического дифференцирования в PyTorch. Часть 1

PyTorch активно развивается более пяти лет и представляет собой целую экосистему для создания моделей машинного обучения на основе глубоких нейронных сетей. У подобных ИТ-продуктов широкий спектр применения. В частности, они помогают научному и бизнес-сообществу проводить исследования, вести разведку данных и проверять гипотезы. Несмотря на то, что на сегодняшний день это один из самых популярных фреймворков машинного обучения в мире, в рунете пока довольно мало статей о его технических особенностях.

     28.02.2023       Выпуск 480 (27.02.2023 - 05.03.2023)       Статьи

VS Code, python, контейнеры — как обуздать эту триаду и разрабатывать внутри контейнера

Как пользоваться VS Code в полную силу Это небольшой туториал о настройке VS Code для работы с python. Здесь вы не увидите каких-то божественных откровений — тут будет просто мой опыт о том, как сделать свою работу/хобби немного комфортнее и почему я пришел именно к такой конфигурации.

     28.02.2023       Выпуск 480 (27.02.2023 - 05.03.2023)       Статьи

Об эффекте занижения коэффициента линейной регрессии «шумами» данных, или почему все-таки «регрессия»

Как сказал Йозеф Швейк, войдя в одно очень уважаемое заведение, "Добрый вечер всей честной компании" - от себя мне осталось лишь присовокупить к этой блестящей фразе "пользователей контента Хабра!" Прошу, однако же, в отличие от истории Швейка, не встречать мое приветствие "тычками под ребра" и комментариями про идиотизм автора, решившегося представить свой первый опус взыскательной публике.

     27.02.2023       Выпуск 480 (27.02.2023 - 05.03.2023)       Статьи

Основы индексации и срезов в Python

Все сталкиваются с индексами на самых ранних стадиях освоения языка, как правило, при изучении списков. Вероятно, вы и так знаете, что индексация в Python начинается с нуля. У нас есть список movies, тогда операция movies[0] вернёт первый элемент списка.

     26.02.2023       Выпуск 479 (20.02.2023 - 26.02.2023)       Статьи

О «раздутом пузыре» нейросетей

В этом посте я попытаюсь разобраться, что из сказанного является правдой. Утверждения:
1. Закон Мура больше не выполняется из-за фундаментальных физических ограничений ⇒ масштабирование нейросетевых моделей по вычислительному бюджету невозможно.
2. Нейросетевые модели внедряются слишком медленно.
3. Ответы нейросетевых моделей неконтролируемы и неинтерпретируемы.Дальше обсудим каждое из них. Читать далее

     25.02.2023       Выпуск 479 (20.02.2023 - 26.02.2023)       Статьи

10 первых ошибок в карьере ML-инженера

Работа ML-инженера заключается не только в обучении моделей — хороший специалист погружается в бизнес-контекст, умеет доносить мысли до коллег без ML-бэкграунда, а также не забывает про тесты, дизайн-документы и документацию. Богдан Печёнкин, автор Симулятора ML, собрал 10 ошибок специалистов, которые зачастую встречаются в первые годы карьеры.