IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
консультируем про IT, Python

     28.01.2022       Выпуск 423 (24.01.2022 - 30.01.2022)       Статьи

API и ФССП: как это работает?

Часто в рамках аудиторских проверок возникает задача получения данных об исполнительном производстве (ИП) в отношении физических лиц с сайта ФССП. В принципе на сайте ФССП возможность получения такой информации есть – мы можем выгрузить сведения об ИП по нескольким реквизитам. А именно, по номеру исполнительного производства, по номеру исполнительного документа, по реквизитам физического лица и, в случае, если это юридическое лицо – по наименованию и адресу организации. Интерфейс поисковой формы интуитивно понятен, подробно ознакомиться с возможностями электронного банка данных ФССП можно в этой Памятке.

     28.01.2022       Выпуск 423 (24.01.2022 - 30.01.2022)       Статьи

Внедрение зависимостей проще простого – на Python

В качестве иллюстрации для этой статьи рассмотрим проект-пример. Предположим, вы пишете код приложения-чатбота. Вы хотите, чтобы некоторые классы можно было переиспользовать от бота к боту, чтобы не переделывать всякий раз всю работу заново.

     27.01.2022       Выпуск 423 (24.01.2022 - 30.01.2022)       Статьи

Мой друг Netmiko. Часть 2: Три улучшения Python-скрипта

Продолжаю ковырять автоматизацию рутины на сети из Huawei коммутаторов. На этот раз изыскания, которые позволили сократить код в 3 раза, а именно: хосты и команды перенесены в отдельные файлы, пароль и имя пользователя больше не хранятся в открытом тексте. Есть демонстрация запуска скрипта.

     27.01.2022       Выпуск 423 (24.01.2022 - 30.01.2022)       Статьи

Удаление GIL из Python: заметки со встречи Python Core и Сэма Гросса

Во время ежегодного спринта разработчиков ядра Python мы встретились с Сэмом Гроссом, автором nogil — fork в Python 3.9, который удаляет GIL. Ниже — итоги встречи.

     27.01.2022       Выпуск 423 (24.01.2022 - 30.01.2022)       Статьи

Баги в API Хабра или 500 – это нормально?

О том, как найти баги в любом API за 5 минут и чем поможет Swagger Spec First + Schemathesis там, где генерация API контрактов из кода не предусмотрена или невозможна.

     26.01.2022       Выпуск 423 (24.01.2022 - 30.01.2022)       Статьи

Парсинг исторических данных с Google Scholar используя Python

Кратко о сути: парсинг исторических органических и цитируемых результатов 2017-2021 годов с Google Scholar используя пагинацию. Следом их сохранение в CSV и SQLite БД используя Python и библиотеку для веб-скрейпинга от SerpApi.

     25.01.2022       Выпуск 423 (24.01.2022 - 30.01.2022)       Статьи

Ещё одно решение игры Wordle на Python

В начале 2022 года мир захватила головоломка Wordle и почти сразу стали появляться варианты решения. На Хабре уже появилось описания двух вариантов решения, но они мне не понравились, поэтому я изобретаю свой собственный велосипед. Ссылки на предыдущие решатели:

     24.01.2022       Выпуск 423 (24.01.2022 - 30.01.2022)       Статьи

Питон против Безумного Макса, или как я посты на Хабре замораживал

Я помню тот старый хабр. Логотип был похож на комок шерсти после отрыжки кота, я писал какие-то наивные статьи и мне казалось, что я очень крут (нет), а народ пилил годные технические полотна текста, и чтобы узнать инфу про чёрные точки на лице, нужно было посещать другие сайты. Это было прикольно.Потом что-то пошло не так, начали появляться какие-то полутехнические статьи, и (далее моя интерпретация событий) чтобы сохранить хабр, всех нетехнических писателей заманили в один корабль и отправили куда подальше на гиктаймс - подобно тому, как врач ампутирует руку пациенту, чтобы спасти жизнь. В данном случае, правда, врач подержал эту руку, посмотрел на неё, а потом пришил обратно.

     24.01.2022       Выпуск 423 (24.01.2022 - 30.01.2022)       Статьи

Torch Hub Series #6: Image Segmentation

In this tutorial, you will learn the concept behind Fully Convolutional Networks (FCNs) for segmentation. In addition, we will see how we can use Torch Hub to import a pre-trained FCN model and use it in our projects to get… The post Torch Hub Series #6: Image Segmentation appeared first on PyImageSearch.

     24.01.2022       Выпуск 423 (24.01.2022 - 30.01.2022)       Статьи

Нормализация SQL profiler трейса для группировки

Если вы разбираетесь "почему тормозит база" и у вас есть трейс, созданный MS SQL profiler, то что вы делаете первым делом? Правильно, сохраняете его в таблицу, чтобы поразбираться с ним с помощью родного SQL, а не в GUI.

     24.01.2022       Выпуск 423 (24.01.2022 - 30.01.2022)       Статьи

Алгоритм Дейкстры. Разбор Задач

Поиск оптимального пути в графе. Такая задача встречается довольно часто и в повседневной жизни, и в мире технологий. Справиться с такими вызовами помогает подход, который должен быть в арсенале каждого программиста — алгоритм Дейкстры.

Если вы хотите найти ответить на вопросы, чем этот алгоритм лучше BFS (поиска в ширину), при каких условиях алгоритм применим, и какие теоретические и практические задачи можно с его помощью решать, читайте далее.
 

     24.01.2022       Выпуск 423 (24.01.2022 - 30.01.2022)       Статьи

3 особенности чисел в Python, о которых вы, возможно, не знали

Если вы писали код на Python, то весьма высока вероятность того, что вы, хотя бы в одной из своих программ, пользовались числами. Например, это могли быть целые числа для указания индекса значения в списке, или числа с плавающей точкой, представляющие суммы в некоей валюте.

     24.01.2022       Выпуск 423 (24.01.2022 - 30.01.2022)       Статьи

Решаем Wordle с 3,64 попыток в 99,4% случаев

Недавно я играл в головоломку Wordle, параллельно думая, как бы её могла решать программа.

[Прим. пер.: Wordle — игра в отгадывание слов, напоминающая «быки и коровы». Правила достаточно ясны по скриншоту выше.]

     24.01.2022       Выпуск 423 (24.01.2022 - 30.01.2022)       Статьи

Инструменты для решения NER-задач для русского языка

Зачастую приходится работать с большими объемами документов, к примеру, исполнительными листами, заявлениями, договорами, из текстов которых нам необходимо извлечь весьма конкретную информацию: ФИО, даты рождения, наименования должности, паспортные данные, адрес, ИНН и наименование компаний, даты подписания документов и так далее. Всё это относится к задаче распознавания именованных сущностей (NER). Какие инструменты могут помочь нам в решении данной задачи для русского языка?

     23.01.2022       Выпуск 422 (17.01.2022 - 23.01.2022)       Статьи

Глушим аномалии в географических данных с помощью Pandas

При обработке данных исходного DataSet часто попадаются аномальные значения, которые поставлены вместо пропусков, и мало того, что они скрываются, так ещё и несут вред общему делу. В данной статье будет разобран практический пример избавления от аномальных значений в связанных с географией данных при помощи инструментов известной библиотеки Pandas. 

 

     21.01.2022       Выпуск 422 (17.01.2022 - 23.01.2022)       Статьи

Генерация подземелий на Python с изпользованием Pillow

Итак, сегодня мы поговорим о генерации пещер и карт высот с помощью шума. Это будет Гауссовский шум, его легче всего сделать в Python Pillow.

     23.01.2022       Выпуск 422 (17.01.2022 - 23.01.2022)       Статьи

Terality — автоматически масштабируемая альтернатива Pandas

Мы избалованы выбором в работе с данными. Инструмент номер один — Pandas, затем идут Dask, Vaex, Datatable, cuDF и так далее. К этому списку добавим Terality, как будто всего этого недостаточно. 

Возникает вопрос: Terality компенсирует скорость Pandas ценой её простоты и гибкости? Нет. Terality — это злой кузен Pandas, рождённый с суперсилой. У него похожий синтаксис, но работает он молниеносно и не зависит от мощности вашей машины. Звучит слишком хорошо, чтобы быть правдой? Тогда читайте. Эта статья не оплачена и отражает мой собственный взгляд. 

     21.01.2022       Выпуск 422 (17.01.2022 - 23.01.2022)       Статьи

«Раздвижное» решето Эратосфена

Простые числа, согласно известному определению – такие числа, которые делятся только на 1 и само себя. Иначе, число считается составным, и его можно разложить на произведение простых чисел. Единица формально соответствует определению простого числа, но это число принято не относить ни к простым, ни к составным.Как искать простые числа? Можно действовать напрямую, применяя определение: просто делить каждое данное число N подряд на все числа m<N.Такая стратегия тоже имеет смысл, и ее можно обсуждать, и даже думать о том, как ее совершенствовать, но сегодня у нас будет другая история.

     20.01.2022       Выпуск 422 (17.01.2022 - 23.01.2022)       Статьи

Кроссплатформенный переключатель прокси-сервера на Python + Qt

Устав искать нормальный портативный инструмент для переключения между моим рабочим прокси-сервером и прямым подключением дома (который, к тому же, работал бы на Windows и Linux), я решил-таки запилить собственную тулзу для этих целей. Вооружившись Python и Qt, начал клепать код в VSCode... Что из этого вышло -- читаем под катом.

     20.01.2022       Выпуск 422 (17.01.2022 - 23.01.2022)       Статьи

[Окончание] Новогодний детектив: странный хайзенбаг в «питоньих» часах

Здесь лежит окончание "расследования" Новогодний детектив: странный хайзенбаг в «питоньих» часах.
Изначально хотел просто обновить статью и написать соответствующий комментарий, но понял что апдейт выходит чуть не длиннее самой статьи.