IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
консультируем про IT, Python

     27.12.2021       Выпуск 419 (27.12.2021 - 02.01.2022)       Статьи

Выбираем быстрый детектор людей в 2021

В новом хобби проекте мне потребовалось детектировать людей на видео. Это одна из основных задач, решаемых искусственным интеллектом, но я давно этим не занимался и несколько отстал от жизни.

     27.12.2021       Выпуск 419 (27.12.2021 - 02.01.2022)       Статьи

Тестирование GraphQL: подходы, инструменты, автоматизация

Это произошло, когда я присоединилась к одному из наших проектов, где был не только привычный REST, но и GraphQL API. Это было моё первое знакомство с ним. Я понятия не имела, что он собой представляет, в чем его особенности, а самое главное для меня, как QA инженера – не знала, как его тестировать. 

Ниже я расскажу, что делала я, с какими проблемами сталкивалась, с чего можно начать и что важного и особенного надо знать про GraphQL для успешного тестирования как руками, так и с помощью автотестов. Вполне вероятно, что это поможет и вам разобраться в данном вопросе.

     27.12.2021       Выпуск 419 (27.12.2021 - 02.01.2022)       Статьи

Как мы оптимизировали i-запросы, а нашли неточности в документации Django (clickbait)

В современных веб-приложениях большинство запросов к базе данных пишется не на сыром SQL, а с использованием объектно-реляционного отображения (ORM). Оно автоматически генерирует SQL-запросы по привычному объектно-ориентированному коду. Однако эти запросы не всегда оптимальны,  и с  ростом нагрузки на веб-приложение встает вопрос их оптимизации. Как раз в ходе такой оптимизации наша команда обнаружила, что документация Django с нами не совсем честна.

     27.12.2021       Выпуск 419 (27.12.2021 - 02.01.2022)       Статьи

Работа с госзакупками Казахстана и Узбекистана: туториал со скрепером

Недавно пришлось познакомиться тесно с порталами государственных закупок Казахстана и Узбекистана в рамках Школы Данных. Мы (авторка поста, разработчик скрепера и журналисты) исследовали тему "доступной среды" (удобная инфраструктура для людей с инвалидностью) и столкнулись с необходимиостью написать скрепер, которые бы скачивал данные по ключевым словам.

     27.12.2021       Выпуск 419 (27.12.2021 - 02.01.2022)       Статьи

Новогодняя ёлочка на рабочий стол

Помню, лет так 12 назад, когда я был ещё школьником, у всех моих знакомых стояла windows XP. И в преддверии нового года у нас была традиция, скачать на каком-нибудь сайте новогоднюю ёлочку, которая запускается отдельной программой и просто на рабочем столе (либо на любом другом окне, если её открыть поверх окон) играет гифка с этой ёлочкой. Мелочь, но к новогоднему настроению она давала в те года +100 очков.

     27.12.2021       Выпуск 419 (27.12.2021 - 02.01.2022)       Статьи

Разбираемся с сессиями в SQLAlchemy

В этой небольшой статье я хочу дать ответ на вопрос, который возник у меня, когда я познакомился с сессиями в SQLAlchemy. Если сформулировать его кратко, то звучит он примерно так: “А зачем оно надо вообще”? Меня, как человека пришедшего из мира джанги, сессии приводили в уныние и я считал их откровенной фигней, которая усложняет жизнь. Но я ошибался. Как оказалось, сессии в алхимии - штука очень даже полезная. И вот почему.

 

     26.12.2021       Выпуск 418 (20.12.2021 - 26.12.2021)       Статьи

Django-sockpuppet, интересная альтернатива React, Vue, Angular или очередная заброшенная джанговская «батарейка»?

В данной статье я хотел бы очень кратенько, без подробностей рассказать про интересный проект, который будучи достаточно простым, сильно увеличивает возможности Django фреймворка. Мне он показался достаточно интересным.

     25.12.2021       Выпуск 418 (20.12.2021 - 26.12.2021)       Статьи

Как я technicalseo.expert проходил (уровень 2)

Продолжение исследования головоломки technicalseo.expert которая будет сломана самым нетривиальным образом.Предыдущий уровень и чуть подробнее о самой головоломке в первом посте

     25.12.2021       Выпуск 418 (20.12.2021 - 26.12.2021)       Статьи

Как я technicalseo.expert проходил (уровень 1)

technicalseo.expert - это головоломка для SEO

     24.12.2021       Выпуск 418 (20.12.2021 - 26.12.2021)       Статьи

Распознавание номерных знаков. Как все ускорить

После запуска моделей на прод рано или поздно приходит понимание того, что Ваши сервисы популярны и что KPI растут. Вместе с популярностью приходят тормоза и нестабильность. В этой статье речь пойдет о прикладном аспекте оптимизации быстродействия алгоритмов/моделей на примере движка распознавания автомобильных номеров “Nomeroff Net”. Буду делиться опытом, полученным на протяжении 2-х летней разработки. Если коротко: нам удалось ускорить время распознавания 1 фото более чем в 10 раз.

     23.12.2021       Выпуск 418 (20.12.2021 - 26.12.2021)       Статьи

Кэш в асинхронных python приложениях

В статье поговорим об использование кэша с точки зрения кода асинхронного Python приложения. Начнем с рассмотрения самостоятельной реализации, а в конце посмотрим на библиотеки и “пропиаримся”. 

     23.12.2021       Выпуск 418 (20.12.2021 - 26.12.2021)       Статьи

Управление и мониторинг сервера через Telegram бота

Являюсь разработчиком в фирме которая занимается автоматизацией и телемеханизацией промышленных объектов. В мои обязанности входит разработка и поддержка ПО верхнего уровня, администрирование сервера и обеспечение его бесперебойной работы. Обычно ПО работает стабильно, но временами бывают сбои (по причинам не зависящим от нашего софта), о которых я иногда узнаю с большим опозданием. Было решено, что нужна система мониторинга, которая будет оповещать меня и руководство о проблемах, для возможности их быстрого устранения. Кроме того хотелось бы иметь возможность оперативно устранить проблему, даже если «под рукой» нет ПК.

     23.12.2021       Выпуск 418 (20.12.2021 - 26.12.2021)       Статьи

Удаленный доступ к IP камерам, теперь на Python

Удивительно, что в 2021-м все еще можно обсуждать такую избитую тему. Однако, мне пришлось пройти довольно длинный путь от покупки охранных камер до готового решения, покрывающего мои, довольно нехитрые, задачи. Под катом вы найдете скрипт, который показался мне достаточно удачным, чтобы опубликовать его на Хабре, и некоторые пояснения к нему. Надеюсь, кому-то поможет.

     22.12.2021       Выпуск 418 (20.12.2021 - 26.12.2021)       Статьи

Переиграй школьников в YOUNG CODERS PARTY

Предлагаем вам немного размяться и почувствовать себя на месте юных программистов.

Под катом серия предложенных участникам YOUNG CODERS PARTY задач (лишь слегка доработанных — чтобы вам было тоже интересно!). Присылайте свои решения до 28 декабря включительно; мы постараемся подвести итоги конкурса до Нового Года. Победители получат от нас призы — теплые толстовки, маски с принтами и стикерпаки! 

     22.12.2021       Выпуск 418 (20.12.2021 - 26.12.2021)       Статьи

Как мы распознаем фото документов пользователей. Часть I

В работе нам часто приходится распознавать документы водителей или пассажиров для их верификации в приложении. Наша команда выработала свой подход к идентификации текста и фото, которым я хотел бы поделиться.

В первой части статьи кратко расскажу о том, как мы распознаем фото документов и текст на них. Во второй более предметно поговорю о моделях CRAFT, CRNN и их использовании. Приятного чтения!

     21.12.2021       Выпуск 418 (20.12.2021 - 26.12.2021)       Статьи

Секреты генерирующего реферирования текстов

Эта статья посвящена основным современным моделям для генерирующего реферирования и генерации текста в целом: BertSumAbs, GPT, BART, T5 и PEGASUS, и их использованию для русского языка.

     21.12.2021       Выпуск 418 (20.12.2021 - 26.12.2021)       Статьи

Сокеты в Python, чат в 50 строк

На очередной практике по Java, не предвещающей ничего необычного, преподаватель ворвался в аудиторию и с порога заявил: "Сегодня мы с вами познакомимся с сокетами и напишем прототип собственного чата".

     21.12.2021       Выпуск 418 (20.12.2021 - 26.12.2021)       Статьи

Как работает цикл заказа такси в Яндекс Go. История вопроса

Мы строим цикл заказа такси — процессы, происходящие под капотом после того, как пользователь нажимает «Заказать». Поиск машины, назначение водителя, изменение адреса, оплата поездки — всё это части цикла. Ещё мы делаем инфраструктуру создания циклов, которая используется в Еде, Лавке, Доставке и других направлениях внутри Яндекса.

     21.12.2021       Выпуск 418 (20.12.2021 - 26.12.2021)       Статьи

Наш опыт создания «Интенсива», или почему избежать ошибок не удастся

Закончился очередной звонок с разработчиком на испытательном сроке. Опять возникло ощущение, что это повторяется в сотый раз: вот уже несколько лет мы встречаем новых участников команды и почти всегда ведем их примерно по одному пути (за редким исключением). Я понимал, что у нас уже достаточно наработок, чтобы оформить их в некий курс. 

 

     20.12.2021       Выпуск 418 (20.12.2021 - 26.12.2021)       Статьи

Тестируем быстродействие трех библиотек Python

Передо мной стояла задача выбрать библиотеку для расчета на Python, использующего операции над матрицами. Я выбрал и протестировал несколько вариантов, как использующих видеокарту (GPU), так и работающие только на процессоре.

Использовал три библиотеки: Numpy, Pytorch и Numba.