IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
консультируем про IT, Python

     12.12.2022       Выпуск 468 (05.12.2022 - 11.12.2022)       Статьи

Введение в библиотеку Transformers и платформу Hugging Face

Платформа Hugging Face это коллекция готовых современных предварительно обученных Deep Learning моделей. А библиотека Transformers предоставляет инструменты и интерфейсы для их простой загрузки и использования. Это позволяет вам экономить время и ресурсы, необходимые для обучения моделей с нуля.

     12.12.2022       Выпуск 468 (05.12.2022 - 11.12.2022)       Статьи

Нарисуй сон

Нейронные сети, рисующие “всякое” по запросу, не обошли стороной и меня. После того, как наигрался, я решил, что так как тема из области искусственного интеллекта, то и интерфейс взаимодействия нужен соответствующий. Например, голос и желательно на русском языке. Так появилась идея создать быструю команду для siri. Что из этого получилось, читайте далее. В конце статьи - видео, ссылки на быстрые команды, репозиторий с необходимыми файлами и инструкция по установке.

     12.12.2022       Выпуск 468 (05.12.2022 - 11.12.2022)       Статьи

Шпаргалка для подготовки к экзамену по машинному обучению

Многие студенты колледжей в России в этом году будут обязаны сдать демо-экзамен по дисциплине, посвящённой изучению темы машинного обучения, но качество обучения в учебном заведении может страдать в силу малого количества опыта в вопросе проведения подобного рода тестирования. В силу данного обстоятельства студенты в поисках материала для подготовки обращаются к помощи интернет ресурсов, но с ужасом обнаруживают, что информация не такая структуризированная, как было бы удобно экзаменуемым.

     12.12.2022       Выпуск 468 (05.12.2022 - 11.12.2022)       Статьи

Футбольно-аналитическая программа plus3s: прогнозирование результата футбольного матча и просто игра

В настоящее время разработано уже достаточно много разнообразных программ, позволяющих работать с футбольными данными, так что, с одной стороны, сложно быть особым инноватором в этой области, с другой, труднопрогнозируемость футбольных результатов и развитие как аналитики в целом, так и машинного обучения в частности, открывает перед разработчиком дверь к большому простору для исследований и экспериментов.

     12.12.2022       Выпуск 468 (05.12.2022 - 11.12.2022)       Статьи

Сага о том, как я клеил ROS и Docker ros

Это в общем-то первая статья на хабре, пробная и экспериментальная. Цель статьи изложить процесс создания темплейта под разработку для ROS (Robot Operating System) внутри контейнера и сделать это в шутливой манере. Дальше бога нет

     12.12.2022       Выпуск 468 (05.12.2022 - 11.12.2022)       Статьи

Создаем аватарки с помощью нейросети Stable Diffusion и DreamBooth

"Портрет, сделанный нейросетью" - все чаще читаем в новостной ленте, и каждый хотел бы сделать себе подобный, но удобные сервисы, просящие монету, или желание разбираться самому, отталкивают. Не нужно ничего скачивать. Час времени и каждый сможет сделать себе аватарку! Читать далее

     12.12.2022       Выпуск 468 (05.12.2022 - 11.12.2022)       Статьи

Fullstack на Джанго и Вью

Сегодня хочу рассказать про то, как за кулисами устроена работа моего мини-проекта по ведению задач autofocus. В предыдущей заметке я рассказал про принципы, лежащие в основе метода Автофокуса. А тут будет скорее набор ключевых слов с короткими описаниями того, что и как связано между собой. Конкретная реализация будет.

     12.12.2022       Выпуск 468 (05.12.2022 - 11.12.2022)       Статьи

Сделай сам: МИС на коленке и в облаке

Решение в облаке — фактически стандарт. Есть данные, чувствительные к сетевой передаче. Конфиденциальные, персональные, секретные наконец. Где храниться, как передаются, где обрабатываются — важные "нюансы". Храните персональные данные в облаке? Делали мы тут крошечную медицинскую ИС (МИС) у себя, аккурат с нюансами передачи по сети персональных данных. Как оно вышло излагаем ниже.

     10.12.2022       Выпуск 468 (05.12.2022 - 11.12.2022)       Статьи

Пишем "Змейку" в 12 строк кода

Давайте рассмотрим, как использовать линейную алгебру и тензорные операции, чтобы создать всем известную игру.

     07.12.2022       Выпуск 468 (05.12.2022 - 11.12.2022)       Статьи

Как создать Minecraft на Python? Обзор библиотеки Ursina Engine

Среди любителей Minecraft много энтузиастов: пока одни просто играют, другие запускают целые серверы и пишут модификации. А кто-то идет дальше и разрабатывает собственные песочницы. Последнее теперь возможно даже на Python. Под катом делюсь основами работы с библиотекой Ursina Engine и показываю, как с помощью нее создать мир из кубов.

     03.12.2022       Выпуск 467 (28.11.2022 - 04.12.2022)       Статьи

Обучение Russian SuperGLUE моделей с помощью библиотеки DeepPavlov

В последние годы соревнования GLUE и SuperGLUE на английском языке стали стандартным бенчмарком для определения возможностей универсальных языковых моделей, таких как BERT, RoBERTa в решении широкого круга задач обработки естественного языка, в том числе задач с недостаточной обучающей выборкой. Соревнования GLUE/SuperGLUE представляют собой наборы задач NLP на основе ранее представленных датасетов. Академическое сообщество NLP довольно быстро расправилось с GLUE, отчасти вследствие того, что задачи были довольно однотипные, они сводились либо к парной текстовой классификации, либо к классификации единственной последовательности. Ответом на это был новый набор задач SuperGLUE, в состав которого вошли вопросно-ответные задачи, задачи кореференции и задачи семантического следования. На данный момент модели, обученные на базе ERNIE и DeBERT, превзошли качество разметки человеком.

     03.12.2022       Выпуск 467 (28.11.2022 - 04.12.2022)       Статьи

Как я писал трекинг парковочных мест

Здесь предисловие. Это мой первый пост на Хабре, да и вообще первая публикация в стиле, в котором я постараюсь все разложить по полочкам и рассказать с какими трудностями, я новичок во всей этой теме (студент второго курса) столкнулся и как я их решил (возможно примитивно).

     02.12.2022       Выпуск 467 (28.11.2022 - 04.12.2022)       Статьи

Работа с поверхностными и глубокими копиями в Python

В этой статье объясняется, как делать копии списков Python, массивов NumPy и датафреймов Pandas при помощи операций получения срезов, списочного индексирования (fancy indexing) и логического (boolean indexing). Эти операции очень часто используются при анализе данных и должны рассматриваться всерьёз, поскольку ошибочные предположения могут привести к падению быстродействия или неожиданным результатам.

     02.12.2022       Выпуск 467 (28.11.2022 - 04.12.2022)       Статьи

Вам нужен чистый код? Используйте правило шести

Все хотят писать чистый код. Этому посвящены целые книги.

Но вам не нужно читать книги, чтобы начать писать более чистый код прямо сейчас. Есть одна «хитрость», которой может научиться любой кодер, она делает код гораздо менее запутанным.

     02.12.2022       Выпуск 467 (28.11.2022 - 04.12.2022)       Статьи

НЕЙРОННАЯ СЕТЬ ДЛЯ РАСПОЗНАВАНИЯ ОБРАЗОВ С TENSORFLOW: КАК С НЕЙ РАБОТАТЬ

В сегодняшней статье хотим поделиться опытом, как можно начать использовать TensorFlow в целях распознавания образов. Напомним, что TensorFlow — открытая программная библиотека для машинного обучения, разработанная компанией Google для решения задач построения и тренировки нейронной сети с целью автоматического нахождения и классификации образов, достигающая качества человеческого восприятия.

     02.12.2022       Выпуск 467 (28.11.2022 - 04.12.2022)       Статьи

Выбор оптимального решения для хранения разнородных данных pandas

Проблема выбора формата файла, с которым предстоит работать для чтения и записи  pandas.DataFrame, заключается как раз в том, что есть из чего выбрать: даже сам pandas включает в себя функционал, позволяющий работать с большим перечнем типов файлов. Обилие доступных для данной задачи форматов обусловлено невозможностью решить проблему импорта/экспорта раз и навсегда: ничего идеального, как и формата для хранения данных, к сожалению, не существует, поскольку даже самый, на первый взгляд, оптимальный и минимально затратный по ресурсам pickle способен создать очень много проблем. 

     01.12.2022       Выпуск 467 (28.11.2022 - 04.12.2022)       Статьи

Выявление незаконных построек по спутниковым снимкам с помощью CV

Заметил, что вам очень нравится вместе с нами разбирать решения задач с хакатонов. Сегодня расскажу, как я занял 4 место в соревновании по выявлению незаконных построек по спутниковым снимкам и что мне не хватило, чтобы попасть в топ-3 на Цифровом прорыве. 

     01.12.2022       Выпуск 467 (28.11.2022 - 04.12.2022)       Статьи

Сравнение производительности моделей обнаружения объектов YOLO v5, v6 и v7

Если вы выполняете проект по обнаружению объектов, высока вероятность того, что вы выберете одну из многих моделей YOLO. Учитывая количество моделей обнаружения объектов YOLO, сделать выбор в пользу лучшей из них непросто.

     30.11.2022       Выпуск 467 (28.11.2022 - 04.12.2022)       Статьи

Как с нуля разработать систему аналитики для телеграм бота?

В этом посте расскажем о том, как мы создавали для нашего продукта (MMO RPG игра в телеграм) собственную систему аналитики

     30.11.2022       Выпуск 467 (28.11.2022 - 04.12.2022)       Статьи

Группируем текстовые записи с помощью Python и CountVectorizer

Данные для анализа были взяты из сводной базы ICTRP (International Clinical Trials Registry Platform — Платформа международного реестра клинических исследований) Всемирной организации здравоохранения. Для целей данной статьи нужна не полная база, а только одно поле Primary_sponsor, которое содержит название главной заинтересованной в исследовании организации — «спонсора».