Python Дайджест. Выпуск 475

Простая реализация архитектуры глубокой нейронной сети для табличных данных с автоматической генерацией слоев и послойным сокращением количества нейронов. С удобством использования, аналогичным классическим методам машинного обучения.

Когда я со своими коллегами с направления Химия и ИИ начинал делать этот проект, в мире был в самом разгаре интерес к таким системам генерации изображений как Stable Diffusion, DALL-E и Midjourney. Именно тогда мы решили совместить модели обработки естественного языка (такие как BERT) и системы генерации изображений и применить все это в химическом домене.

Вышедшая чуть больше месяца назад ChatGPT уже успела нашуметь: школьникам в Нью-Йорке запрещают использовать нейросеть в качестве помощника, её же ответы теперь не принимаются на StackOverflow, а Microsoft планирует интеграцию в поисковик Bing - чем, кстати, безумно обеспокоен СЕО Alphabet (Google) Сундар Пичаи. Настолько обеспокоен, что в своём письме-обращении к сотрудникам объявляет "Code Red" ситуацию. В то же время Сэм Альтман, CEO OpenAI - компании, разработавшей эту модель - заявляет, что полагаться на ответы ChatGPT пока не стоит.Насколько мы действительно близки к внедрению продвинутых чат-ботов в поисковые системы, как может выглядеть новый интерфейс взаимодействия, и какие основные проблемы есть на пути интеграции? Могут ли модели сёрфить интернет бок о бок с традиционными поисковиками? На эти и многие другие вопросы постараемся ответить под катом.

The problem started when I had two classes that needed to talk to each other. Sometimes, classes need to talk to each other in both directions. The following example is made up, but mostly behaves like the original problem. Let’s say I have a Director and an Actor. The Director tells the Actor to do_action(). In order to do the action, the Actor needs to get_data() from the Director. Here’s our director.

Доброе утро, уважаемый читатель. Сегодня мы разоблачаем господина Гудвина. В частности, обсуждаем DEP-9 - roadmap по добавлению асинхронности в django за его авторством.

Публикуем седьмую часть (1, 2, 3, 4, 5, 6) перевода руководства по модулю asyncio в Python. Здесь представлены разделы исходного материала с 17 по 19.

Если мы хотим без больших затрат средств и времени построить различные модели в сфере электроэнергетики, то питон (python) будет для нас поистине незаменимым языком. Больше всего доступных открытых и бесплатных "электрических" библиотек с хорошей документацией написано именно на питоне, и этот обзор будет посвящен их краткому разбору и классификации.

Обзор составлен в формате "краткое описание + ссылки на гитхаб и документацию". При выявлении новых открытых электрических python-библиотек список будет пополняться.

В этой статье я познакомлю вас со своим проектом, который посвящен предсказыванию свойств наночастиц и возможности открывать новые материалы имея только один пример.

Сегодня я постараюсь объяснить, что такое асинхронное программирование, зачем оно нужно, какие задачи решает и как ему научиться. Так как мой основной язык — Python, то и материал будет Python-ориентированным.

Я работаю в авиакомпании, занимаюсь анализом продаж, что сильно связано в том числе с планированием и прогнозированием. В условиях, когда российский рынок авиаперевозок сужается, авиакомпании стремятся оптимизировать свою маршрутную сеть, а если и развиваться - то только на направлениях с высоким пассажиропотоком. Дефицит самолетов в условиях санкций делает ошибки непростительными, поэтому своей целью я ставил разработку модели прогнозирования трафика между городами РФ.

"Камень, ножницы, бумага" - кто из нас не играл в эту игру в детстве? Но вы когда-нибудь задумывались о том, что стратегии, которые мы выбирали, на самом деле могут быть смоделированы в с помощью Теории игр?

В этой статье я хочу написать про мой опыт взаимодействия с платформой LeetCode, и описать свою подготовку к интервью в FAANG подобные компании путем разбиения ее на уровни.А какой у вас уровень?

Это первая статья из серии статей, в которой описывается опыт написания с нуля библиотеки на питоне, для расчета как можно более широкого спектра деловых, производственных, организационных задач методами теории игр.

Как работают интерпретаторы и что такое "виртуальная машина" в этом контексте. И как ускорить исполнение.

Как создать и отслеживать многозадачное обучение с независимыми моделями на одном входе и на одном выходе. Полный код на GitHub, соблюдая инструкцию README.md с нуля установки до работающего запуска отслеживания экспериментов и обслуживания моделей

Подходы использования import в языке программирования Python.Статья направлена на освящение подходов импортирования в Python для начинающих программистов. Она так же может быть полезна для уже имеющих опыт в разработке на данном языке программирования.

Действие происходит в следующей вселенной:

• лаборатория тестирования 2ГИС;

• gitlab CI, тесты всех команд запускаются на общих раннерах, над которыми властвует команда IO;

• e2e-тесты на различные BE-сервисы — python и vedro.

Однажды инженер Василий (собирательный образ, все совпадения случайны) проснулся и понял, что больше не может ждать эти бесконечные пайплайны. Чтобы отделить ощущения от реальности, он начал собирать статистику — сколько ходят пайпланы, сколько выполняются сами тесты в сервисе фото, а сколько собираются образы.

В Python 3.12 появилась поддержка perf profiling. В этой статье рассмотрим, как это помогает сократить время выполнения Python-скрипта с 36 секунд до 0,8. Мы рассмотрим Linux-инструмент perf, а также графики Flame Graph (добавить пояснение: способ визуализации процессорного времени, потраченного на функции), посмотрим на  дизассемблированный код и займемся поиском ошибок. Код из статьи можно посмотреть здесь.

Неважно, чем вы занимаетесь — большими данными, машинным обучением, компьютерной графикой или криптографией — без математики вам не обойтись! Везде сейчас требуются базовые знания и понимание алгоритмов. Практические примеры позволят легко разобраться с самыми необходимыми математическими понятиями. 300 упражнений и мини-проектов откроют вам новые возможности в освоении интересных и популярных IT-профессий. Вы познакомитесь с базовыми библиотеками Python, используемыми при разработке реальных приложений, и вспомните давно забытые основы линейной алгебры и матана.

В декабре прошлого года я приобрел умную колонку Яндекса, Станцию Лайт. Еще не успел насладиться приобретением, а уже заметил, что, к сожалению, некоторого функционала Алисе не хватает. Погуглил и узнал, что существует витрина навыков, в которой представлены продукты сторонних разработчиков, – навыки для Алисы, расширяющие ее возможности. Идея этой витрины показалась мне интересной и я решил создать для нее новый навык. Мне хотелось научить Алису отправлять почту по команде с колонки, так как по дефолту она этого не умеет.

Диффузионные модели могут значительно расширить мир творческой работы и создания контента в целом. За последние несколько месяцев они уже доказали свою эффективность. Количество диффузионных моделей растет с каждым днем, а старые версии быстро устаревают

Про карточку "Сарказм" не забудьте.

В июле и августе 1991 года я, с подачи Гвидо Ван Россума, проводил технические интервью на позицию Middle Python Backend developer. И, видимо, буду вынужден продолжать проводить, о чём ниже.

Задача формулировалась как «найти человека, который сможет задать и поддерживать высокий уровень профессионализма в применении языка Python». Под эту задачу я сформировал новый опросник вместо того, которым пользовался несколько дней — старый имел слишком жесткий закос под промышленное программирование.

И вот что я хочу сказать вам, коллеги: вы меня огорчаете.

Audio

Мощная система логгирования и платформа агрегации логов. Изменения описаны по ссылке https://pypi.org/project/sentry/23.1.1/. Скачать можно по ссылке: https://pypi.python.org/pypi/sentry/

Модуль для легковесных потоков в Python. Изменения описаны по ссылке https://pypi.org/project/greenlet/2.0.2/. Скачать можно по ссылке: https://pypi.python.org/pypi/greenlet/

Утилита позволяющая измерить процент покрытия тестами. Изменения описаны по ссылке https://pypi.org/project/coverage/7.1.0/. Скачать можно по ссылке: http://pypi.python.org/pypi/coverage/

Интерактивная оболочка для языка программирования Python. Изменения описаны по ссылке https://pypi.org/project/ipython/8.9.0/. Скачать можно по ссылке: https://pypi.python.org/pypi/IPython

Python интерфейс для MongoDB. Изменения описаны по ссылке https://pypi.org/project/pymongo/4.4.0b0/. Скачать можно по ссылке: http://pypi.python.org/pypi/pymongo/

Модуль для автоматизации тестирования web-приложений. Изменения описаны по ссылке https://pypi.org/project/selenium/4.8.0/. Скачать можно по ссылке: http://pypi.python.org/pypi/selenium/

Библиотека работы с базами данных. Изменения описаны по ссылке https://pypi.org/project/sqlalchemy/2.0.0/. Скачать можно по ссылке: http://pypi.python.org/pypi/SQLAlchemy/