IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
консультируем про IT, Python

     09.03.2020       Выпуск 325 (09.03.2020 - 15.03.2020)       Статьи

Предсказываем финансовые кризисы с помощью Python

По состоянию на 9 марта 2020 мы имеем резкое снижение рынков США начиная с исторического максимума в 20-числах февраля 2020, которое на данный момент составило около -16%. Новости пестрят заголовками про надвигающуюся рецессию из-за коронавируса, Россия вышла из сделки Опек+, что ударило по ценам на нефть (-20% за день) и завтра, (10 марта 2020) ожидается снижение рынка ММВБ также на 20%, судя по котировкам наших акций на западных рынках.

     09.03.2020       Выпуск 325 (09.03.2020 - 15.03.2020)       Статьи

Собственный софт-процессор на ПЛИС с компилятором языка высокого уровня или Песнь о МышЕ

Собственный софт-процессор на ПЛИС с компилятором языка высокого уровня или Песнь о МышЕ — опыт адаптации компилятора языка высокого уровня к стековому процессорному ядру.

Распространенной проблемой для софт-процессоров является отсутствие средств разработки для них, особенно, если их система команд не является подмножеством команд одного их популярных процессорных ядер. Разработчики в этом случае вынуждены будут решать эту проблему. Прямым её решением является создание компилятора языка ассемблера. Однако в современных реалиях не всегда удобно работать на Ассемблере, так как в процессе развития проекта может изменяться система команд в связи, например, с изменившимися требованиями. Поэтому задача легкой реализации компилятора языка высокого уровня (ЯВУ) для софт-процессора является актуальной.

     09.03.2020       Выпуск 325 (09.03.2020 - 15.03.2020)       Статьи

Hack The Box. Прохождение Bankrobber. XSS, SQL инъекция, CSRF, port forwarding

Продолжаю публикацию решений отправленных на дорешивание машин с площадки HackTheBox. Надеюсь, что это поможет хоть кому-то развиваться в области ИБ. В данной статье мы угоним куки администратора сайта через XSS, узнаем код с помощью SQL инъекции, получим шелл через форму выполнения команды с помощью XSS и CSRF, прокинем порт из Windows и побрутим PIN легенького приложения перевода средств с помощью pwntools.

Подключение к лаборатории осуществляется через VPN. Рекомендуется не подключаться с рабочего компьютера или с хоста, где имеются важные для вас данные, так как Вы попадаете в частную сеть с людьми, которые что-то да умеют в области ИБ :)

     09.03.2020       Выпуск 325 (09.03.2020 - 15.03.2020)       Статьи

Детектирование аномалий с помощью автоенкодеров на Python

Детектирование аномалий — интересная задача машинного обучения. Не существует какого-то определенного способа ее решения, так как каждый набор данных имеет свои особенности. Но в то же время есть несколько подходов, которые помогают добиться успеха. Я хочу рассказать про один из таких подходов — автоенкодеры.

     08.03.2020       Выпуск 324 (02.03.2020 - 08.03.2020)       Статьи

Генерируем тексты песен Кис Кис цепями Маркова в 50 строк

Дисклеймер: автор хотел повеселить себя вечером и не придумал ничего лучше, как:

 

В качестве корпуса для "обучения" цепи я буду использовать текст песен группы Кис Кис.

     08.03.2020       Выпуск 324 (02.03.2020 - 08.03.2020)       Статьи

Трансформация цвета: поиски в прореженном столе

Это обзор функциональности, появившейся в Pillow 5.2: применение трехмерных таблиц поиска (3D lookup tables, 3D LUT) для трансформации цвета. Эта техника широко распространена в обработке видео и 3D-играх, однако мало графических библиотек могли похвастаться их поддержкой до этого.

 

Трехмерные таблицы поиска дают большую гибкость в описании цветовых трансформаций, но самое главное трансформации выполняются за одинаковое время, какими бы сложными они не были.

     08.03.2020       Выпуск 324 (02.03.2020 - 08.03.2020)       Видео

Moscow Python Podcast. Разработка приложений для Windows на Python (level: middle)

В гостях у Moscow Python Podcast Василий Панков, руководитель Python разработки в компании Ernst & Young. Поговорили о интеграция Python-приложений с Windows API и зачем нужен Python для работы с приложениями на Windows.

     08.03.2020       Выпуск 324 (02.03.2020 - 08.03.2020)       Статьи

Краткий гайд по использованию GDB

В этом коротком туториале мы рассмотрим базовые приёмы работы с GDB, а также посмотрим как можно (и нужно) подготавливать файлы к отладке для GDB.

 

GDB — переносимый отладчик проекта GNU, который работает на многих UNIX-подобных системах и умеет производить отладку многих языков программирования, включая Си, C++, Free Pascal, FreeBASIC, Ada, Фортран, Python3, Swift, NASM и Rust.

     07.03.2020       Выпуск 324 (02.03.2020 - 08.03.2020)       Статьи

Анализ тональности фраз с помощью нейронных сетей

Все люди, получающие высшее образование, не отчислившись, все-таки доходят до стадии написания диплома. Не стал исключением и я. Хотелось реализовать что-то интересное и освоить доселе неизученное, поэтому обратил внимание на тему нейронных сетей и искусственного интеллекта в целом. А задачей, которую я решал с помощью нее, является анализ тональности текста, что и так широко применятся в различных системах мониторинга. Процесс ее решения я и попытаюсь описать в данной статье.

Короче говоря, цель — понять присутствует ли у фразы положительный оттенок или отрицательный. Сразу хочу сказать, что эту задачу можно решать несколькими способами, и не только нейросетями. Можем составлять словари в которых отмечены позиции слов и т.д. (все методы есть на хабре в избытке), но на каждый способов может уйти еще по статье, поэтому оставим их обзор на потом.

     06.03.2020       Выпуск 324 (02.03.2020 - 08.03.2020)       Статьи

Подборка статей о машинном обучении: кейсы, гайды и исследования за февраль 2020

Вслед за январским постом встречайте второй выпуск дайджеста. Здесь вас ждёт список англоязычных материалов за февраль, которые написаны без лишнего академизма. Публикации содержат примеры кода и ссылки на непустые репозитории. Упомянутые технологии лежат в открытом доступе и многие из них не требуют сверхмощного железа для тестирования.

     06.03.2020       Выпуск 324 (02.03.2020 - 08.03.2020)       Интересные проекты, инструменты, библиотеки

pytest-responsemock 0.1.0 — имитируем ответы для requests в pytest

О подключаемом расширении для pytest, позволяющем упростить написание тестов для кода, использующего вызовы requests.

     05.03.2020       Выпуск 324 (02.03.2020 - 08.03.2020)       Статьи
     05.03.2020       Выпуск 324 (02.03.2020 - 08.03.2020)       Статьи

Методы Монте-Карло для марковских цепей (MCMC). Введение

Методы Монте-Карло для марковских цепей (MCMC) – это мощный класс методов для выборки из вероятностных распределений, известных лишь вплоть до некоторой (неизвестной) нормировочной константы.

Однако прежде, чем углубиться в MCMC, давайте обсудим, зачем вам вообще может понадобиться делать такую выборку. Ответ таков: вам могут быть интересны либо сами образцы из выборки (например, для определения неизвестных параметров методом байесовского вывода), либо для аппроксимации ожидаемых значений функций относительно вероятностного распределения (например, для расчета термодинамических величин по распределению состояний в статистической физике). Иногда нас интересует только мода распределения вероятностей. В данном случае получаем ее методом числовой оптимизации, поэтому делать полную выборку не обязательно.

     05.03.2020       Выпуск 324 (02.03.2020 - 08.03.2020)       Видео

ML в поиске и рекомендациях hh.ru / Игорь Киценко (hh.ru)

Из доклада вы узнаете:

- как устроена система рекомендаций вакансий hh.ru
- как в hh.ru перешли от стандартного полнотекстового поиска к поиску на основе машинного обучения

     05.03.2020       Выпуск 324 (02.03.2020 - 08.03.2020)       Статьи

Trio – асинхронное программирование для людей

В Python существует библиотека Trio – библиотека асинхронного программирования. Знакомство с Trio в основном будет интересно тем, кто работает на Asyncio, потому что это хорошая альтернатива, позволяющая решать часть проблем, с которыми не может справиться Asyncio. В этом обзоре рассмотрим, что из себя представляет Trio и какие фичи она нам дает.

     04.03.2020       Выпуск 324 (02.03.2020 - 08.03.2020)       Статьи
     04.03.2020       Выпуск 324 (02.03.2020 - 08.03.2020)       Конференции, события, встречи разработчиков

[бесплатно] Python School в Челябинске

Первого апреля в Челябинске стартует школа разработки на языке Python. Это отличная возможность для старта карьеры в IT. Обучение будет включать в себя теоретическую подготовку и разработку учебного проекта. Эксперты поделятся фундаментальными знаниями, необходимыми каждому профессиональному разработчику для создания современных веб-приложений на Python. Они передадут свой опыт, начиная с основ языка, заканчивая разработкой реального проекта на фреймворке Flask. Обучение бесплатное.

     04.03.2020       Выпуск 324 (02.03.2020 - 08.03.2020)       Статьи

Двойная проверка блокировки с Django ORM

Оригинальная статья: Luke PlantDouble-checked locking with Django ORM

Шаблон блокировки с двойной проверкой может быть полезен, когда:

  1. Вам необходимо ограничить доступ к определенному ресурсу, чтобы параллельные процессы не могли работать с ним одновременно.
  2. Другие доступные вам схемы блокировки сложны или медленные.

Этот пост о том, как можно реализовать этот шаблон в Django, используя функции ORM и блокировки на уровне базы данных. Шаблон может использоваться с любой другой ORM, но я проверил его только с Django, и подтвердил, что он работает, как и ожидается, используя PostgreSQL.