IT-новости про Python, которые стоит знать

Собрали в одном месте самые важные ссылки
читайте нас в Telegram

     16.03.2020       Выпуск 326 (16.03.2020 - 22.03.2020)       Статьи

Какой язык выбрать для работы с данными R или Python? Оба! Мигрируем с pandas на tidyverse и data.table и обратно

По запросу R или Python в интернете вы найдёте миллионы статей и километровых обсуждений по теме какой из них лучше, быстрее и удобнее для работы с данными. Но к сожалению особой пользы все эти статьи и споры не несут.

     15.03.2020       Выпуск 325 (09.03.2020 - 15.03.2020)       Статьи

Hack The Box — прохождение Postman. Redis и WebMin

Продолжаю публикацию решений отправленных на дорешивание машин с площадки HackTheBox. Надеюсь, что это поможет хоть кому-то развиваться в области ИБ. В данной статье нам придется проэксплуатировать уязвимости в Redis и WebMin, а также подобрать пароль к зашифрованному ключу RSA.

     14.03.2020       Выпуск 325 (09.03.2020 - 15.03.2020)       Статьи

Общий финансовый анализ на Python (Часть 1)

В прошлой статьерассмотрено как можно получить информацию по финансовым инструментам. Дальше будет опубликовано несколько статей о том, что первоначально можно делать с полученными данными, как проводить анализ и составлять стратегию. Материалы составлены на основании публикаций в иностранных источниках и курсах на одной из онлайн платформ.

В этой статье будет рассмотрено, как рассчитывать доходность, волатильность и построить один из основных индикаторов.

     12.03.2020       Выпуск 325 (09.03.2020 - 15.03.2020)       Статьи

Основы ClickHouse для веб разработчика

Статья предназначена веб разработчику, который недавно подключился к проекту где используется ClickHouse и ему понадобилось быстро понять что это такое.

     12.03.2020       Выпуск 325 (09.03.2020 - 15.03.2020)       Статьи

Как писать безопасный Python-код. Отвечает Кушал Дас

Отличительная черта выступлений Кушала в том, что он регулярно обнародует «секретные» способы сломать Python-код и в противовес показывает, как написать код так, чтобы АНБ не смогло его взломать. На нашей конференции Кушал расскажет, как безопасно разрабатывать и деплоить Python-код, поэтому о безопасности я его и расспрашивал.

     11.03.2020       Выпуск 325 (09.03.2020 - 15.03.2020)       Статьи

Создание виртуальных окруженей и установка библиотек для Python 3 в IDE PyCharm

Довольно часто я вижу, как мои знакомые и друзья начинают изучать Python и сталкиваются с проблемой установки и использования сторонних библиотек. Они могут несколько часов потратить на установку библиотеки, и даже, могут не справиться с этим и забить на неё. В то время как, в большинстве случаев, это можно было сделать за несколько минут.

     11.03.2020       Выпуск 325 (09.03.2020 - 15.03.2020)       Статьи

Разблокируем порты коммутатора Cisco с помощью Zabbix, Ansible и Napalm

День добрый. Это вторая часть цикла из двух статей. В первой части мы ловили Zabbix-ом трапы PortSecurity от коммутаторов, а здесь мы, можно сказать, решаем обратную задачу — снимаем блокировку порта коммутатора щелчком мыши в фронтенде Zabbix-а.

Так получилось, что эта задача решалась два раза, двумя разными инструментами и с разницей в несколько месяцев. Сначала использовался Ansible, который вполне успешно справлялся. Но в один прекрасный момент он сломался (опять) и та же самая задача была решена простым Python-ом с использованием широко известной в узких кругах сетевой библиотекой Napalm.

 

     11.03.2020       Выпуск 325 (09.03.2020 - 15.03.2020)       Статьи

Flask-DJ: Django (mvc) структура для проекта на flask

Когда я впервые столкнулся с Flask, у меня сразу возник вопрос по построению архитектуры проекта.

 

Прочитав пару статей на Хабре (https://habr.com/ru/post/275099/ и https://habr.com/ru/post/421887/), я вспомнил свой опыт создания проектов на Django, и решил сделать инструмент, благодаря которому не придется задумываться об архитектуре, но при этом можно будет использовать все возможности Flask.

     10.03.2020       Выпуск 325 (09.03.2020 - 15.03.2020)       Статьи

Мониторим события PortSecurity коммутаторов Cisco в Zabbix

Решился выплеснуть в онлайн пару in-house решений, которые облегчают деятельность сетевиков и прочих ИТ братьев по разуму.

 

В этой статье речь пойдет о мониторинге событий стандартного (для многих вендоров) механизма защиты от несанкционированного подключения устройств к сети, — механизма PortSecurity.

Решение изначально построено для коммутаторов от компании Cisco, но при желании легко допиливается под любой коммутатор и под любые события, основанные на SNMP-трапах.

     10.03.2020       Выпуск 325 (09.03.2020 - 15.03.2020)       Статьи

Есть ли жизнь после Scratch, или как познакомить ребёнка с Python

Путём проб и ошибок нашим учителям удалось найти способ, как развивать детей дальше, чему учить, чтобы они при этом не потеряли интерес к программированию из-за слишком сложных задач. Так в e-kids стали обучать более сложному языку программирования — Python. В этой статье я собрала полезную информацию от коллег, кто преподает в школе, о том, как детей познакомить c Python.

     10.03.2020       Выпуск 325 (09.03.2020 - 15.03.2020)       Статьи

Яндекс открывает фреймворк Testsuite

Сегодня мы открываем исходный код testsuite — фреймворка для тестирования HTTP-сервисов, который разработан и применяется в Яндекс.Такси. Исходники опубликованы на GitHub под лицензией MIT.

     09.03.2020       Выпуск 325 (09.03.2020 - 15.03.2020)       Статьи

Предсказываем финансовые кризисы с помощью Python

По состоянию на 9 марта 2020 мы имеем резкое снижение рынков США начиная с исторического максимума в 20-числах февраля 2020, которое на данный момент составило около -16%. Новости пестрят заголовками про надвигающуюся рецессию из-за коронавируса, Россия вышла из сделки Опек+, что ударило по ценам на нефть (-20% за день) и завтра, (10 марта 2020) ожидается снижение рынка ММВБ также на 20%, судя по котировкам наших акций на западных рынках.

     09.03.2020       Выпуск 325 (09.03.2020 - 15.03.2020)       Статьи

Собственный софт-процессор на ПЛИС с компилятором языка высокого уровня или Песнь о МышЕ

Собственный софт-процессор на ПЛИС с компилятором языка высокого уровня или Песнь о МышЕ — опыт адаптации компилятора языка высокого уровня к стековому процессорному ядру.

Распространенной проблемой для софт-процессоров является отсутствие средств разработки для них, особенно, если их система команд не является подмножеством команд одного их популярных процессорных ядер. Разработчики в этом случае вынуждены будут решать эту проблему. Прямым её решением является создание компилятора языка ассемблера. Однако в современных реалиях не всегда удобно работать на Ассемблере, так как в процессе развития проекта может изменяться система команд в связи, например, с изменившимися требованиями. Поэтому задача легкой реализации компилятора языка высокого уровня (ЯВУ) для софт-процессора является актуальной.

     09.03.2020       Выпуск 325 (09.03.2020 - 15.03.2020)       Статьи

Hack The Box. Прохождение Bankrobber. XSS, SQL инъекция, CSRF, port forwarding

Продолжаю публикацию решений отправленных на дорешивание машин с площадки HackTheBox. Надеюсь, что это поможет хоть кому-то развиваться в области ИБ. В данной статье мы угоним куки администратора сайта через XSS, узнаем код с помощью SQL инъекции, получим шелл через форму выполнения команды с помощью XSS и CSRF, прокинем порт из Windows и побрутим PIN легенького приложения перевода средств с помощью pwntools.

Подключение к лаборатории осуществляется через VPN. Рекомендуется не подключаться с рабочего компьютера или с хоста, где имеются важные для вас данные, так как Вы попадаете в частную сеть с людьми, которые что-то да умеют в области ИБ :)

     09.03.2020       Выпуск 325 (09.03.2020 - 15.03.2020)       Статьи

Детектирование аномалий с помощью автоенкодеров на Python

Детектирование аномалий — интересная задача машинного обучения. Не существует какого-то определенного способа ее решения, так как каждый набор данных имеет свои особенности. Но в то же время есть несколько подходов, которые помогают добиться успеха. Я хочу рассказать про один из таких подходов — автоенкодеры.

     08.03.2020       Выпуск 324 (02.03.2020 - 08.03.2020)       Статьи

Генерируем тексты песен Кис Кис цепями Маркова в 50 строк

Дисклеймер: автор хотел повеселить себя вечером и не придумал ничего лучше, как:

 

В качестве корпуса для "обучения" цепи я буду использовать текст песен группы Кис Кис.

     08.03.2020       Выпуск 324 (02.03.2020 - 08.03.2020)       Статьи

Трансформация цвета: поиски в прореженном столе

Это обзор функциональности, появившейся в Pillow 5.2: применение трехмерных таблиц поиска (3D lookup tables, 3D LUT) для трансформации цвета. Эта техника широко распространена в обработке видео и 3D-играх, однако мало графических библиотек могли похвастаться их поддержкой до этого.

 

Трехмерные таблицы поиска дают большую гибкость в описании цветовых трансформаций, но самое главное трансформации выполняются за одинаковое время, какими бы сложными они не были.

     08.03.2020       Выпуск 324 (02.03.2020 - 08.03.2020)       Статьи

Краткий гайд по использованию GDB

В этом коротком туториале мы рассмотрим базовые приёмы работы с GDB, а также посмотрим как можно (и нужно) подготавливать файлы к отладке для GDB.

 

GDB — переносимый отладчик проекта GNU, который работает на многих UNIX-подобных системах и умеет производить отладку многих языков программирования, включая Си, C++, Free Pascal, FreeBASIC, Ada, Фортран, Python3, Swift, NASM и Rust.

     07.03.2020       Выпуск 324 (02.03.2020 - 08.03.2020)       Статьи

Анализ тональности фраз с помощью нейронных сетей

Все люди, получающие высшее образование, не отчислившись, все-таки доходят до стадии написания диплома. Не стал исключением и я. Хотелось реализовать что-то интересное и освоить доселе неизученное, поэтому обратил внимание на тему нейронных сетей и искусственного интеллекта в целом. А задачей, которую я решал с помощью нее, является анализ тональности текста, что и так широко применятся в различных системах мониторинга. Процесс ее решения я и попытаюсь описать в данной статье.

Короче говоря, цель — понять присутствует ли у фразы положительный оттенок или отрицательный. Сразу хочу сказать, что эту задачу можно решать несколькими способами, и не только нейросетями. Можем составлять словари в которых отмечены позиции слов и т.д. (все методы есть на хабре в избытке), но на каждый способов может уйти еще по статье, поэтому оставим их обзор на потом.

     06.03.2020       Выпуск 324 (02.03.2020 - 08.03.2020)       Статьи

Подборка статей о машинном обучении: кейсы, гайды и исследования за февраль 2020

Вслед за январским постом встречайте второй выпуск дайджеста. Здесь вас ждёт список англоязычных материалов за февраль, которые написаны без лишнего академизма. Публикации содержат примеры кода и ссылки на непустые репозитории. Упомянутые технологии лежат в открытом доступе и многие из них не требуют сверхмощного железа для тестирования.