Особенности автоматического дифференцирования в PyTorch. Часть 2

Это вторая часть статьи‑переводаот команды разработчиков PyTorch (Адама Пашке, Сэма Гросса и их единомышленников). В первой части авторы разобрали принципиальные отличия PyTorch от DyNet и других фреймворков и библиотек автоматического дифференцирования, а также особенности его интерфейса (флаги переменных, хуки, расширения). Сегодня — информация о реализации данного фреймворка в таких аспектах как управление памятью (оперативная очистка промежуточных значений, когда они становятся ненужными), выполнение операций над тензором и способ их аннулирования.