Представьте себе свой автомобиль изнутри, с его «неправильной» формой, изгибами, со всеми его аксессуарами: приборной панелью, сиденьями и прочим — все эти элементы формируют амплитудно-частотную характеристику (АЧХ) вашего автомобиля.
Что такое DSP в музыке? Сведение и мастеринг с использованием DSP процессоров
DSP — это цифровой сигнальный процессор, используемый для дальнейшей цифровой обработки сигнала.
Цифровой сигнальный процессор (DSP) обычно представляет собой специальный микропроцессор, который выполняет определенные задачи, не перегружая центральный процессор компьютера. В аудио мы часто используем аппаратные устройства, такие как аудиоинтерфейсы со встроенными DSP-чипами, чтобы уменьшить задержку и снизить нагрузку на центральный процессор. Некоторые автономные устройства, например, устройства для моделирования усилителей, могут иметь DSP для внутренней обработки.
Например, почти вездесущая серия Apollo от Universal Audio включает чипы для записи в реальном времени с низкой задержкой с помощью плагинов UAD и возможность использования нескольких экземпляров плагинов при микшировании/мастеринге.
Что такое DSP в сведении и мастеринге?
Цифровая обработка звука обычно относится к процессу преобразования аналогового сигнала в цифровой сигнал для записи (через интерфейс) и обратного преобразования в аналоговый сигнал для воспроизведения на компьютере. Оно также относится к любому виду редактирования и обработки звука в программе DAW, включая использование плагинов. Всякий раз, когда мы используем компьютер для обработки звука, мы говорим о цифровой обработке сигнала.
Несколько слов о плагинах и их эффектах: Нативные плагины работают на мощности процессора и памяти компьютера, что мы называем формой цифровой обработки сигнала. Плагины на основе DSP работают на специальных чипах в аппаратном обеспечении, которые мы называем цифровыми сигнальными процессорами (например, UAD-2 от UA).
Обзор архетипа Neural DSP Plini
Самый простой способ подвести итог — рассмотреть многочисленные удобства цифрового аудио. Мы уже не раз говорили об этом, но любой человек с ноутбуком может записать хит прямо у себя в спальне благодаря цифровой обработке сигнала. Мало того, любой желающий может скачивать и распространять неограниченное количество копий своей музыки через потоковые сервисы. Цифровое хранение файлов облегчает копирование, а качество не ухудшается со временем.
Создание музыки отнимало много времени, стоило дорого и требовало профессиональной студии. Каналы и дорожки были ограничены размерами консоли и магнитофона, редактирование осуществлялось путем физического разрезания ленты и т.д. Мастер-ленты было трудно копировать, они изменялись со временем, и потребителям приходилось покупать физическую копию, чтобы услышать продукт. Несомненно, технология DSP значительно упростила создание и передачу музыки.
История
Первые DSP появились в 1970-х годах. Эти процессоры стали логическим развитием специализированных аналого-цифровых устройств для обработки речи, особенно кодирования и фильтрации речи (спрос на эти технологии во время Второй мировой войны вызвал революцию в смежных научно-технических областях). Трудоемкая и длительная разработка устройств под каждую возникающую задачу, а также успехи в развитии электронной основы (широкое применение технологии MOSFET) и математических алгоритмов (БПФ, цифровая фильтрация) привели к возможности создания универсальных, т.е. программируемых цифровых процессоров, которые можно было бы программно адаптировать для решения самых разных задач. Адаптивность на практике означает снижение стоимости разработки, сокращение времени выхода на рынок, возможность обновления алгоритма после запуска для устранения ошибок, а также способность поддерживать новые требования пользователей. Во многих случаях эти возможности с лихвой компенсируют снижение производительности по сравнению со специализированными ускорителями.
Из-за необходимости обработки данных в реальном времени и экономии энергии DSP сильно отличались от процессоров общего назначения. В некотором смысле, они стали первым примером программируемых ускорителей вычислений, то есть процессоров, которые могут решать определенный класс задач с максимальной производительностью.
Преимущества DSP
Так что же именно отличает DSP от обычных мощных процессоров общего назначения, особенно мощных процессоров типа Intel Xeon или Cortex-A, и почему процессоры общего назначения не используются для обработки сигналов? Чтобы ответить на этот вопрос, давайте рассмотрим топологию современного процессора Intel.
Из рисунка видно, что значительная часть площади чипа используется не для вычислительных ресурсов, а для сложной логики обнаружения зависимостей, внеочередного спекулятивного выполнения и планирования. Сумма этих накладных расходов означает, что «эффективность» процессора, т.е. энергия, затраченная на фактические вычисления, составляет менее 1%:
В то время как для выполнения простой арифметической операции требуется около 0,5-20 пДж, современные ядра потребляют около 2000 пДж для ее программирования.
Традиционные многоядерные процессоры потребляют в 157-707 раз больше энергии, чем пользовательские аппаратные конструкции.
(из статьи «Взлет и падение темного кремния» в списке ссылок).
Чтобы сделать сравнение более конкретным, возьмем мощный процессор общего назначения от Intel и мощный DSP от Texas Instruments (например, Skylake Xeon Platinum 8180M и TMS320C6713BZDP300):
Процессор (Intel)
DSP (TI)
Частота
Потребляемая мощность
Вне диапазона
Цена
$13K (+ система охлаждения)
$
Специфика выполняемых задач оказывает существенное влияние на архитектуру и системное программное обеспечение для ЦСП. Дженнифер Эйр, аналитик BDTI, объясняет: «Архитектура ЦСП формируется алгоритмами» («Architecture of DSPs is moulded by algorithms», из статьи «Эволюция процессоров ЦСП»). Давайте перечислим характеристики этих задач:
Таким образом, основными целями являются максимальное использование присущего задачам параллелизма и снижение потребления энергии во время выполнения цикла.
Для применения ILP используются различные методы:
Однако для снижения энергопотребления используются различные методы
Архитектура DSP
- Практически бесконечный параллелизм уровня команд (ILP, Instruction Level Parallelism)
- Большинство алгоритмов (свертка, быстрое преобразование Фурье, вычисления с компл е ксными числами) сводятся к выполнению операций сложения и умножения над плотными массивами данных
- Вычисление производятся на встроенных системах, с жёсткими требованиями по энергопотреблению
- Векторные инструкции (SIMD, Single Instruction Multiple Data)
- Сложные инструкции (CISC, Complex Instruction Set Computer):
- Составные математические операции (умножение и вычитание с накоплением, гистограммы, спецфункции, компл е ксные вычисления)
- Операции умножения со сдвигом (для арифметики с фиксированной точкой)
- Широкий набор режимов адресации (с шагом, с пре- и пост-инкрементом, циклическим обходом и пр.)
- Алгоритмо-специфические операции (например подсчёт контрольных сумм сетевых пакетов, криптография, аудио-видео декодеры)
- Расширяемые системы команд (в IP-продуктах Ceva и Tensillica)
- Сильно расслоенная память (для выдачи нескольких параллельных загрузок за такт или индексных обращений в память типа scatter/gather)
- Избавление от задержек, вызываемых ветвлениями:
- Поддержка предикатного выполнения для всех команд процессора (или подавляющего большинства)
- Процессорные хинты (специальные инструкции для предзагрузки данных)
- Слоты задержки
- Быстрые циклы (zero-overhead loops)
- Вынесение наиболее вычислительно-ёмких алгоритмов (алгоритм Витерби, БПФ, QR-разложение, нейросетевые вычисления) на встроенные ускорители (т.н. fixed function units)
- Ускорение продолжительных операций с памятью с помощью специальных блоков прямого доступа в память (DMA), с поддержкой произвольных 2D/3D-шагов
- Переход от действительных чисел на арифметику с фиксированной точкой
- Нестандартные типы данных (например 20- и 40-битные целые)
- Упорядоченные (in-order) вычисления, отсутствие спекулятивности (speculation) и внеочередного выполнения (out-of-order)
- Явное формирование параллельно исполняемых пакетов инструкций компилятором (VLIW)
- Отсутствие отслеживания процессором зависимостей между инструкциями и перенос ответственности за точное планирование инструкций на компилятор (exposed pipeline)
- Отсутствие кэшей
- Прямое обращение в глобальную DRAM-память приведёт к остановке процессора для выполнения транзакции
- Вместо instruction- и data-кэшей используется небольшая (до 1 Мбайта) быстрая SRAM-память, т.н. scratchpad или Tightly Coupled Memory, загрузками в которую явно управляет программист
- Для упрощения таких загрузок часто используются оверлеи – специальный механизм разбиения программы на независимые участки, которые могут по требованию динамически подгружаться в TCM, вытесняя друг друга
