За несколько лет повсеместного роста популярности подкастов в эту сферу пришла масса специалистов: от звукорежиссеров до саундтрек-дизайнеров. Но теперь, если Krisp или Enhance Speech в Adobe Audition устранит шум на аудиозаписях, а Jukebox или Diffusion напишет музыку, то останется ли работа для людей?

Для этого материала мы задали звукорежиссерам три вопроса: как нейросети помогут подкастерам, удовлетворяют ли они их потребностям и как ИИ может изменить рынок труда в этой сфере?

Нейросети от Adobe и Descript работают по уникальному алгоритму: помимо «чистки» аудио от посторонних шумов они «ресинтезируют» голос. Это позволяет восстановить звучание целых фраз в записях, которые подверглись деструктивным эффектам и не поддаются обычной реставрации. Эти средства — самая тяжелая артиллерия в мире реставрации, и я бы пытался использовать их с самыми некачественными записями, где важно восстановить не то что качество и чистоту голоса, а простую читаемость.

При этом такая обработка очень агрессивна, и если попытаться прогнать через Adobe качественную запись, то реставрация деструктивно затронет голос и появится специфическое цифровое «квакание». Помимо этого, нельзя в полной мере полностью предугадать то, как проявит себя такая обработка с речью на русском языке: нейросети обучаются на большой выборке речи на английском.

Нейросети способны взять на себя одну из самых важных задач при работе со звуком: сэкономить время подкастера. Зачем отдавать запись монтажеру, чтобы он обработал голос в течение трех суток за 5000 рублей, если похожего звучания можно добиться, бесплатно прогнав аудиофайл через Descript за 10 минут? Тем более, что аудитория вряд ли заметит разницу между ручной и автоматической реставрацией, слушая эпизод через дешевые bluetooth-затычки.

Descript умеет полностью транскрибировать записи на английском и автоматически вырезать паузы и хезитации: зачем еще кому-то платить за это? С другой стороны, ничто на данный момент не заменит работу сильного монтажера, ведь, помимо прочего, это работа со смыслами и темпом речи.

Не стоит надеяться на то, что нейросети не заменят монотонный однообразный труд, такой как шумоподавление для голоса и монтаж подкаста. Я не вижу в этом ничего плохого: работа профессиональных монтажеров, готовых полностью включиться в задачу, всегда будет востребована.

С музыкой не всё так просто: мне не удалось найти сервис с автоматической генерацией музыки, который бы предоставлял записи хоть немного приемлемого качества. И, действительно, аранжировка и качественное сведение разных жанров — сложная задача, которую пока что не может осилить AI.

Развитие нейросетей для обработки звука и редактирования подкаста задвинут в прошлое проблемы с выбором помещения, микрофона, аудиоредактора и многие другие. Независимые подкастеры смогут сосредоточиться на контенте, а звуком займутся нейросети. Единственной проблемой со звуком, возможно, будет лишь одинаковое звучание у всех.

На сегодняшний день ИИ пока не нашел широкого признания среди профессионалов. В будущем он ускорит их работу, когда число его возможностей расширится. То, что сейчас звукорежиссёр делает на слух и руками, будет делать нейросеть. Опыт и тренированный слух помогут профессионалу грамотно составить промт. В этом сценарии уникальность звучания будет очевидна.

На мой взгляд, развитие нейросетей даст стимул обучаться, развивать слух и прокачивать опыт. Тот, кто знает, какой результат хочет получить и использует нетривиальные пути решения задач — будет впереди. В этом смысле у нас все как всегда.

***

Подробно о том, как использовать ИИ в подкатсинге, мы рассказываем в свежем материале «Нейросети для работы над подкастом».