Промпт для аудио

Обновлено

Скачать Markdown

Аудио-модели решают три разные задачи. Одни пишут музыку — инструментал или трек с вокалом. Другие собирают звуковую сцену целиком: реплики персонажей, фоновые шумы, эффекты и музыку одним куском. Третьи озвучивают готовый текст выбранным голосом. Промпт для этих задач устроен по-разному, и текст, написанный под одну, на другой даст не тот результат. Какая модель что умеет, видно в каталоге — состав каталога меняется, приёмы ниже остаются.

Промпт для музыки

Музыкальной модели нужно описание самой музыки, а не сюжета или изображения, под которое она пойдёт. Работает набор из пяти вещей: жанр, настроение, инструменты, темп и характер вокала.

An energetic electronic dance track with soaring synth leads, punchy
four-on-the-floor kick drums and a catchy female vocal hook. 128 BPM.

Темп можно задавать числом в BPM или словами — «slow ballad», «fast tempo». Вокал описывается так же прямо: «male vocals», «female soprano», «rap». Если вокал не нужен, это лучше сказать явно.

Голоса реальных исполнителей модель воспроизводить отказывается — запрос «спой голосом такого-то» отклоняется фильтром.

Язык вокала называйте в промпте явно. Русский вокал Lyria поёт, хотя в заявленных языках его нет.

Длину трека модели задают по-разному. У Lyria отдельного параметра нет — длину пишут в промпте словами («a 2-minute track») или разметкой секций по времени ([0:00-0:30] Intro). У ElevenLabs Music длительность — параметр блока, от 15 секунд до 10 минут, а текст песни пишется в том же промпте. Если вокал не нужен, надёжнее включить «Без вокала», чем просить об этом словами.

Текст для озвучки

Модель озвучки произносит промпт дословно. Описание голоса или подачи в тексте прозвучит вслух вместе с остальным, поэтому в промпт идёт только то, что нужно сказать.

Голос выбирается параметром «Голос», а кнопка ▶ рядом с именем проигрывает его образец.

Интонацию и паузы каждая модель задаёт по-своему:

  • ElevenLabs v4 — теги в квадратных скобках прямо в тексте: [laughs], [whispers], [sighs]. «Стабильность» выбирает между выразительной, естественной и устойчивой подачей.
  • MiniMax Speech 2.8 — пауза <#0.5#> с длительностью в секундах и звуки в круглых скобках: (laughs), (sighs). Скорость речи и высота тона — параметры блока.
  • xAI TTS — теги [laugh], [pause], [sigh] и выделение фрагмента: <whisper>…</whisper>, <slow>…</slow>.
  • Gemini 3.8 TTS — отдельный вход «Манера»: к нему подключают текстовый блок с описанием подачи обычными словами, например «спокойно и тепло, с лёгкой улыбкой». Манера не произносится и в стоимость не входит.

Стоимость озвучки считается по длине текста — подробнее в статье Кредиты и их списание.

Промпт для звуковой сцены

Модель звуковой сцены читает промпт как короткий сценарий. Сильный промпт называет обстановку, вводит каждого говорящего с описанием голоса и подачи, а потом даёт саму реплику.

Inside a huge football stadium, with the deafening roar of tens of thousands
of fans in the background. The commentator (middle-aged male, British accent,
rich penetrating voice, extremely exhilarated) shouts: "OH, HE SCORES!"

Что стоит задать про каждый голос: пол, примерный возраст, акцент, тембр, эмоцию и темп речи. Чем конкретнее описание, тем меньше модель выбирает наугад.

Музыка и звуковые эффекты описываются в том же тексте обычными словами — отдельных полей для них нет. Один непрерывный фоновый слой плюс несколько точных эффектов работают лучше, чем десяток разных звуков подряд.

Скорость речи, громкость и высота тона — параметры блока, а не часть промпта. Писать их словами в текст не нужно.

Аудио на входе — это образец голоса

Аудио, подключённое к блоку генерации звука, — это образец голоса: модель повторит его звучание в своей озвучке. Сколько записей принимает модель, показывает сам блок; у Seed Audio 1.0 их до трёх.

Само подключение файла ничего не значит — на образец надо сослаться в тексте промпта. У Seed Audio 1.0 ссылка выглядит как @Audio1, @Audio2, @Audio3, и номер соответствует порядку соединений: первый подключённый файл — @Audio1.

Dex (smooth warm confident broadcaster voice, voiced by @Audio1), relaxed
and amused, says: "Alright, what exactly did you do?"

Промпт без такой ссылки — самая частая ошибка с этой моделью: файл подключён, в тексте о нём ни слова, и озвучка приходит чужим голосом либо генерация обрывается ошибкой.

Каким должен быть образец голоса

Требования к записи жёсткие, и модель отклоняет то, что им не соответствует:

  • не длиннее 30 секунд;
  • ровно один голос — второй говорящий на записи делает её непригодной;
  • без музыки и с минимумом фонового шума;
  • одна эмоция и один тембр на всю запись;
  • ровный уровень записи, естественный темп речи.

Если модель отказалась брать запись, дело почти всегда в этом: в файле музыка, несколько голосов или шумный фон.

Чего аудио на входе не делает

Это не референс стиля. Музыкальный отрывок, подключённый в надежде «сделай похоже по звучанию», задачу не решает: входа для образца музыкального стиля у аудио-моделей нет, стиль задаётся только словами в промпте.

Подключённая к Seed Audio 1.0 запись используется ещё и для работы с готовым звуком — продлить фрагмент, склеить два фрагмента, заменить реплику, сохранив голос и звучание помещения. Всё это тоже задаётся текстом промпта со ссылкой @Audio1.

Изображение вместо аудио

Аудио-модели принимают на вход и изображение. Музыкальной модели изображение задаёт настроение и тему будущего трека — так работает Lyria. Модели звуковой сцены она подсказывает характер озвучки: у Seed Audio 1.0 в этом режиме в промпте оставляют только текст, который нужно произнести.

Изображение и аудио одновременно Seed Audio 1.0 не принимает — что-то одно.