Промпт для аудио
Обновлено
Аудио-модели решают три разные задачи. Одни пишут музыку — инструментал или трек с вокалом. Другие собирают звуковую сцену целиком: реплики персонажей, фоновые шумы, эффекты и музыку одним куском. Третьи озвучивают готовый текст выбранным голосом. Промпт для этих задач устроен по-разному, и текст, написанный под одну, на другой даст не тот результат. Какая модель что умеет, видно в каталоге — состав каталога меняется, приёмы ниже остаются.
Промпт для музыки
Музыкальной модели нужно описание самой музыки, а не сюжета или изображения, под которое она пойдёт. Работает набор из пяти вещей: жанр, настроение, инструменты, темп и характер вокала.
An energetic electronic dance track with soaring synth leads, punchy
four-on-the-floor kick drums and a catchy female vocal hook. 128 BPM.
Темп можно задавать числом в BPM или словами — «slow ballad», «fast tempo». Вокал описывается так же прямо: «male vocals», «female soprano», «rap». Если вокал не нужен, это лучше сказать явно.
Голоса реальных исполнителей модель воспроизводить отказывается — запрос «спой голосом такого-то» отклоняется фильтром.
Язык вокала называйте в промпте явно. Русский вокал Lyria поёт, хотя в заявленных языках его нет.
Длину трека модели задают по-разному. У Lyria отдельного параметра нет — длину пишут в промпте словами («a 2-minute track») или разметкой секций по времени ([0:00-0:30] Intro). У ElevenLabs Music длительность — параметр блока, от 15 секунд до 10 минут, а текст песни пишется в том же промпте. Если вокал не нужен, надёжнее включить «Без вокала», чем просить об этом словами.
Текст для озвучки
Модель озвучки произносит промпт дословно. Описание голоса или подачи в тексте прозвучит вслух вместе с остальным, поэтому в промпт идёт только то, что нужно сказать.
Голос выбирается параметром «Голос», а кнопка ▶ рядом с именем проигрывает его образец.
Интонацию и паузы каждая модель задаёт по-своему:
- ElevenLabs v4 — теги в квадратных скобках прямо в тексте:
[laughs],[whispers],[sighs]. «Стабильность» выбирает между выразительной, естественной и устойчивой подачей. - MiniMax Speech 2.8 — пауза
<#0.5#>с длительностью в секундах и звуки в круглых скобках:(laughs),(sighs). Скорость речи и высота тона — параметры блока. - xAI TTS — теги
[laugh],[pause],[sigh]и выделение фрагмента:<whisper>…</whisper>,<slow>…</slow>. - Gemini 3.8 TTS — отдельный вход «Манера»: к нему подключают текстовый блок с описанием подачи обычными словами, например «спокойно и тепло, с лёгкой улыбкой». Манера не произносится и в стоимость не входит.
Стоимость озвучки считается по длине текста — подробнее в статье Кредиты и их списание.
Промпт для звуковой сцены
Модель звуковой сцены читает промпт как короткий сценарий. Сильный промпт называет обстановку, вводит каждого говорящего с описанием голоса и подачи, а потом даёт саму реплику.
Inside a huge football stadium, with the deafening roar of tens of thousands
of fans in the background. The commentator (middle-aged male, British accent,
rich penetrating voice, extremely exhilarated) shouts: "OH, HE SCORES!"
Что стоит задать про каждый голос: пол, примерный возраст, акцент, тембр, эмоцию и темп речи. Чем конкретнее описание, тем меньше модель выбирает наугад.
Музыка и звуковые эффекты описываются в том же тексте обычными словами — отдельных полей для них нет. Один непрерывный фоновый слой плюс несколько точных эффектов работают лучше, чем десяток разных звуков подряд.
Скорость речи, громкость и высота тона — параметры блока, а не часть промпта. Писать их словами в текст не нужно.
Аудио на входе — это образец голоса
Аудио, подключённое к блоку генерации звука, — это образец голоса: модель повторит его звучание в своей озвучке. Сколько записей принимает модель, показывает сам блок; у Seed Audio 1.0 их до трёх.
Само подключение файла ничего не значит — на образец надо сослаться в тексте промпта. У Seed Audio 1.0 ссылка выглядит как @Audio1, @Audio2, @Audio3, и номер соответствует порядку соединений: первый подключённый файл — @Audio1.
Dex (smooth warm confident broadcaster voice, voiced by @Audio1), relaxed
and amused, says: "Alright, what exactly did you do?"
Промпт без такой ссылки — самая частая ошибка с этой моделью: файл подключён, в тексте о нём ни слова, и озвучка приходит чужим голосом либо генерация обрывается ошибкой.
Каким должен быть образец голоса
Требования к записи жёсткие, и модель отклоняет то, что им не соответствует:
- не длиннее 30 секунд;
- ровно один голос — второй говорящий на записи делает её непригодной;
- без музыки и с минимумом фонового шума;
- одна эмоция и один тембр на всю запись;
- ровный уровень записи, естественный темп речи.
Если модель отказалась брать запись, дело почти всегда в этом: в файле музыка, несколько голосов или шумный фон.
Чего аудио на входе не делает
Это не референс стиля. Музыкальный отрывок, подключённый в надежде «сделай похоже по звучанию», задачу не решает: входа для образца музыкального стиля у аудио-моделей нет, стиль задаётся только словами в промпте.
Подключённая к Seed Audio 1.0 запись используется ещё и для работы с готовым звуком — продлить фрагмент, склеить два фрагмента, заменить реплику, сохранив голос и звучание помещения. Всё это тоже задаётся текстом промпта со ссылкой @Audio1.
Изображение вместо аудио
Аудио-модели принимают на вход и изображение. Музыкальной модели изображение задаёт настроение и тему будущего трека — так работает Lyria. Модели звуковой сцены она подсказывает характер озвучки: у Seed Audio 1.0 в этом режиме в промпте оставляют только текст, который нужно произнести.
Изображение и аудио одновременно Seed Audio 1.0 не принимает — что-то одно.