Генерация текста

Генерация текста устроена как обычный блок генерации, но ведёт себя иначе на нескольких важных местах: ответ приходит не сразу, стоимость заранее не показывается, а результат — это такой же текстовый блок, который можно сразу пустить дальше по проекту как промпт. Ниже — то, что отличает именно текст.

Как собрать генерацию текста

В каталоге блоков, в категории «Текст», есть блок для генерации текста моделями разных провайдеров. Подключите к его входу «Промпт» текстовый блок с заданием — так же, как для любой другой генерации. Список конкретных моделей открывается прямо в блоке и периодически обновляется, поэтому здесь его не перечисляем.

Результат генерации приходит в обычный текстовый блок — так же, как и при любой другой генерации. Подробнее об устройстве блока генерации и о том, куда попадает результат, — в статье Как работает генерация, о входах для примеров и содержимого — в статье Что подавать на вход генерации.

Текст приходит целиком или по частям

По умолчанию ответ появляется в блоке постепенно, по мере того как модель его формирует: пока запрос ещё не начал обрабатываться, на блоке крутится индикатор загрузки, а как только модель начинает отвечать — текст в блоке дописывается небольшими порциями, без индикатора.

Это поведение можно отключить: среди параметров блока есть переключатель «Стриминг», включённый по умолчанию. Если его выключить, блок останется с индикатором загрузки до самого конца и получит весь ответ одним куском, когда модель закончит генерировать.

Можно ли остановить генерацию на середине

Отменить можно только запрос, который ещё стоит в очереди и не взят в работу. Как только он взят — а происходит это до первого слова ответа, — остановить генерацию нельзя: она доработает до конца независимо от того, нужен вам ещё ответ или нет. Окно для отмены короче, чем кажется по появлению текста на блоке.

Кнопки остановки на самом блоке нет. Очередь запросов открывается по счётчику кредитов в верхней панели — там же у ещё не начатых задач есть кнопка отмены.

Может ли модель прочитать изображение

В каталоге есть текстовые модели, которые умеют распознавать содержимое изображений и учитывать его в ответе. Если вы выбрали такую модель, на блоке автоматически появляется дополнительная точка входа «Изображения» — к ней можно подключить до четырёх изображений одновременно, в дополнение к тексту. У моделей без такой возможности эта точка на блоке не отображается вовсе.

Учтите обратный ход: если переключиться с такой модели на ту, что изображения не принимает, точка входа исчезает вместе с подключёнными к ней соединениями — картинки придётся подключать заново, если вы вернётесь к прежней модели.

Куда идёт результат и как он выглядит

Ответ модели приходит с сохранением разметки: если модель ответила заголовками, списком или выделила часть текста жирным, в блоке это отобразится так же — заголовками, списком и выделением, а не сплошным текстом со значками разметки. После генерации это обычный текстовый блок: его можно редактировать так же, как любой другой (подробнее в статье Какие бывают блоки).

Поскольку это тот же тип блока, что и обычный текстовый блок с промптом, результат генерации можно сразу подключить к входу «Промпт» следующей генерации — изображения, видео или снова текста. Никаких дополнительных действий для этого не требуется.

Сколько стоит генерация и есть ли предел на длину ответа

Стоимость генерации текста заранее не показывается — рядом с кнопкой запуска нет числа кредитов, в отличие от генерации изображений и видео. Причина в том, что цена зависит от объёма текста: и от того, сколько вы подали на вход, и от того, насколько длинным получился ответ, — а длина ответа заранее не известна. Списание происходит после того, как генерация завершилась. Ненулевой баланс при этом нужен и здесь: с пустым счётом запуск не пройдёт.

Максимальную длину ответа можно задать самостоятельно: в дополнительных параметрах блока есть значение «Макс. токенов» — по умолчанию 8192, его можно менять в пределах от 50 до 16384. Рядом там же лежит «Температура» — она отвечает за разброс в ответах модели: чем ниже, тем предсказуемее и суше ответ.

Если модель упирается в предел длины и обрывает ответ, Строфи показывает предупреждение о достигнутом лимите токенов — но только при включённом постепенном выводе. С выключенным переключателем «Стриминг» обрыв по лимиту ничем не обозначается — ответ окажется короче, чем вы ждали, и предупреждения об этом не будет.