Выделение блоков в диалоге с агентом

Обновлено

Скачать Markdown

Выделение — это способ показать: работай вот с этим. Выделенные на холсте блоки попадают в диалог сами, и описывать их словами не нужно.

Как выделенные блоки попадают в диалог

Над полем ввода появляются карточки выделенных блоков. У изображения или видео с готовым результатом на карточке миниатюра, у текстового блока, группы и медиа-блока без результата — значок его типа.

Карточек в ряду помещается до семи. Если выделено больше, последняя превращается в счётчик вида «+3» — столько блоков не уместилось в ряд, но в диалог они всё равно уходят.

Крестик на карточке снимает выделение с этого блока. Карточки отражают текущее выделение холста: что вы видите над полем ввода, то и уйдёт в запрос.

Что агент узнаёт о выделенном блоке

По каждому блоку приходят его тип и содержимое. Для текстового блока это сам текст. Для изображения или видео — само изображение (у видео берётся первый кадр), если результат уже сгенерирован. Если результата ещё нет, приходит пометка, что содержимое не видно, — и агент честно об этом говорит, а не выдумывает.

Снимок выделения фиксируется в момент отправки сообщения: в работу уходит ровно то, что было выделено при нажатии «Отправить». Сменили выделение потом — на уже отправленный запрос это не повлияет.

Зрение как возможность описано в статье Что агент умеет.

Как задать работу с выделением

Выделите один или несколько блоков и напишите запрос обычными словами. О каких блоках речь, понятно по выделению:

  • «перепиши промпт в этом блоке короче»
  • «опиши, что на этой картинке»
  • «свяжи эти два блока»

Правила той модели, которая стоит в блоке, агент знает и пишет промпт под неё: как это устроено — в разделе Промптинг.

Как понять, о каком блоке идёт речь

В ответе блоки помечены кликабельными метками со значком типа. По метке видно, о каком именно блоке или соединении речь, даже если на холсте их десятки.

Клик по метке центрирует холст на этом блоке, наведение — подсвечивает его, не сдвигая вид.