Потоковые ответы позволяют возвращать пользователю данные по мере их генерации узлом ИИ-Агента, что особенно полезно для чат-ботов. Таким образом, пользователь видит ответ сразу, не дожидаясь завершения всей обработки.
Как включить потоковые ответы
Поток можно активировать через следующие узлы:
- Chat Trigger
- Webhook Node
В обоих случаях необходимо установить Response Mode узла в значение Стриминг.
Настройка узлов для потоковой передачи
Чтобы данные передавались по мере генерации, нужно использовать узлы, поддерживающие потоковую отправку. Не все узлы имеют эту возможность.
Примеры узлов с поддержкой потоковой передачи:
- ИИ Agen
- Respond to Webhook
В этих узлах поток можно отключить через настройки. По умолчанию они передают данные потоково, если триггер был настроен на Стриминг ответ.
Важные нюансы
- Триггер – узел-триггер должен поддерживать потоковую передачу и быть правильно настроен. Без этого воркфлоу будет работать согласно стандартному режиму ответа.
- Конфигурация узлов – даже если поток включен на триггере, должен быть хотя бы один узел, настроенный на потоковую передачу. Иначе воркфлоу не отправит данные пользователю.