ストリーミング応答とは？AIの逐次表示の仕組み

AIはトークンと呼ばれる単位を一つずつ計算しながら出力します。ストリーミング応答では、この生成の完了を待たずにトークンが確定するたびクライアント側へ送り届けるため、回答全体が完成してから表示する方式に比べて、体感の待ち時間が大きく短縮されます。

実装面では、API呼び出し時にストリーミング用のオプションを指定し、受け取った断片を順次画面に反映する処理が必要です。長い回答を返すAIエージェントやAIコーディングエージェントのUIでも、進行状況が見えることでユーザーの離脱を防ぐ効果があります。