マルチモーダルとは

従来のAIはテキストだけを扱うものが中心でしたが、マルチモーダルAIは画像を見て説明文を作ったり、音声を聞いて文字に起こしたり、逆に文章から画像を生成したりすることができます。入力と出力の組み合わせ次第で活用の幅が大きく広がります。

AIコーディングの現場でも、画面のスクリーンショットを読み込ませてUIの実装を依頼したり、エラー画面の画像を渡して原因を特定したりと、マルチモーダルな使い方が一般的になりつつあります。