中級者向けAI開発

文字・画像・音声をまとめてAIに扱わせたい

マルチモーダルAI

まずはここだけ

マルチモーダルAIは、文章だけでなく画像や音声もまとめて扱えます。

使う場面：画像を見ながら質問する、動画と音声を合わせて調べる時

具体的な利用例

商品写真と説明文を渡して、登録内容の不足を見つける

画像内の小さい文字や音声の聞き間違いに注意し、重要な値は確認します。

AIの結果を確認せず、そのまま業務へ使わないことも大切です。重要な数値や判断は人が確認してください。

仕組みと使いどころを詳しく見るできること・技術名・利用する場面を確認

種類の違う情報を同じAIがまとめて理解・生成します。

マルチモーダルAIを使います。むずかしい名前でも、まずは「この目的に使う仕組み」と覚えれば大丈夫です。

画像を見ながら質問する、動画と音声を合わせて調べる時

入力する情報の種類を決める。画像・音声・文章を用意する。質問と一緒にAIへ渡す。各情報を正しく読めたか確認する。この流れをサービスやプログラムが自動で進めます。

試すためのツールと手順を見るサービスの例・準備から確認までの順番

Gemini（画像・音声・動画の分析）Web・モバイルアプリ
画像・音声・動画などを文章の質問と一緒に渡し、内容を説明・要約させられます。
Googleアカウントへのログインが必要。対応形式やファイル容量、利用量には制限があります。

リンク先は公式ページ・公式の使い方です。クラウド機能を利用する場合は入力内容の送信先、料金、組織の利用ルールを確認してください。

利用のポイント

最初は小さなデータで試し、期待する結果と比べてから対象を広げると失敗を減らせます。