Multi-Modal AI

テキスト:
- 自然言語
- コード
- 構造化データ

画像:
- 写真
- イラスト
- 図表、グラフ

音声:
- 人間の声
- 音楽
- 環境音

動画:
- 映像と音声の組み合わせ
- 時系列情報

その他:
- センサーデータ
- 3Dモデル
- 触覚データ

各モダリティを最初から統合

プロセス:
1. テキスト、画像、音声を個別にエンコード
2. 初期段階で統合
3. 統合された表現で処理

メリット:
- モダリティ間の相互作用を早期に学習

各モダリティを独立に処理してから統合

プロセス:
1. テキスト、画像、音声を独立に処理
2. それぞれの出力を得る
3. 最後に統合

メリット:
- 各モダリティに特化したモデルを使用可能

早期と後期の統合を組み合わせ

GPT-4o、Gemini などの最新モデルで採用

テキストと画像を統合

例:
- CLIP（OpenAI）
- DALL-E（画像生成）
- GPT-4 Vision
- Gemini

タスク:
- 画像キャプション生成
- 画像に関する質問応答
- テキストから画像生成

音声とテキストを統合

例:
- Whisper（音声認識）
- GPT-4o（音声対話）
- Bark（音声生成）

タスク:
- 音声認識
- 音声合成（TTS）
- 音声翻訳

動画とテキストを統合

例:
- Gemini 1.5 Pro
- Video-LLaMA

タスク:
- 動画の内容理解
- 動画のキャプション生成
- 動画に関する質問応答

テキスト、画像、音声、動画を統合

例:
- GPT-4o（omni モデル）
- Gemini 1.5 Pro

タスク:
- あらゆるモダリティ間の変換
- 統合的な理解と生成

入力:
- 画像: レストランのメニュー写真
- テキスト: 「このメニューで一番安い料理は？」

Multi-Modal AI:
1. 画像からメニュー項目と価格を読み取る（OCR + 理解）
2. 価格を比較
3. 「サラダが780円で最安です」と回答

入力:
- 動画: 料理のレシピ動画（5分間）
- テキスト: 「材料のリストを教えて」

Multi-Modal AI:
1. 動画全体を視聴
2. 材料が映っているシーンを特定
3. 材料リストを生成

入力:
- 画像: 観光地の写真
- 音声: 「ここはどこですか？」

Multi-Modal AI:
1. 音声を認識（STT）
2. 画像から場所を特定
3. 「これは東京タワーです」と音声で回答（TTS）

視覚障害者向け:
- 画像を音声で説明
- 「赤いドレスを着た女性が、公園のベンチに座っています」

聴覚障害者向け:
- 音声をリアルタイムで文字起こし
- 字幕を自動生成

Single-Modal:
テキスト「猫」
→ 猫という概念を言葉で理解

Multi-Modal:
テキスト「猫」+ 画像（猫の写真）
→ 視覚的な特徴も含めて理解
→ より深い理解

テキストのみ:
「銀行に行く」
→ 金融機関？川の土手？

テキスト + 画像:
「銀行に行く」+ 建物の写真
→ 金融機関と明確に判断

人間同士のコミュニケーション:
- 言葉
- 表情
- ジェスチャー
- 声のトーン

Multi-Modal AI:
人間に近い、自然なコミュニケーションが可能

様々な入出力の組み合わせ:
- テキスト → 画像（DALL-E）
- 画像 → テキスト（キャプション生成）
- 音声 → テキスト（Whisper）
- テキスト → 音声（TTS）
- 動画 → テキスト（要約）

問題:
異なるモダリティ間の対応関係を学習

例:
画像の「猫」とテキストの「cat」が
同じ概念を表すことを学習する必要

対策:
- 大量のペアデータで訓練
- Contrastive Learning（対比学習）

問題:
複数のモダリティを処理するため、計算量が大きい

例:
テキストのみ: 100 トークン
画像1枚: 約 1,000 トークン相当
→ 10倍の計算量

対策:
- 効率的なアーキテクチャ
- 画像の圧縮

問題:
Multi-Modal のデータセットは作成コストが高い

例:
テキストのみ: ウェブから収集可能
画像 + 説明文: ペアで収集する必要
動画 + 詳細な説明: さらに高コスト

対策:
- 自動生成（弱教師あり学習）
- クラウドソーシング

問題:
各モダリティの情報密度が異なる

例:
「夕日」というテキスト: 数文字
夕日の画像: 数百万ピクセル

このギャップをどう扱うかが課題

特徴:
- テキスト、音声、画像をネイティブ統合
- リアルタイム音声対話
- 平均 320ms の応答時間

強み:
- 自然な音声対話
- 高度な画像理解
- マルチモーダル推論

特徴:
- 最大 200万トークンのコンテキスト
- テキスト、画像、動画、音声に対応

強み:
- 超長文・長時間動画の処理
- 多言語対応
- 豊富なモダリティサポート

特徴:
- テキストと画像に対応
- 安全性重視

強み:
- 詳細な画像分析
- 正確な推論
- バイアスの少ない応答

特徴:
- 画像とテキストの統合理解
- 4億のペアデータで訓練

強み:
- Zero-Shot 画像分類
- 画像検索
- 画像生成の基盤

タスクに応じて、必要なモダリティを選ぶ

例:
- 画像の説明: テキスト + 画像
- 動画の要約: テキスト + 動画
- 音声対話: テキスト + 音声

各モダリティの品質を確保

画像:
- 適切な解像度
- 明るさ、コントラスト

音声:
- クリアな音質
- ノイズの除去

動画:
- 適切なフレームレート
- 圧縮品質

Multi-Modal のプロンプトを明確に

例:
「この画像に何が写っていますか？」
→ 明確で分かりやすい

「これは？」
→ 曖昧

Multi-Modal は通常のテキストより高コスト

対策:
- 必要な場合のみ使用
- 画像の解像度を調整
- キャッシュを活用