Inference

目的:
モデルのパラメータを学習

プロセス:
1. 大量のデータを用意
2. モデルに入力
3. 出力と正解を比較
4. 誤差を計算
5. パラメータを更新
6. 繰り返し

特徴:
- 時間がかかる(数日〜数週間)
- 大量の計算資源が必要
- GPU/TPU クラスターを使用
- コストが高い(数百万〜数億円)
- 一度だけ実行(または定期的に再訓練)

目的:
訓練済みモデルで予測・生成

プロセス:
1. 新しいデータを入力
2. モデルが処理
3. 結果を出力

特徴:
- 速い(数ミリ秒〜数秒)
- 比較的少ない計算資源
- CPU でも可能(GPU があれば高速)
- コストが低い(数円〜数百円/リクエスト)
- 頻繁に実行(1秒に何千回も)

               Training        Inference
目的           学習            予測・生成
頻度           稀              頻繁
時間           長い            短い
リソース       大量            少量
コスト         高い            低い
データ         大量            単一または小バッチ
パラメータ更新 あり            なし

特徴:
- 1つのリクエストを即座に処理
- 低レイテンシ(数ミリ秒〜数秒)
- サーバーが常時起動

用途:
- チャットボット
- リアルタイム翻訳
- 音声認識
- 画像分類(カメラアプリなど)

例:
ユーザー: 「こんにちは」
→ AI が即座に応答(1秒以内)

特徴:
- 複数のリクエストをまとめて処理
- スループット重視
- レイテンシは高くてもよい

用途:
- 大量の画像処理
- データ分析
- メール分類
- レコメンデーションの事前計算

例:
1万枚の画像を一晩でまとめて処理

特徴:
- 出力を段階的に生成
- リアルタイムで結果を返す
- ユーザー体験の向上

用途:
- LLM のテキスト生成
- 音声合成
- 動画処理

例:
ChatGPT の応答が、
一文字ずつ表示される

特徴:
- デバイス上で推論
- クラウドに送信しない
- プライバシー保護
- オフライン動作

用途:
- スマートフォンアプリ
- IoT デバイス
- 自動運転車

例:
iPhone の Face ID は、
デバイス上で顔認識

モデルのパラメータの精度を下げる

例:
32-bit 浮動小数点 → 8-bit 整数

メリット:
- モデルサイズが 1/4
- 推論速度が 2〜4倍
- メモリ使用量が削減

デメリット:
- 精度がわずかに低下(通常 1〜2%)

用途:
Edge デバイスでの推論

不要なパラメータを削除

例:
1億パラメータ → 5000万パラメータ

メリット:
- モデルサイズ削減
- 推論速度向上

デメリット:
- 精度低下のリスク

プロセス:
1. 重要でないパラメータを特定
2. 削除
3. 再訓練(Fine-tuning)

大きなモデル(教師)から小さなモデル(生徒)へ知識を転移

例:
GPT-4(大) → GPT-3.5(小)

メリット:
- 小さいモデルで同等の性能
- 推論速度が大幅に向上

プロセス:
1. 大きなモデルで推論
2. 出力を「ソフトラベル」として使用
3. 小さなモデルを訓練

同じ入力に対する結果を保存

例:
質問: 「東京の人口は？」
→ 初回: モデルで推論(1秒)
→ 2回目以降: キャッシュから返す(数ミリ秒)

メリット:
- 大幅な速度向上
- コスト削減

注意:
- キャッシュの更新タイミング
- メモリ使用量

複数のリクエストをまとめて処理

例:
10個のリクエストを個別に処理: 10秒
10個をまとめて処理: 3秒

メリット:
- スループット向上
- GPU 使用効率の向上

デメリット:
- レイテンシの増加
- 実装の複雑さ

メリット:
- 広く利用可能
- 安価
- 小さいモデルには十分

デメリット:
- 大きいモデルでは遅い
- 並列処理が苦手

用途:
- 小規模モデル
- 低頻度の推論
- Edge デバイス

メリット:
- 並列処理が得意
- 大きいモデルでも高速
- 深層学習に最適

デメリット:
- 高価
- 消費電力が大きい

用途:
- LLM の推論
- 画像生成
- リアルタイム推論

人気の GPU:
- NVIDIA A100
- NVIDIA H100
- NVIDIA T4(コスパ良)

Google が開発した AI 専用チップ

メリット:
- AI 処理に特化
- 非常に高速
- 電力効率が良い

デメリット:
- Google Cloud のみ
- カスタマイズ性が低い

用途:
- 大規模 AI サービス
- Google のプロダクト

Apple Neural Engine:
- iPhone、Mac に搭載
- オンデバイス AI

AWS Inferentia:
- AWS の推論専用チップ
- コスト効率が良い

主なコスト:
1. 計算コスト(GPU/CPU 使用料)
2. ネットワークコスト(データ転送)
3. ストレージコスト(モデル保存)
4. メモリコスト

大部分を占めるのは計算コスト

1. モデルサイズの削減
   - Quantization
   - Pruning
   - Distillation

2. キャッシング
   - 同じクエリは再計算しない
   - Redis などを活用

3. オートスケーリング
   - 需要に応じてリソースを調整
   - アイドル時はスケールダウン

4. リージョン選択
   - ユーザーに近いリージョン
   - コストの安いリージョン

5. Spot/Preemptible インスタンス
   - 最大 90% のコスト削減
   - バッチ処理に最適

GPT-4 API:
入力: $0.03 / 1K トークン
出力: $0.06 / 1K トークン

1日 10万リクエスト、各100トークン:
→ 月額コスト: 約 $90,000

最適化後(キャッシング 50%):
→ 月額コスト: 約 $45,000

50% のコスト削減

タスクに応じた選択:

簡単なタスク(分類、感情分析):
- 小さいモデル(BERT base、DistilBERT)
- CPU で十分

複雑なタスク(生成、推論):
- 大きいモデル(GPT-4、Claude)
- GPU 必須

バランスが重要

監視項目:
- レイテンシ(応答時間)
- スループット(処理数/秒)
- エラー率
- コスト

ツール:
- Prometheus
- Grafana
- CloudWatch

複数のモデルやパラメータを比較:

モデル A: GPT-4(高精度、高コスト)
モデル B: GPT-3.5(中精度、低コスト)

ユーザーの 10% にモデル A
90% にモデル B

結果を分析して最適な選択

Inference は失敗することがある:
- タイムアウト
- メモリ不足
- モデルのバグ

対策:
- リトライロジック
- フォールバック(別モデル)
- ユーザーへの適切なエラーメッセージ