Whisper

99言語をサポート

主要言語:
- 英語、日本語、中国語
- スペイン語、フランス語、ドイツ語
- 韓国語、アラビア語、ヒンディー語
など

自動的に言語を検出

ノイズや訛りにも強い

対応:
- 背景ノイズ
- 複数人の会話
- 訛りや方言
- 専門用語

実用レベルの精度

完全にオープンソースで公開

メリット:
- 無料で使用可能
- カスタマイズ自由
- 商用利用も可能
- ローカルで動作

用途に応じて選択可能

tiny: 39M パラメータ（最軽量）
base: 74M
small: 244M
medium: 769M
large: 1550M パラメータ（最高精度）

精度と速度のトレードオフ

Encoder-Decoder 構造

Encoder:
音声をエンコード
→ 音声の特徴を抽出

Decoder:
テキストを生成
→ 音声の内容をテキスト化

68万時間の音声データで訓練

データソース:
- インターネット上の音声
- 多様な言語、訛り、話者
- 様々なノイズレベル

多様性により高い汎用性

Whisper は複数のタスクを実行可能

タスク:
1. Transcription（文字起こし）
2. Translation（翻訳、英語へ）
3. Language Identification（言語検出）
4. Voice Activity Detection（音声区間検出）

多機能

# インストール
pip install openai-whisper

# 実行
whisper audio.mp3 --model medium --language Japanese

# 出力
# audio.txt（テキスト）
# audio.srt（字幕ファイル）
# audio.vtt（字幕ファイル）

import whisper

# モデルのロード
model = whisper.load_model("medium")

# 音声ファイルを文字起こし
result = model.transcribe("audio.mp3", language="ja")

# 結果
print(result["text"])

from transformers import pipeline

# パイプラインの作成
transcriber = pipeline(
    "automatic-speech-recognition",
    model="openai/whisper-medium"
)

# 実行
result = transcriber("audio.mp3")
print(result["text"])

import openai

# ファイルを開く
audio_file = open("audio.mp3", "rb")

# 文字起こし
transcript = openai.Audio.transcribe(
    "whisper-1",
    audio_file
)

print(transcript.text)

tiny/base:
- リアルタイム処理
- リソースが限られる
- 速度重視

small/medium:
- バランス型
- 一般的な用途
- 推奨

large:
- 最高精度が必要
- リソースに余裕がある
- 複雑な音声

用途:
会議やインタビューの自動文字起こし

メリット:
- 手動メモ不要
- 聞き漏らしなし
- 後から検索可能
- 時間の節約

用途:
動画に字幕を自動生成

メリット:
- YouTube 動画の字幕
- 映画・ドラマの字幕
- アクセシビリティ向上
- 多言語対応

用途:
音声入力インターフェース

例:
- スマートホーム
- 音声アシスタント
- ハンズフリー操作

用途:
発音練習と評価

メリット:
- 自分の発音を文字化
- ネイティブと比較
- 改善点の特定

用途:
音声コンテンツをテキスト化して検索

メリット:
- キーワード検索
- 特定部分を素早く発見
- コンテンツの再利用

従来の音声認識より精度が高い

特に:
- ノイズがある環境
- 訛りや方言
- 専門用語

実用レベルの精度

99言語に対応

メリット:
- グローバルに使用可能
- 自動言語検出
- 言語ごとにモデル不要

一つのモデルで多言語

完全無料で使用可能

メリット:
- コスト不要
- カスタマイズ自由
- プライバシー保護（ローカル実行）
- 商用利用可能

文字起こしだけでなく

機能:
- 翻訳（英語へ）
- タイムスタンプ付き文字起こし
- 字幕ファイル生成（SRT、VTT）
- 言語検出

問題:
大きいモデルは処理に時間がかかる

例:
1分の音声を文字起こし
- tiny: 数秒
- medium: 10〜20秒
- large: 30〜60秒

対策:
- 小さいモデルを使用
- GPU を使用して高速化
- faster-whisper などの最適化版

問題:
無音部分で意味不明なテキストを生成することがある

例:
「ご視聴ありがとうございました」
「字幕: ○○」

対策:
- VAD（Voice Activity Detection）で無音検出
- 生成されたテキストをフィルタリング

問題:
誰が話しているかは識別できない

対策:
- 別の話者識別モデルと組み合わせ
- pyannote.audio などを使用

問題:
large モデルは VRAM を大量に消費

要件:
large: ~10GB VRAM

対策:
- medium モデルを使用
- CPU 版を使用（遅い）
- faster-whisper で効率化

result = model.transcribe("audio.mp3")

# 各セグメントのタイムスタンプ
for segment in result["segments"]:
    print(f"[{segment['start']} --> {segment['end']}]")
    print(segment["text"])

result = model.transcribe(
    "audio.mp3",
    task="translate"  # 日本語 → 英語に翻訳
)

# 言語を指定（高速化）
result = model.transcribe(
    "audio.mp3",
    language="ja"  # 日本語
)

from faster_whisper import WhisperModel

# 最適化されたモデル
model = WhisperModel("medium", device="cuda")

segments, info = model.transcribe("audio.mp3")

for segment in segments:
    print(segment.text)

# 2〜4倍高速

音声品質を向上

処理:
- ノイズ除去
- 音量の正規化
- 適切なフォーマット（WAV、MP3）

品質向上につながる

用途に応じて選択

リアルタイム: tiny/base
一般的な用途: small/medium
最高精度: large

バランスを考慮

可能な限り GPU を使用

速度:
CPU: 非常に遅い
GPU: 10〜100倍高速

CUDA 対応 GPU 推奨

音声区間のみを処理

メリット:
- 無音部分をスキップ
- ハルシネーション削減
- 処理時間短縮