Semantic Search

テキストを数値のベクトルに変換

「犬が走る」 → [0.2, 0.8, 0.3, ...] （1536次元）
「犬が駆ける」 → [0.3, 0.7, 0.4, ...] （1536次元）
「猫が歩く」 → [0.1, 0.5, 0.6, ...] （1536次元）

意味が近いテキストは、ベクトルも近い

ベクトル間の類似度を計算

「犬が走る」 vs 「犬が駆ける」: 0.95（非常に類似）
「犬が走る」 vs 「猫が歩く」: 0.65（やや類似）
「犬が走る」 vs 「車が止まる」: 0.20（あまり類似していない）

類似度の高い順に結果を表示

検索クエリ: 「犬の運動」

結果:
1. 「犬が走る様子」（類似度: 0.92）
2. 「犬の散歩方法」（類似度: 0.88）
3. 「犬の健康管理」（類似度: 0.75）

検索クエリ: 「iPhone 修理」

検索プロセス:
1. 「iPhone」「修理」という単語を含むページを検索
2. 完全一致または部分一致で判定
3. 単語の出現頻度や位置でランキング

結果:
- 「iPhone修理サービス」 ✓
- 「iPhoneを直す方法」 ✗（「修理」という単語がない）
- 「アイフォン修理」 ✗（表記が違う）

検索クエリ: 「iPhone 修理」

検索プロセス:
1. クエリをベクトル化
2. すべての文書のベクトルと比較
3. 意味的に近いものをランキング

結果:
- 「iPhone修理サービス」 ✓（類似度: 0.95）
- 「iPhoneを直す方法」 ✓（類似度: 0.92）
- 「アイフォン修理」 ✓（類似度: 0.93）
- 「壊れたiPhoneの対処法」 ✓（類似度: 0.88）

検索: 「自動車」

キーワード検索:
「自動車」を含むページのみ

Semantic Search:
- 「自動車」
- 「車」
- 「クルマ」
- 「vehicle」（英語）
- 「乗用車」

すべて意味が近いため、検索結果に含まれる

検索: 「Apple」

キーワード検索:
「Apple」という単語を含むすべてのページ
→ 果物のりんごと、企業の Apple が混在

Semantic Search:
ユーザーの意図を理解
「Apple iPhone」「MacBook」などの文脈から、
企業の Apple に関するページを優先

検索: 「頭が痛いときはどうすればいい？」

キーワード検索:
この長い文を含むページは少ない

Semantic Search:
「頭痛の対処法」「頭痛薬」「頭痛の原因」など、
意味が近い短い文書も検索

検索: 「おすすめのレストラン」（日本語）

Semantic Search:
- 日本語の文書
- 英語の "recommended restaurants"
- 中国語の「推荐的餐厅」

同じ意味であれば、言語を超えて検索
（多言語対応のモデルを使用した場合）

1. Embedding モデル
   - OpenAI text-embedding-ada-002
   - Sentence Transformers
   - など

2. Vector Database
   - Pinecone
   - Chroma
   - Weaviate
   - など

3. 類似度計算
   - コサイン類似度
   - ユークリッド距離
   - など

準備フェーズ:
1. すべての文書を Embedding モデルでベクトル化
2. Vector Database に保存

検索フェーズ:
1. ユーザーのクエリをベクトル化
2. Vector Database で類似ベクトルを検索
3. 類似度の高い順に結果を返す

準備:
documents = ["文書1", "文書2", "文書3", ...]
vectors = embedding_model.encode(documents)
vector_db.store(vectors, documents)

検索:
query = "ユーザーの検索クエリ"
query_vector = embedding_model.encode(query)
results = vector_db.search(query_vector, top_k=10)

結果:
[
  {"text": "関連文書1", "score": 0.95},
  {"text": "関連文書2", "score": 0.88},
  ...
]

用途:
社内の膨大な文書から必要な情報を検索

例:
検索: 「経費精算の方法」

結果:
- 「経費申請手続きについて」
- 「出張費の精算ルール」
- 「領収書の提出方法」

用途:
FAQ から適切な回答を検索

例:
ユーザー: 「商品が届かないんですが...」

Semantic Search:
- 「配送状況の確認方法」
- 「配達遅延の対処法」
- 「注文の追跡」

適切な FAQ を自動提示

用途:
コードベースから関連するコードを検索

例:
検索: 「ユーザー認証の実装」

結果:
- auth.js の login 関数
- middleware の認証チェック
- セッション管理のコード

用途:
ユーザーの興味に基づいて商品や記事を推薦

例:
ユーザーが「AI プログラミング入門」を閲覧

推薦:
- 「機械学習の基礎」
- 「Python でAI開発」
- 「データサイエンス入門」

用途:
関連研究を効率的に見つける

例:
検索: 「transformer の注意機構」

結果:
- "Attention Is All You Need"（元論文）
- 関連する改良手法の論文
- 応用事例の論文

汎用的な用途:
- OpenAI text-embedding-ada-002
- 精度が高く、多言語対応

ドメイン特化:
- 医療、法律など特定分野に特化したモデル
- その分野でより高精度

コスト重視:
- オープンソースの Sentence Transformers
- 無料で使用可能

悪い例:
検索: 「これ」「あれ」（曖昧）

良い例:
検索: 「iPhone の画面修理方法」（明確）

ポイント:
- 具体的なキーワードを含める
- 意図を明確に表現

Semantic Search + キーワード検索を組み合わせ

メリット:
- Semantic Search: 意味の近さで検索
- キーワード検索: 特定の用語を含む文書
- 両方の利点を活用

初期検索結果をさらに精緻化

プロセス:
1. Semantic Search で候補を絞る（Top 100）
2. より高度なモデルで再ランキング（Top 10）

メリット:
- 精度と速度のバランス
- コストの最適化

Embedding のコスト:
- OpenAI: $0.10 / 1M トークン
- 100万文書（平均500トークン）: 約 $50

Vector Database のコスト:
- Pinecone: $0.096 / 1M ベクトル / 月
- 100万ベクトル: 約 $96 / 月

従来の検索に比べてコストが高い

従来の検索（Elasticsearch など）:
- 数ミリ秒

Semantic Search:
- Embedding: 50〜100ms
- Vector 検索: 10〜50ms
- 合計: 60〜150ms

わずかに遅い

問題:
特定の製品番号やコードを検索する場合

例:
検索: 「ABC-12345」（製品コード）

Semantic Search:
意味で検索するため、完全一致を見つけにくい

対策:
ハイブリッド検索で、キーワード検索も併用