ベクトルデータベースとは？チームに必要か

ベクトルデータベースとは何か

Pinecone の解説は、ベクトルデータベースを、ベクトルの埋め込みを索引にして保存し、速い取り出しと類似検索をするものと定義しています。埋め込みは AI モデルがつくり、意味の情報を持ちます。同じことを言う 2 つの文は、共通の語がなくても近いベクトルになります。

検索は 3 つの動きです。資料のかたまりごとに埋め込みをつくり、元の文章と並べて保存する。質問も同じモデルで埋め込みにする。データベースが、質問の埋め込みにいちばん似たものを、コサイン類似度などの物差しで探す。多くの場合、少しの正確さと引き換えに大きく速くなる近似の近傍探索の索引を使います。

別の製品である必要はありません。オープンソースの拡張 pgvector は Postgres にベクトルの類似検索を足し、ベクトルを「ほかのデータと一緒に保存」できるようにします。

小さなチームにとっての意味

• 「資料とチャット」の裏側にある。しくみを知ると、なぜ答えを外すことがあるのかがわかります。
• ごみを入れれば、近いごみが出てくる。データベースは近いかたまりを返します。古いものも含めて。同じ規程の 2 つの版は、2 つの近い答え候補になります。
• 分け方で見つかるものが決まる。Microsoft の検索のガイドは、モデルの上限に合わせて資料をかたまりに分け、その分け方で結果が変わると説明しています。

具体例

例として架空の会社を使います。7 人の配送ソフトの会社パーセル・パルは、200 本のヘルプ記事をベクトルデータベースに入れて、ヘルプのアシスタントをつくりました。「電池をカナダへ送れる？」と聞くと、2023 年の米国あてリチウム電池の記事と、カナダについての運送会社のページを返し、2 つを混ぜて自信ありげな間違いを答えました。

直したのは中身です。古い記事 30 本を消し、長い記事は 1 つの国や 1 種類の品物ごとに分けて本文に国名を書き、すべての記事に日付をつけました。変える前に書いたテスト質問 25 問で、正しい答えは 15 から 22 に増えました。データベースは何も変えていません。

選ぶ前に準備すること

1. 検索にさせる仕事と、答えるべき質問を決める。
2. 資料を書き出し、それぞれに担当と日付をつけ、重複を消す。
3. 資料を、テーマ・製品・日付が本文に書かれた、それだけで意味の通る区切りに分ける。
4. テスト質問を 20 問書く。それぞれ、答えの出どころも添える。
5. いちばん簡単な方法から試す。ファイルを入れたプロジェクトか、いま使っているデータベースの pgvector。テスト質問で測る。

よくある誤解

• 「AI が賢くなる」AI が見つけられるようになるだけです。見つかるものは、保存したものしだいです。
• 「キーワード検索は古い」製品コードのような正確な語は、いまもキーワードの一致が要ることが多く、両方を組み合わせるしくみがたくさんあります。
• 「資料全体についての質問も得意」類似検索が見つけるのは箇所で、資料全体の傾向ではありません。それを補おうとするのが GraphRAG です。

よくある質問

ベクトルデータベースをひとことで言うと？

文章や画像を、意味をとらえた数の並び（埋め込み）として保存し、質問といちばん意味の近いものを探すデータベースです。「お金を返してほしい」と聞けば、「返金」という語がなくても返金規程が見つかります。

RAG にはベクトルデータベースが必要？

始めるときに別の製品は要りません。Claude や ChatGPT のプロジェクトは入れたファイルを代わりに検索しますし、Postgres のような既存のデータベースも pgvector の拡張でベクトルを保存できます。多くの資料に自前の検索をつくるときに、専用のベクトルデータベースが効いてきます。

埋め込み（エンベディング）とは？

AI モデルが文章ごとにつくる数の並びで、意味の近い文章ほど近い数になります。Pinecone は埋め込みを、意味の情報を持つベクトルの表現と説明しています。