ベクトル DB 不要！Python で構築する軽量セマンティック検索『concept-file、concept-grep』

はじめに RAG（検索拡張生成）を試そうとすると、多くの場合「ベクトルデータベース」のセットアップが必要になります。 しかし、「プロジェクト単位でサクッと意味検索がしたい」「Docker で DB を立てるほどではない」というケースも多いはず。そんな「重厚な DB はいらないけれど、grep より賢い検索が欲しい」というニーズに応えるため、検索ツール『concept-grep』を開発しました。また、データの保存形式として、concept-file という仕様を定義しました。 concept-file とは？ .concept ファイルは、テキスト・埋め込みベクトル・来歴情報を 1 つのプレーンテキスト...

はじめに RAG（検索拡張生成）を試そうとすると、多くの場合「ベクトルデータベース」のセットアップが必要になります。 しかし、「プロジェクト単位でサクッと意味検索がしたい」「DockerでDBを立てるほどではない」というケースも多いはず。そんな「重厚なDBはいらないけれど、grepより賢い検索が欲しい」というニーズに応えるため、検索ツール『concept-grep』を開発しました。また、データの保存形式として、concept-fileという仕様を定義しました。 concept-file とは？ .concept ファイルは、テキスト・埋め込みベクトル・来歴情報を1つのプレーンテキ...