RAG の品質を感覚判断で正しいですか？ — Amazon Bedrock と Ragas を使って始める LLM-as-a-Judge 評価パイプライン

はじめに RAG を構築し、社内ドキュメント検索や FAQ ボットをリリースしました。ユーザーからは「まあまあ使える」という肯定的な評価もあれば、「的外れの回答が返ってくる」という批判的なフィードバックも得られました。 プロンプトを修正を試みました。チャンク分割の手法を変えました。Embedding モデルを変更しました。しかし、...

はじめに RAGを構築して社内ドキュメント検索やFAQボットをリリースした。ユーザーからは「まあまあ使える」という声もあれば「的外れな回答が返ってくる」という声もある。 プロンプトを修正してみた。チャンク分割の方法を変えてみた。Embeddingモデルを変えてみた。でも、...