這是《AI 工具實戰 30 天：從提示詞到 Agent，每天一個工具改變你的工作方式》系列第 19 篇，共 30 篇。上一篇我們用 LangChain 搭建了 AI 應用的基礎骨架，今天要進一步解決企業最痛的問題：如何讓 AI 基於你的私有文件回答問題，而不是憑空捏造答案。這個技術叫做 RAG（Retrieval-Augmented Generation，檢索增強生成），它是目前企業落地 AI 最可靠的路徑之一。

This is Part 19 of 30 in the series “30 Days of AI Tools in Action: From Prompts to Agents, One Tool Every Day to Transform Your Work.” Last time we built the skeleton of an AI app with LangChain. Today we tackle one of the most painful enterprise problems: how to make AI answer questions based on your private documents without making things up. The technique is called RAG — Retrieval-Augmented Generation — and it’s one of the most reliable paths to deploying AI in real business environments.

これは「AIツール実践30日間：プロンプトからAgentまで、毎日一つのツールで仕事を変える」シリーズの第19回（全30回）です。前回はLangChainでAIアプリの骨格を構築しました。今回は企業が最も頭を悩ませる問題に取り組みます。それは「AIに自社の非公開文書をもとに回答させ、でたらめを言わせない」方法です。この技術をRAG（Retrieval-Augmented Generation：検索拡張生成）と呼び、企業でAIを実用化する最も信頼性の高い手法の一つです。

為什麼 LLM 會產生幻覺？RAG 如何解決它Why Do LLMs Hallucinate? How RAG Fixes ItなぜLLMは幻覚を起こすのか？RAGはどう解決するか

大型語言模型的知識來自訓練資料，截止日期之後的事、你公司內部的 SOP、產品規格書、合約條款——它一概不知。當你問它這些問題，它不會說「我不知道」，而是用聽起來合理的語氣編造答案，這就是幻覺（Hallucination）。RAG 的核心思路是：在模型回答之前，先從你的文件庫裡「撈」出最相關的段落，再把這些段落連同問題一起送給模型，讓它「有據可查」地回答。這樣模型的角色從「知識來源」變成「閱讀理解機器」，幻覺大幅降低。

LLMs are trained on data with a cutoff date. They know nothing about your company’s internal SOPs, product specs, or contract terms. When you ask about these, they don’t say “I don’t know” — they fabricate a plausible-sounding answer. That’s hallucination. RAG’s core idea is simple: before the model answers, retrieve the most relevant passages from your document library and feed them alongside the question. The model’s role shifts from “knowledge source” to “reading comprehension engine,” and hallucinations drop dramatically.

LLMの知識は学習データに依存しており、カットオフ日以降の情報や、社内のSOP・製品仕様書・契約条項などは一切知りません。そうした質問をすると「知りません」とは言わず、もっともらしい答えを作り上げます。これが幻覚（Hallucination）です。RAGの基本的な考え方はシンプルです。モデルが回答する前に、文書ライブラリから最も関連性の高い段落を「検索」し、その段落を質問と一緒にモデルへ渡します。モデルの役割が「知識の源泉」から「読解エンジン」に変わり、幻覚が大幅に減少します。

向量資料庫：讓文字變成可計算的距離Vector Databases: Turning Text into Computable Distanceベクトルデータベース：テキストを計算可能な距離に変換する

RAG 的關鍵基礎設施是向量資料庫。傳統資料庫用關鍵字比對，但語意相近的句子用詞可能完全不同。向量資料庫先用 Embedding 模型把每段文字轉成高維向量（一串數字），語意相近的文字在向量空間裡距離也近。查詢時，把問題也轉成向量，找出距離最近的幾段文字，這就是語意搜尋。常見選擇有 Chroma（本地輕量）、Pinecone（雲端托管）、Weaviate（開源自架）。入門建議從 Chroma 開始，零配置即可在本機跑起來。

The key infrastructure for RAG is a vector database. Traditional databases match keywords, but semantically similar sentences can use completely different words. A vector database uses an embedding model to convert each text chunk into a high-dimensional vector — a list of numbers — where semantically similar texts land close together in vector space. At query time, the question is also converted to a vector, and the nearest text chunks are retrieved. This is semantic search. Popular options include Chroma (lightweight, local), Pinecone (cloud-hosted), and Weaviate (open-source, self-hosted). Start with Chroma — zero config, runs locally out of the box.

RAGの重要なインフラがベクトルデータベースです。従来のデータベースはキーワードマッチングを使いますが、意味が近い文章でも使う単語が全く異なる場合があります。ベクトルデータベースはEmbeddingモデルを使って各テキストを高次元ベクトル（数値の配列）に変換し、意味が近いテキストはベクトル空間上でも近い位置に配置されます。クエリ時には質問もベクトルに変換し、最も近いテキストを取得します。これがセマンティック検索です。主な選択肢はChroma（軽量・ローカル）、Pinecone（クラウド）、Weaviate（オープンソース）。まずはChromaから始めるのがおすすめです。

完整 RAG 流程實作：五個步驟Full RAG Pipeline in Practice: Five StepsRAGパイプラインの完全実装：5つのステップ

以下是用 LangChain + Chroma + OpenAI 建立企業知識問答系統的核心流程。第一步，文件載入：用 LangChain 的 DocumentLoader 讀取 PDF、Word、網頁等格式。第二步，切塊（Chunking）：將長文件切成 500～1000 字的段落，重疊 100 字避免語意斷裂。第三步，Embedding：呼叫 OpenAI text-embedding-3-small 將每個段落轉成向量並存入 Chroma。第四步，語意檢索：用戶提問時，取出最相關的 3～5 段作為 Context。第五步，生成回答：將 Context 與問題組成 Prompt，送給 GPT-4o，並要求它只能根據提供的資料回答，若資料不足則明確說明。整個流程用 LangChain 的 RetrievalQA chain 可以用不到 20 行程式碼串起來。

Here’s the core pipeline for building an enterprise knowledge Q&A system using LangChain + Chroma + OpenAI. Step 1, document loading: use LangChain’s DocumentLoader to ingest PDFs, Word files, web pages, and more. Step 2, chunking: split long documents into 500–1000 character segments with 100-character overlap to avoid breaking semantic context. Step 3, embedding: call OpenAI’s text-embedding-3-small to convert each chunk into a vector and store it in Chroma. Step 4, semantic retrieval: when a user asks a question, fetch the 3–5 most relevant chunks as context. Step 5, answer generation: combine the context and question into a prompt for GPT-4o, instructing it to answer only from the provided material and explicitly say so if the information is insufficient. The whole pipeline can be wired together with LangChain’s RetrievalQA chain in under 20 lines of code.

LangChain + Chroma + OpenAIを使った企業向けナレッジQ&Aシステムの構築手順を紹介します。ステップ1、文書の読み込み：LangChainのDocumentLoaderでPDF・Word・Webページなどを取り込みます。ステップ2、チャンキング：長い文書を500〜1000文字のセグメントに分割し、100文字のオーバーラップで意味の断絶を防ぎます。ステップ3、Embedding：OpenAIのtext-embedding-3-smallで各チャンクをベクトルに変換してChromaに保存します。ステップ4、セマンティック検索：ユーザーが質問すると、最も関連性の高い3〜5チャンクをコンテキストとして取得します。ステップ5、回答生成：コンテキストと質問をプロンプトにまとめてGPT-4oに送り、提供された資料のみに基づいて回答するよう指示します。全体のパイプラインはLangChainのRetrievalQA chainを使えば20行以下のコードで実現できます。

提升準確率的三個關鍵技巧Three Key Techniques to Improve Accuracy精度を高める3つの重要テクニック

基礎 RAG 跑起來後，還有幾個細節決定品質高低。一、切塊策略：不要只用固定字數切，試試按段落或標題結構切，保留語意完整性。二、Metadata 過濾：在向量存入時附上文件名稱、日期、部門等 Metadata，查詢時可先過濾範圍再做語意搜尋，大幅提升精準度。三、Prompt 設計：明確告訴模型「只能根據以下資料回答，若資料中找不到答案，請直接說不知道，不要猜測」，這句話是防止幻覺的最後一道防線。做到這三點，你的企業知識問答系統就能在實際場景中穩定運作，成為員工每天都願意使用的工具。

上一篇：LangChain 入門：開發者如何用積木式框架搭建自己的 AI 應用

下一篇（第20篇）預告：CrewAI 多 Agent 協作：讓一組 AI 角色分工合作完成複雜專案

Once the basic RAG pipeline is running, a few details determine whether it’s good or great. First, chunking strategy: don’t just split by fixed character count — try splitting by paragraph or heading structure to preserve semantic integrity. Second, metadata filtering: attach metadata like document name, date, and department when storing vectors, then filter by scope before semantic search to dramatically improve precision. Third, prompt design: explicitly tell the model “answer only based on the following material; if the answer cannot be found, say so directly — do not guess.” That instruction is your last line of defense against hallucination. Get these three right and your enterprise knowledge Q&A system will run reliably in real-world scenarios, becoming a tool employees actually reach for every day.

Previous: LangChain Basics: How Developers Build AI Apps with a Modular Framework

Next up (Part 20): CrewAI Multi-Agent Collaboration: Let a Team of AI Roles Divide and Conquer Complex Projects

基本的なRAGパイプラインが動いたら、品質を左右するいくつかの細部に注目しましょう。一つ目、チャンキング戦略：固定文字数での分割だけでなく、段落や見出し構造で分割して意味の完整性を保ちましょう。二つ目、メタデータフィルタリング：ベクトル保存時に文書名・日付・部署などのメタデータを付与し、セマンティック検索の前に範囲を絞ることで精度が大幅に向上します。三つ目、プロンプト設計：「以下の資料のみに基づいて回答し、答えが見つからない場合は推測せず、そのまま伝えてください」と明示することが幻覚を防ぐ最後の砦です。この3点を押さえれば、企業向けナレッジQ&Aシステムは実際の現場で安定稼働し、社員が毎日使いたくなるツールになります。

前回：LangChain入門：開発者がモジュール式フレームワークで自分だけのAIアプリを構築する方法

次回（第20回）予告：CrewAI マルチAgent協調：AIキャラクターチームが役割分担して複雑なプロジェクトを完遂する

峰値 PEAK / 阿峰

全端开发者 · 套利交易员 · 在日创业者

Full-Stack Dev · Arb Trader · Japan-based Founder

フルスタック開発者 · アービトラージトレーダー · 在日起業家

在大阪构建系统、做套利交易、探索 AI Agent。相信系统的力量大于意志力。

Building systems, trading arb, exploring AI agents from Osaka. Systems over willpower.

大阪でシステムを構築し、アービトラージ取引を行い、AIエージェントを探求。システムは意志力を超える。

X @jvmdxf Telegram 了解更多More詳しく