AI trả lời sai dù đã được cung cấp tài liệu: kiểm tra nguyên nhân từ đâu?
Hướng dẫn điều tra AI và RAG trả lời sai bằng cách kiểm tra tài liệu, ingestion, chunking, embedding, retrieval, Top-K, reranking, prompt, citation và evaluation.

AI trả lời sai dù doanh nghiệp đã cung cấp tài liệu không có nghĩa model không đọc được tài liệu. Lỗi có thể nằm ở tài liệu nguồn, ingestion, chunking, metadata, embedding, retrieval, reranking, prompt, permission, memory, citation hoặc generation.
Sai lầm phổ biến là đổi model hoặc sửa prompt ngay. Nếu chunk đúng không được retrieve và đưa vào prompt cuối, model gần như không có cơ hội trả lời chính xác.
Nguyên tắc cốt lõi
Trước khi tối ưu model, hãy chứng minh dữ liệu đúng đã được ingest, chunk đúng có thể được retrieve, và model thực sự nhận được context đúng.
Bước đầu
Phân loại lỗi ở data, retrieval hay generation
Không điều tra toàn bộ hệ thống cùng lúc.
Chọn một câu hỏi cụ thể bị trả lời sai, xác định đáp án đúng và đoạn tài liệu gốc hỗ trợ đáp án. Sau đó theo dõi toàn bộ pipeline của đúng câu hỏi đó.

Phân loại
Ba nhóm lỗi chính
Mỗi nhóm cần cách sửa khác nhau.
Data failure
Tài liệu sai, cũ, thiếu hoặc chưa được ingest.
Retrieval failure
Chunk đúng tồn tại nhưng không được tìm thấy hoặc xếp đủ cao.
Generation failure
Context đúng đã được gửi nhưng model vẫn diễn giải sai.
Tài liệu nguồn
Tài liệu có đúng, mới và không mâu thuẫn không?
RAG không thể sửa dữ liệu sai.
Source checks
Những gì cần kiểm tra
Xác minh trực tiếp trên tài liệu gốc.
Phiên bản
Có bản cũ và mới cùng tồn tại không.
Ngày hiệu lực
Nội dung nào đang có hiệu lực.
Scope
Áp dụng cho tenant, chi nhánh hoặc sản phẩm nào.
Mâu thuẫn
Hai tài liệu có kết luận khác nhau không.
Parsing
Bảng, heading, footnote hoặc hình ảnh có bị mất không.
Ngôn ngữ
Câu hỏi và tài liệu có khác ngôn ngữ hoặc cách viết không.
Ingestion
Upload thành công chưa chắc index thành công
File có thể xuất hiện trong UI nhưng chưa có chunk trong vector store.
Kiểm tra document ID, checksum, ingestion status, chunk count, embedding status, namespace, tenant scope và error log. Cần truy vết được từ file gốc đến từng chunk trong index.
Ingestion checks
Bằng chứng cần có
Không chỉ dựa vào thông báo upload thành công.
Chunk count
Số chunk có hợp lý so với độ dài file.
Embedding status
Mọi chunk đã có vector chưa.
Namespace
Đúng collection, tenant và environment chưa.
Checksum
File thay đổi có được re-ingest không.
Partial failure
Có chunk nào parse hoặc embed lỗi không.
Timestamp
Index hiện tại có phải phiên bản mới nhất không.
Chunking
Chunk đúng có thể bị cắt sai
Chunk quá nhỏ mất ngữ cảnh; chunk quá lớn giảm độ chính xác retrieval.
Chunk diagnostics
Các lỗi phổ biến
Kiểm tra trực tiếp chunk chứa đáp án.
Cắt giữa câu hoặc bảng
Thông tin quan trọng bị tách.
Mất heading
Chunk không còn ngữ cảnh.
Overlap quá thấp
Quan hệ giữa các đoạn bị mất.
Chunk quá lớn
Embedding đại diện cho quá nhiều ý.
Chunk quá nhỏ
Không đủ context để trả lời.
Thiếu metadata
Mất title, section, locale hoặc version.
Query understanding
Query rewrite sai có thể làm retrieval lệch intent
Cần log cả câu hỏi gốc và câu hỏi sau rewrite.
Kiểm tra query normalization, language detection, conversation context, query expansion và metadata filters. Đặc biệt lưu ý tiếng Việt không dấu, từ viết tắt và câu hỏi phụ thuộc turn trước.
Query checks
Những gì cần log
Không chỉ lưu câu hỏi gốc.
Original query
Nguyên văn người dùng.
Rewritten query
Câu hỏi sau chuẩn hóa hoặc expansion.
Conversation context
Turn trước có làm lệch intent không.
Language
Có nhận sai ngôn ngữ không.
Filters
Tenant, role, locale, document type có bị lọc sai không.
Retrieval
Chunk đúng có nằm trong Top-K không?
Đây là câu hỏi quan trọng nhất khi debug RAG.

Với mỗi câu hỏi sai, hãy xem danh sách chunk được retrieve, similarity score, rank, filters và lý do chunk bị loại. Nếu chunk đúng không xuất hiện trong Top-K, lỗi nằm trước generation.
Retrieval checks
Các biến cần kiểm tra
Thay từng biến một để giữ khả năng truy vết.
Embedding model
Có phù hợp ngôn ngữ và loại dữ liệu không.
Hybrid search
Có cần kết hợp vector và keyword không.
Top-K
Quá thấp bỏ sót; quá cao gây nhiễu.
Threshold
Ngưỡng score có hợp lý không.
Metadata filter
Có loại nhầm tài liệu đúng không.
Freshness
Tài liệu mới có được ưu tiên đúng không.
Reranking và context
Retrieve đúng nhưng vẫn có thể gửi sai context
Reranker, deduplication và token limit có thể loại chunk quan trọng.
Context checks
Các lỗi hay bị bỏ sót
Cần log chunk ID thực sự được gửi tới model.
Reranker score
Chunk đúng bị đẩy xuống hạng bao nhiêu.
Duplicate chunks
Nhiều đoạn giống nhau chiếm hết context.
Token truncation
Chunk đúng bị cắt khỏi prompt.
Bad ordering
Chunk nhiễu đứng trước nguồn chính.
Formatting loss
Bảng và heading bị biến dạng.
Missing citation ID
Model không gắn được nguồn đúng.
Generation
Context đúng nhưng model vẫn trả lời sai
Khi đó mới điều tra prompt và model.
Generation checks
Các nguyên nhân phổ biến
So sánh trực tiếp context và response.
System prompt mơ hồ
Không yêu cầu chỉ trả lời từ nguồn.
Không có abstention
Model bị ép phải trả lời khi thiếu bằng chứng.
Context conflict
Nhiều nguồn mâu thuẫn nhưng không có rule ưu tiên.
Temperature cao
Tăng biến thiên không cần thiết.
Prompt injection
Nội dung tài liệu chứa chỉ dẫn gây lệch.
Synthesis error
Model trộn đúng và sai từ nhiều nguồn.
Memory và quyền
Memory cũ hoặc filter quyền sai có thể làm lệch kết quả
Biểu hiện giống retrieval kém nhưng nguyên nhân khác.
Kiểm tra summary memory, pending state, user profile, tenant, branch, role, locale và document ACL. Không được bỏ permission filter chỉ để tăng recall.
Access checks
Các lớp scope cần xác minh
Bảo mật phải được giữ nguyên trong quá trình tuning.
Tenant
Đúng doanh nghiệp chưa.
Branch hoặc property
Đúng chi nhánh chưa.
Role
User có được phép xem tài liệu không.
Document ACL
Quyền theo file hoặc folder.
Environment
Staging và production có dùng đúng index không.
Memory TTL
Context cũ có tồn tại quá lâu không.
Citation
Citation có liên quan chưa chắc hỗ trợ claim
Citation correctness và answer correctness phải chấm riêng.
Citation checks
Các tiêu chí cần đánh giá
Không chỉ kiểm tra có link hay không.
Source relevance
Nguồn có liên quan trực tiếp không.
Claim support
Đoạn trích có thực sự chứng minh claim.
Placement
Nguồn gắn đúng câu hoặc đoạn.
Authority
Tài liệu chính thức có được ưu tiên.
Version
Citation có trỏ đúng phiên bản.
Coverage
Các claim quan trọng đều có bằng chứng.
Evaluation
Không có bộ test thì lỗi sẽ lặp lại
Một câu trả lời được sửa thủ công chưa chứng minh hệ thống tốt hơn.

Metrics
Bộ đánh giá tối thiểu
Mỗi câu hỏi cần expected answer và expected source.
Answer correctness
Câu trả lời đúng về nội dung.
Recall@K
Chunk đúng xuất hiện trong Top-K.
MRR hoặc nDCG
Chunk đúng được xếp đủ cao.
Citation correctness
Nguồn hỗ trợ claim.
Faithfulness
Không thêm thông tin ngoài context.
Abstention
Biết từ chối khi thiếu bằng chứng.
Leakage
Không retrieve dữ liệu ngoài quyền.
Playbook
Trình tự điều tra một câu trả lời sai
Đi từng lớp để tránh sửa sai chỗ.
Bước 1
Chọn một case cụ thể
Ghi câu hỏi, đáp án đúng, source chunk và response hiện tại.
Question
Giữ nguyên câu hỏi và context.
Expected answer
Xác định đáp án đúng.
Expected source
Xác định đoạn phải được retrieve.
Current response
Lưu answer, citation và latency.
Bước 2
Theo dõi pipeline
Tìm nơi đầu tiên xuất hiện sai lệch.
Ingestion
Document và chunk có tồn tại.
Retrieval
Chunk đúng có trong Top-K.
Reranking
Chunk đúng có bị đẩy xuống.
Final prompt
Context đúng có được gửi.
Response
Model có bám context không.
Bước 3
Sửa và regression test
Chỉ thay một biến mỗi lần.
Change one thing
Chunk size, filter, Top-K hoặc prompt.
Rerun evaluation
So sánh trước và sau.
Check side effects
Recall tăng có làm noise hoặc leakage tăng không.
Save evidence
Lưu query, chunk, score và response.
Add regression case
Ngăn lỗi quay lại.
Sai lầm phổ biến
Những cách sửa thường không hiệu quả
Có thể che symptom nhưng không giải quyết root cause.
Anti-patterns
Các lỗi cần tránh
Mỗi lỗi làm hệ thống khó debug hơn.
Đổi model ngay
Không giúp nếu retrieve sai.
Tăng Top-K vô hạn
Tạo nhiễu và tăng cost.
Nhồi toàn bộ tài liệu
Vượt token và giảm focus.
Chỉ sửa prompt
Không giải quyết ingestion hoặc ranking.
Không log chunk ID
Không thể truy vết.
Không có regression set
Lỗi cũ quay lại.
Mỗi bước điều tra nên có query, chunk ID, score, prompt, response và evidence để xác định chính xác nơi đầu tiên xuất hiện sai lệch.
FlowNexa
FlowNexa hỗ trợ đánh giá và cải thiện RAG như thế nào?
Tìm đúng lớp gây lỗi và chứng minh chất lượng bằng evaluation.
Dịch vụ
Phạm vi hỗ trợ
Có thể bắt đầu bằng audit hoặc remediation trọn gói.
RAG Quality Assessment
Đánh giá ingestion, chunking, retrieval, reranking và citation.
Knowledge Base Review
Rà soát dữ liệu, metadata, version và permission.
Retrieval Tuning
Tối ưu embedding, hybrid search, Top-K và reranker.
Evaluation Framework
Xây dataset, Recall@K, MRR, nDCG, faithfulness và leakage test.
Observability
Log query, chunk ID, score, prompt, citation và cost.
Production Remediation
Sửa lỗi và chạy regression trước rollout.
Quan điểm của FlowNexa
Khi AI trả lời sai dù đã có tài liệu, đừng hỏi model có thông minh đủ không. Hãy hỏi đoạn tài liệu đúng đã đi qua pipeline thế nào và bị mất ở bước nào.
FAQ
Các câu hỏi thường gặp
Câu trả lời tập trung vào cách điều tra thực tế.
FAQ
Giải đáp nhanh
Nguyên nhân cần được chứng minh bằng log và evaluation.
Nên kiểm tra gì đầu tiên?
Chunk đúng có nằm trong Top-K không.
Đổi model mạnh hơn có giúp không?
Chỉ khi context đúng đã được gửi nhưng model vẫn tổng hợp sai.
Top-K càng cao càng tốt?
Không. Quá cao làm tăng nhiễu và cost.
Chunk size bao nhiêu là đúng?
Không có số cố định; cần test theo loại tài liệu.
Citation đúng có nghĩa answer đúng?
Không. Citation có thể liên quan nhưng không hỗ trợ claim.
FlowNexa có thể audit RAG không?
Có thể review pipeline, dataset, metrics và production logs.
FlowNexa AI & RAG
Tìm đúng nguyên nhân trước khi đổi model
FlowNexa có thể rà soát ingestion, chunking, retrieval, reranking, prompt, citation, permission và evaluation.
Đặt lịch tư vấn RAG
Trao đổi symptom, architecture và bộ câu hỏi đang sai.
Yêu cầu RAG Quality Assessment
Nhận failure map, metric baseline và remediation roadmap.


