AI trả lời sai dù đã được cung cấp tài liệu: kiểm tra nguyên nhân từ đâu?

Tài liệu sai, cũ, thiếu hoặc chưa được ingest.

Chunk đúng tồn tại nhưng không được tìm thấy hoặc xếp đủ cao.

Context đúng đã được gửi nhưng model vẫn diễn giải sai.

Có bản cũ và mới cùng tồn tại không.

Nội dung nào đang có hiệu lực.

Áp dụng cho tenant, chi nhánh hoặc sản phẩm nào.

Hai tài liệu có kết luận khác nhau không.

Bảng, heading, footnote hoặc hình ảnh có bị mất không.

Câu hỏi và tài liệu có khác ngôn ngữ hoặc cách viết không.

Số chunk có hợp lý so với độ dài file.

Mọi chunk đã có vector chưa.

Đúng collection, tenant và environment chưa.

File thay đổi có được re-ingest không.

Có chunk nào parse hoặc embed lỗi không.

Index hiện tại có phải phiên bản mới nhất không.

Thông tin quan trọng bị tách.

Chunk không còn ngữ cảnh.

Quan hệ giữa các đoạn bị mất.

Embedding đại diện cho quá nhiều ý.

Không đủ context để trả lời.

Mất title, section, locale hoặc version.

Nguyên văn người dùng.

Câu hỏi sau chuẩn hóa hoặc expansion.

Turn trước có làm lệch intent không.

Có nhận sai ngôn ngữ không.

Tenant, role, locale, document type có bị lọc sai không.

Có phù hợp ngôn ngữ và loại dữ liệu không.

Có cần kết hợp vector và keyword không.

Quá thấp bỏ sót; quá cao gây nhiễu.

Ngưỡng score có hợp lý không.

Có loại nhầm tài liệu đúng không.

Tài liệu mới có được ưu tiên đúng không.

Chunk đúng bị đẩy xuống hạng bao nhiêu.

Nhiều đoạn giống nhau chiếm hết context.

Chunk đúng bị cắt khỏi prompt.

Chunk nhiễu đứng trước nguồn chính.

Bảng và heading bị biến dạng.

Model không gắn được nguồn đúng.

Không yêu cầu chỉ trả lời từ nguồn.

Model bị ép phải trả lời khi thiếu bằng chứng.

Nhiều nguồn mâu thuẫn nhưng không có rule ưu tiên.

Tăng biến thiên không cần thiết.

Nội dung tài liệu chứa chỉ dẫn gây lệch.

Model trộn đúng và sai từ nhiều nguồn.

Đúng doanh nghiệp chưa.

Đúng chi nhánh chưa.

User có được phép xem tài liệu không.

Quyền theo file hoặc folder.

Staging và production có dùng đúng index không.

Context cũ có tồn tại quá lâu không.

Nguồn có liên quan trực tiếp không.

Đoạn trích có thực sự chứng minh claim.

Nguồn gắn đúng câu hoặc đoạn.

Tài liệu chính thức có được ưu tiên.

Citation có trỏ đúng phiên bản.

Các claim quan trọng đều có bằng chứng.

Câu trả lời đúng về nội dung.

Chunk đúng xuất hiện trong Top-K.

Chunk đúng được xếp đủ cao.

Nguồn hỗ trợ claim.

Không thêm thông tin ngoài context.

Biết từ chối khi thiếu bằng chứng.

Không retrieve dữ liệu ngoài quyền.

Document và chunk có tồn tại.

Chunk đúng có trong Top-K.

Chunk đúng có bị đẩy xuống.

Context đúng có được gửi.

Model có bám context không.

Chunk size, filter, Top-K hoặc prompt.

So sánh trước và sau.

Recall tăng có làm noise hoặc leakage tăng không.

Lưu query, chunk, score và response.

Ngăn lỗi quay lại.

Không giúp nếu retrieve sai.

Tạo nhiễu và tăng cost.

Vượt token và giảm focus.

Không giải quyết ingestion hoặc ranking.

Không thể truy vết.

Lỗi cũ quay lại.

Đánh giá ingestion, chunking, retrieval, reranking và citation.

Rà soát dữ liệu, metadata, version và permission.

Tối ưu embedding, hybrid search, Top-K và reranker.

Xây dataset, Recall@K, MRR, nDCG, faithfulness và leakage test.

Log query, chunk ID, score, prompt, citation và cost.

Sửa lỗi và chạy regression trước rollout.

Chunk đúng có nằm trong Top-K không.

Chỉ khi context đúng đã được gửi nhưng model vẫn tổng hợp sai.

Không. Quá cao làm tăng nhiễu và cost.

Không có số cố định; cần test theo loại tài liệu.

Không. Citation có thể liên quan nhưng không hỗ trợ claim.

Có thể review pipeline, dataset, metrics và production logs.