Bỏ qua đến nội dung
Quay lại Blog

AI trả lời sai dù đã được cung cấp tài liệu: kiểm tra nguyên nhân từ đâu?

Hướng dẫn điều tra AI và RAG trả lời sai bằng cách kiểm tra tài liệu, ingestion, chunking, embedding, retrieval, Top-K, reranking, prompt, citation và evaluation.

AI trả lời sai dù đã được cung cấp tài liệu: kiểm tra nguyên nhân từ đâu?

AI trả lời sai dù doanh nghiệp đã cung cấp tài liệu không có nghĩa model không đọc được tài liệu. Lỗi có thể nằm ở tài liệu nguồn, ingestion, chunking, metadata, embedding, retrieval, reranking, prompt, permission, memory, citation hoặc generation.

Sai lầm phổ biến là đổi model hoặc sửa prompt ngay. Nếu chunk đúng không được retrieve và đưa vào prompt cuối, model gần như không có cơ hội trả lời chính xác.

Nguyên tắc cốt lõi

Trước khi tối ưu model, hãy chứng minh dữ liệu đúng đã được ingest, chunk đúng có thể được retrieve, và model thực sự nhận được context đúng.

Bước đầu

Phân loại lỗi ở data, retrieval hay generation

Không điều tra toàn bộ hệ thống cùng lúc.

Chọn một câu hỏi cụ thể bị trả lời sai, xác định đáp án đúng và đoạn tài liệu gốc hỗ trợ đáp án. Sau đó theo dõi toàn bộ pipeline của đúng câu hỏi đó.

Minh họa: Phân loại lỗi ở data, retrieval hay generation

Phân loại

Ba nhóm lỗi chính

Mỗi nhóm cần cách sửa khác nhau.

Data failure

Tài liệu sai, cũ, thiếu hoặc chưa được ingest.

Retrieval failure

Chunk đúng tồn tại nhưng không được tìm thấy hoặc xếp đủ cao.

Generation failure

Context đúng đã được gửi nhưng model vẫn diễn giải sai.

Tài liệu nguồn

Tài liệu có đúng, mới và không mâu thuẫn không?

RAG không thể sửa dữ liệu sai.

Source checks

Những gì cần kiểm tra

Xác minh trực tiếp trên tài liệu gốc.

Phiên bản

Có bản cũ và mới cùng tồn tại không.

Ngày hiệu lực

Nội dung nào đang có hiệu lực.

Scope

Áp dụng cho tenant, chi nhánh hoặc sản phẩm nào.

Mâu thuẫn

Hai tài liệu có kết luận khác nhau không.

Parsing

Bảng, heading, footnote hoặc hình ảnh có bị mất không.

Ngôn ngữ

Câu hỏi và tài liệu có khác ngôn ngữ hoặc cách viết không.

Ingestion

Upload thành công chưa chắc index thành công

File có thể xuất hiện trong UI nhưng chưa có chunk trong vector store.

Kiểm tra document ID, checksum, ingestion status, chunk count, embedding status, namespace, tenant scope và error log. Cần truy vết được từ file gốc đến từng chunk trong index.

Ingestion checks

Bằng chứng cần có

Không chỉ dựa vào thông báo upload thành công.

Chunk count

Số chunk có hợp lý so với độ dài file.

Embedding status

Mọi chunk đã có vector chưa.

Namespace

Đúng collection, tenant và environment chưa.

Checksum

File thay đổi có được re-ingest không.

Partial failure

Có chunk nào parse hoặc embed lỗi không.

Timestamp

Index hiện tại có phải phiên bản mới nhất không.

Chunking

Chunk đúng có thể bị cắt sai

Chunk quá nhỏ mất ngữ cảnh; chunk quá lớn giảm độ chính xác retrieval.

Chunk diagnostics

Các lỗi phổ biến

Kiểm tra trực tiếp chunk chứa đáp án.

Cắt giữa câu hoặc bảng

Thông tin quan trọng bị tách.

Mất heading

Chunk không còn ngữ cảnh.

Overlap quá thấp

Quan hệ giữa các đoạn bị mất.

Chunk quá lớn

Embedding đại diện cho quá nhiều ý.

Chunk quá nhỏ

Không đủ context để trả lời.

Thiếu metadata

Mất title, section, locale hoặc version.

Query understanding

Query rewrite sai có thể làm retrieval lệch intent

Cần log cả câu hỏi gốc và câu hỏi sau rewrite.

Kiểm tra query normalization, language detection, conversation context, query expansion và metadata filters. Đặc biệt lưu ý tiếng Việt không dấu, từ viết tắt và câu hỏi phụ thuộc turn trước.

Query checks

Những gì cần log

Không chỉ lưu câu hỏi gốc.

Original query

Nguyên văn người dùng.

Rewritten query

Câu hỏi sau chuẩn hóa hoặc expansion.

Conversation context

Turn trước có làm lệch intent không.

Language

Có nhận sai ngôn ngữ không.

Filters

Tenant, role, locale, document type có bị lọc sai không.

Retrieval

Chunk đúng có nằm trong Top-K không?

Đây là câu hỏi quan trọng nhất khi debug RAG.

Minh họa: Chunk đúng có nằm trong Top-K không

Với mỗi câu hỏi sai, hãy xem danh sách chunk được retrieve, similarity score, rank, filters và lý do chunk bị loại. Nếu chunk đúng không xuất hiện trong Top-K, lỗi nằm trước generation.

Retrieval checks

Các biến cần kiểm tra

Thay từng biến một để giữ khả năng truy vết.

Embedding model

Có phù hợp ngôn ngữ và loại dữ liệu không.

Hybrid search

Có cần kết hợp vector và keyword không.

Top-K

Quá thấp bỏ sót; quá cao gây nhiễu.

Threshold

Ngưỡng score có hợp lý không.

Metadata filter

Có loại nhầm tài liệu đúng không.

Freshness

Tài liệu mới có được ưu tiên đúng không.

Reranking và context

Retrieve đúng nhưng vẫn có thể gửi sai context

Reranker, deduplication và token limit có thể loại chunk quan trọng.

Context checks

Các lỗi hay bị bỏ sót

Cần log chunk ID thực sự được gửi tới model.

Reranker score

Chunk đúng bị đẩy xuống hạng bao nhiêu.

Duplicate chunks

Nhiều đoạn giống nhau chiếm hết context.

Token truncation

Chunk đúng bị cắt khỏi prompt.

Bad ordering

Chunk nhiễu đứng trước nguồn chính.

Formatting loss

Bảng và heading bị biến dạng.

Missing citation ID

Model không gắn được nguồn đúng.

Generation

Context đúng nhưng model vẫn trả lời sai

Khi đó mới điều tra prompt và model.

Generation checks

Các nguyên nhân phổ biến

So sánh trực tiếp context và response.

System prompt mơ hồ

Không yêu cầu chỉ trả lời từ nguồn.

Không có abstention

Model bị ép phải trả lời khi thiếu bằng chứng.

Context conflict

Nhiều nguồn mâu thuẫn nhưng không có rule ưu tiên.

Temperature cao

Tăng biến thiên không cần thiết.

Prompt injection

Nội dung tài liệu chứa chỉ dẫn gây lệch.

Synthesis error

Model trộn đúng và sai từ nhiều nguồn.

Memory và quyền

Memory cũ hoặc filter quyền sai có thể làm lệch kết quả

Biểu hiện giống retrieval kém nhưng nguyên nhân khác.

Kiểm tra summary memory, pending state, user profile, tenant, branch, role, locale và document ACL. Không được bỏ permission filter chỉ để tăng recall.

Access checks

Các lớp scope cần xác minh

Bảo mật phải được giữ nguyên trong quá trình tuning.

Tenant

Đúng doanh nghiệp chưa.

Branch hoặc property

Đúng chi nhánh chưa.

Role

User có được phép xem tài liệu không.

Document ACL

Quyền theo file hoặc folder.

Environment

Staging và production có dùng đúng index không.

Memory TTL

Context cũ có tồn tại quá lâu không.

Citation

Citation có liên quan chưa chắc hỗ trợ claim

Citation correctness và answer correctness phải chấm riêng.

Citation checks

Các tiêu chí cần đánh giá

Không chỉ kiểm tra có link hay không.

Source relevance

Nguồn có liên quan trực tiếp không.

Claim support

Đoạn trích có thực sự chứng minh claim.

Placement

Nguồn gắn đúng câu hoặc đoạn.

Authority

Tài liệu chính thức có được ưu tiên.

Version

Citation có trỏ đúng phiên bản.

Coverage

Các claim quan trọng đều có bằng chứng.

Evaluation

Không có bộ test thì lỗi sẽ lặp lại

Một câu trả lời được sửa thủ công chưa chứng minh hệ thống tốt hơn.

Minh họa: Không có bộ test thì lỗi sẽ lặp lại

Metrics

Bộ đánh giá tối thiểu

Mỗi câu hỏi cần expected answer và expected source.

Answer correctness

Câu trả lời đúng về nội dung.

Recall@K

Chunk đúng xuất hiện trong Top-K.

MRR hoặc nDCG

Chunk đúng được xếp đủ cao.

Citation correctness

Nguồn hỗ trợ claim.

Faithfulness

Không thêm thông tin ngoài context.

Abstention

Biết từ chối khi thiếu bằng chứng.

Leakage

Không retrieve dữ liệu ngoài quyền.

Playbook

Trình tự điều tra một câu trả lời sai

Đi từng lớp để tránh sửa sai chỗ.

Bước 1

Chọn một case cụ thể

Ghi câu hỏi, đáp án đúng, source chunk và response hiện tại.

Question

Giữ nguyên câu hỏi và context.

Expected answer

Xác định đáp án đúng.

Expected source

Xác định đoạn phải được retrieve.

Current response

Lưu answer, citation và latency.

Bước 2

Theo dõi pipeline

Tìm nơi đầu tiên xuất hiện sai lệch.

Ingestion

Document và chunk có tồn tại.

Retrieval

Chunk đúng có trong Top-K.

Reranking

Chunk đúng có bị đẩy xuống.

Final prompt

Context đúng có được gửi.

Response

Model có bám context không.

Bước 3

Sửa và regression test

Chỉ thay một biến mỗi lần.

Change one thing

Chunk size, filter, Top-K hoặc prompt.

Rerun evaluation

So sánh trước và sau.

Check side effects

Recall tăng có làm noise hoặc leakage tăng không.

Save evidence

Lưu query, chunk, score và response.

Add regression case

Ngăn lỗi quay lại.

Sai lầm phổ biến

Những cách sửa thường không hiệu quả

Có thể che symptom nhưng không giải quyết root cause.

Anti-patterns

Các lỗi cần tránh

Mỗi lỗi làm hệ thống khó debug hơn.

Đổi model ngay

Không giúp nếu retrieve sai.

Tăng Top-K vô hạn

Tạo nhiễu và tăng cost.

Nhồi toàn bộ tài liệu

Vượt token và giảm focus.

Chỉ sửa prompt

Không giải quyết ingestion hoặc ranking.

Không log chunk ID

Không thể truy vết.

Không có regression set

Lỗi cũ quay lại.

Mỗi bước điều tra nên có query, chunk ID, score, prompt, response và evidence để xác định chính xác nơi đầu tiên xuất hiện sai lệch.

FlowNexa

FlowNexa hỗ trợ đánh giá và cải thiện RAG như thế nào?

Tìm đúng lớp gây lỗi và chứng minh chất lượng bằng evaluation.

Dịch vụ

Phạm vi hỗ trợ

Có thể bắt đầu bằng audit hoặc remediation trọn gói.

RAG Quality Assessment

Đánh giá ingestion, chunking, retrieval, reranking và citation.

Knowledge Base Review

Rà soát dữ liệu, metadata, version và permission.

Retrieval Tuning

Tối ưu embedding, hybrid search, Top-K và reranker.

Evaluation Framework

Xây dataset, Recall@K, MRR, nDCG, faithfulness và leakage test.

Observability

Log query, chunk ID, score, prompt, citation và cost.

Production Remediation

Sửa lỗi và chạy regression trước rollout.

Quan điểm của FlowNexa

Khi AI trả lời sai dù đã có tài liệu, đừng hỏi model có thông minh đủ không. Hãy hỏi đoạn tài liệu đúng đã đi qua pipeline thế nào và bị mất ở bước nào.

FAQ

Các câu hỏi thường gặp

Câu trả lời tập trung vào cách điều tra thực tế.

FAQ

Giải đáp nhanh

Nguyên nhân cần được chứng minh bằng log và evaluation.

Nên kiểm tra gì đầu tiên?

Chunk đúng có nằm trong Top-K không.

Đổi model mạnh hơn có giúp không?

Chỉ khi context đúng đã được gửi nhưng model vẫn tổng hợp sai.

Top-K càng cao càng tốt?

Không. Quá cao làm tăng nhiễu và cost.

Chunk size bao nhiêu là đúng?

Không có số cố định; cần test theo loại tài liệu.

Citation đúng có nghĩa answer đúng?

Không. Citation có thể liên quan nhưng không hỗ trợ claim.

FlowNexa có thể audit RAG không?

Có thể review pipeline, dataset, metrics và production logs.

FlowNexa AI & RAG

Tìm đúng nguyên nhân trước khi đổi model

FlowNexa có thể rà soát ingestion, chunking, retrieval, reranking, prompt, citation, permission và evaluation.

Đặt lịch tư vấn RAG

Trao đổi symptom, architecture và bộ câu hỏi đang sai.

Yêu cầu RAG Quality Assessment

Nhận failure map, metric baseline và remediation roadmap.