Chatbot AI trả lời sai giá và chính sách: Doanh nghiệp phải kiểm soát từ đâu?

Kiểm tra nguồn trước

Mở đúng source version chatbot đã sử dụng. Xác nhận giá, tiền tệ, VAT, điều kiện, ngày hiệu lực và locale. Nếu nguồn sai, model không thể tạo câu đúng một cách ổn định.

Kiểm tra bản trích xuất

So nội dung sau parser với file gốc, đặc biệt là bảng giá, footnote và dòng merge.

Kiểm tra retrieval

Xem top-k, score, filter và chunk. Metadata nên lọc theo sản phẩm, tenant, locale, trạng thái approved và thời gian hiệu lực.

Kiểm tra generation

Nếu evidence đúng nhưng câu trả lời sai, siết grounded instruction, format dữ liệu và validation. Với dữ liệu có cấu trúc, ưu tiên API hoặc record chính thức thay vì prose RAG.

• Không cho model tự tính giá cuối cùng nếu thiếu rule và dữ liệu đầu vào.
• Bắt buộc trích nguồn hoặc record ID cho câu trả lời nhạy cảm.
• Tách “giá tham khảo” khỏi “báo giá có hiệu lực”.
• Đặt expiry và tự động loại tài liệu hết hạn khỏi retrieval.
• Cảnh báo khi cùng một intent có nguồn mâu thuẫn.
• Gắn kill switch cho nhóm chủ đề; có thể chuyển toàn bộ giá sang handoff.
• Theo dõi grounded rate, wrong-answer severity và thời gian khắc phục.

OWASP xem misinformation, prompt injection và poisoning là các rủi ro quan trọng. NIST nhấn mạnh đo lường và quản trị rủi ro xuyên vòng đời; do đó correction loop phải là chức năng vận hành, không phải xử lý ad hoc.

Có nên tắt toàn bộ chatbot không?

Chỉ khi chưa cô lập được phạm vi. Nếu có topic kill switch, có thể chuyển riêng giá/chính sách sang người.

Tăng top-k có sửa được không?

Không chắc. Top-k cao có thể đưa thêm nguồn mâu thuẫn; cần đo retrieval và filter.

Prompt có thể bắt chatbot luôn đúng không?

Không. Prompt không sửa được nguồn sai, parser lỗi hoặc API trả dữ liệu cũ.

Nên dùng RAG hay API cho giá?

Giá động và tồn kho nên lấy từ hệ thống nguồn qua API; RAG phù hợp giải thích chính sách và điều kiện.

Sau khi sửa nguồn cần làm gì?

Re-index, purge cache liên quan, chạy regression test và kiểm tra production trace.

Giá và chính sách cần được quản lý như dữ liệu production: có authority, owner, version, hiệu lực, test và rollback. Chatbot chỉ là lớp trình bày cuối của chuỗi đó.

Mục tiêu không phải hứa “không bao giờ sai”, mà là ngăn trả lời khi thiếu căn cứ, phát hiện sai sớm, hạn chế phạm vi ảnh hưởng và khắc phục có bằng chứng.