Memory poisoning: khi “trí nhớ” khiến AI Agent sai lâu dài
Thiết kế memory cho AI Agent với provenance, write gate, tenant isolation, trust score, expiry, review, rollback và kiểm thử chống dữ liệu đầu độc.
Memory poisoning xảy ra khi dữ liệu sai, độc hại hoặc bị thao túng được ghi vào bộ nhớ ngắn hạn, hồ sơ người dùng, knowledge store hay bộ nhớ dài hạn của AI Agent. Khác prompt injection chỉ ảnh hưởng một lượt chạy, dữ liệu bị đầu độc có thể quay lại trong nhiều phiên sau, tác động tới quyết định, lựa chọn tool và người dùng khác.
Cách phòng thủ cốt lõi là coi mọi memory write như một thay đổi trạng thái có rủi ro: có provenance, schema, policy, tenant boundary, thời hạn và khả năng rollback. Agent không được tự biến nội dung hội thoại hoặc tài liệu truy xuất thành “sự thật lâu dài” chỉ vì model thấy nội dung đó hữu ích.
Bề mặt tấn công
Memory không phải một vùng dữ liệu duy nhất
Mỗi loại memory cần quyền ghi, độ tin cậy và vòng đời riêng.
Session context chỉ tồn tại trong một phiên nhưng vẫn có thể làm lệch plan hiện tại. Episodic memory ghi lại sự kiện đã xảy ra. Profile memory lưu preference hoặc thuộc tính người dùng. Semantic memory chứa tri thức dùng lại. Procedural memory hoặc skill còn nguy hiểm hơn vì có thể thay đổi cách agent hành động.
