Đo lường và giảm thiểu Hallucination (Ảo giác) của LLM trong ứng dụng chăm sóc khách hàng

Rủi ro thương hiệu khi Chatbot "tự bịa" thông tin chính sách#

Trong các ứng dụng CSKH, việc Chatbot AI bịa đặt chính sách hoàn tiền hoặc cung cấp sai thông tin kỹ thuật (Hallucination) có thể gây thiệt hại pháp lý và uy tín nghiêm trọng cho doanh nghiệp.

Làm thế nào để đo lường định lượng tỷ lệ ảo giác và thiết lập các chốt chặn an toàn (Guardrails)?

Phương pháp đo lường bằng Framework Ragas#

Ragas là framework phổ biến nhất hiện nay để đánh giá RAG pipeline dựa trên 3 chỉ số vàng:

1. Faithfulness (Độ trung thực): Câu trả lời có suy diễn thuần túy từ tài liệu được cấp hay tự bịa ra ngoài?
2. Answer Relevance (Độ liên quan): Câu trả lời có đúng trọng tâm câu hỏi không?
3. Context Recall (Độ bao phủ ngữ cảnh): Hệ thống có tìm đủ tài liệu cần thiết không?

from ragas import evaluate
from ragas.metrics import faithfulness, answer_relevance
from datasets import Dataset

# Đánh giá 100 câu hỏi test mẫu
dataset = Dataset.from_dict({
    "question": test_questions,
    "contexts": retrieved_contexts,
    "answer": generated_answers,
})

score = evaluate(dataset, metrics=[faithfulness, answer_relevance])
print("Faithfulness Score:", score["faithfulness"])

3 giải pháp hạ tỉ lệ ảo giác xuống dưới 1%#

• Quy tắc "Không biết thì nói không biết": Ép chặt trong system prompt: "Nếu tài liệu được cung cấp không đủ thông tin, bạn BẮT BUỘC phải trả lời: 'Hiện tại tôi chưa có thông tin chính xác về vấn đề này' và gợi ý liên hệ nhân viên hỗ trợ."
• Đối chiếu Grounding: Dùng một model nhỏ (như Haiku hoặc 4o-mini) làm giám khảo thứ hai để kiểm tra chéo xem từng câu khẳng định trong output có tìm thấy dẫn chứng trong context hay không.
• Giới hạn Temperature: Đặt temperature = 0.0 hoặc 0.1 cho các tác vụ hỏi đáp thông tin chính sách.

Góc thảo luận#

Team bạn kiểm soát chất lượng câu trả lời của AI bằng cách nào? Có công cụ tự động nào phát hiện câu trả lời sai lệch trước khi hiển thị cho người dùng không?

Xem thêm nội dung liên quan:

• Từ điển AI: Hallucination trong AI là gì?
• Review công cụ Claude AI