Quản trị Memory cho AI Agent: Khi nào dùng Buffer Window, Conversation Summary hay Vector?

Thách thức lưu giữ bối cảnh hội thoại dài hạn#

Khi người dùng trò chuyện với AI Agent qua nhiều ngày hoặc thực hiện một tác vụ kéo dài hàng chục bước, việc gửi toàn bộ lịch sử chat vào prompt sẽ nhanh chóng:

• Làm tràn cửa sổ ngữ cảnh (Context Window).
• Đẩy chi phí token lên mức không thể kiểm soát.
• Khiến mô hình bị phân tâm bởi các thông tin cũ không còn liên quan ("Lost in the middle").

Vậy các chiến lược quản lý bộ nhớ (Memory Architecture) nào đang được áp dụng hiệu quả nhất hiện nay?

3 Chiến lược Memory phổ biến#

1. Conversation Buffer Window Memory (Cửa sổ trượt)#

Chỉ lưu giữ $N$ tin nhắn gần nhất (ví dụ: 6 tin nhắn cuối cùng):

• Phù hợp: Chatbot hỏi đáp đơn giản, hội thoại ngắn.
• Hạn chế: Quên hoàn toàn các thỏa thuận hoặc thông tin cá nhân mà người dùng cung cấp từ đầu phiên chat.

2. Conversation Summary Memory (Tóm tắt định kỳ)#

Sử dụng một LLM nhỏ chạy ngầm để tóm tắt liên tục lịch sử hội thoại thành 1-2 đoạn văn cô đọng:

# Cập nhật tóm tắt sau mỗi 5 lượt chat
current_summary = llm.predict(f"""
Tóm tắt hiện tại: {old_summary}
Các tin nhắn mới: {new_messages}
Hãy cập nhật bản tóm tắt súc tích chứa các thông tin quan trọng của người dùng.
""")

3. Vector-based Long-term Memory (Bộ nhớ dài hạn qua Vector Store)#

Lưu từng thông tin quan trọng (sở thích, dự án, thông số kỹ thuật) vào Vector Database. Khi người dùng đặt câu hỏi mới, chỉ truy xuất các ký ức có liên quan ngữ nghĩa.

Bảng so sánh lựa chọn chiến lược#

Góc thảo luận#

AI Agent của bạn đang dùng kiến trúc bộ nhớ nào? Bạn có đang kết hợp cả Short-term memory (trong Redis) và Long-term memory (trong Postgres/Vector DB) không?

Xem thêm nội dung liên quan:

• Từ điển AI: AI Agent là gì?
• Review công cụ Claude AI