Giám sát và Tracing LLM trong Production: Đánh giá LangSmith vs Langfuse

Tại sao giám sát ứng dụng AI khó hơn web truyền thống?#

Với ứng dụng backend thông thường, bạn chỉ cần theo dõi CPU, RAM, HTTP status code và latency. Nhưng với ứng dụng AI/LLM, một request trả về HTTP 200 vẫn có thể là thảm họa nếu:

• Model trả lời bị ảo giác hoặc sai format.
• Số lượng token tiêu tốn đột ngột tăng vọt gấp 10 lần.
• Một bước trong chuỗi Agent (Chain/Graph) bị lặp vô tận.

Đây là lúc bạn bắt buộc phải có công cụ LLM Observability & Tracing. Hai ứng viên sáng giá nhất hiện nay là LangSmith và Langfuse.

1. LangSmith (Hệ sinh thái LangChain)#

• Tích hợp liền mạch nếu bạn đang dùng LangChain hoặc LangGraph.
• Khả năng debug từng node trong đồ thị Agent rất trực quan.
• Hạn chế: Là dịch vụ SaaS đóng, chi phí cao khi lượng request lớn, dữ liệu lưu trữ trên cloud của họ.

2. Langfuse (Mã nguồn mở, hỗ trợ Self-host)#

• Có thể tự host 100% bằng Docker Compose kết hợp với PostgreSQL và ClickHouse.
• Hỗ trợ SDK đa dạng (Python, TypeScript) độc lập, không ép buộc phải dùng LangChain.
• Đo lường chi phí (Cost Tracking) theo từng model cực kỳ chi tiết và chính xác.

import { Langfuse } from 'langfuse';

const langfuse = new Langfuse();

// Tạo trace cho một phiên hỏi đáp của người dùng
const trace = langfuse.trace({
  name: 'customer-support-qa',
  userId: 'user_12345'
});

const generation = trace.generation({
  name: 'claude-response',
  model: 'claude-3-7-sonnet-20250219',
  input: userPrompt
});

// Ghi nhận output và số lượng token
generation.end({
  output: aiResponseText,
  usage: { promptTokens: 450, completionTokens: 180 }
});

Góc thảo luận#

Team bạn đang dùng công cụ nào để giám sát chất lượng và chi phí gọi LLM hàng ngày? Chi phí token mỗi tháng của bạn hiện đang ở mức nào?

Xem thêm nội dung liên quan:

• Từ điển AI: Token trong AI là gì?
• Review công cụ Cursor AI