Chi phí và độ trễ của LLM trên production: đếm token, caching, routing và fallback
Chuyện gì xảy ra với một tính năng LLM khi traffic thật đổ về: độ trễ thật sự đến từ đâu, bộ đếm token và chi phí theo từng tính năng kèm ngân sách theo tenant, cấu trúc prompt để tận dụng prompt caching của provider, exact và semantic caching, routing model, cắt gọt context, batch API, gọi song song, retry có fallback và circuit breaker, và dashboard mình theo dõi.
Hệ thống & kiến trúc9 phút