Hệ thống & kiến trúc
6 bài viết gắn thẻ #llm trên DiCodeWeb, từ nền tảng đến production, mới nhất trước.
6 bàiCập nhật 24 thg 10, 2026
Mô hình mối đe doạ thực tế cho ứng dụng đặt LLM giữa tool và dữ liệu riêng tư: prompt injection trực tiếp và gián tiếp, lethal trifecta, và các design pattern giữ thiệt hại trong tầm kiểm soát, đối chiếu với OWASP Top 10 for LLM Applications.
Chuyện gì xảy ra với một tính năng LLM khi traffic thật đổ về: độ trễ thật sự đến từ đâu, bộ đếm token và chi phí theo từng tính năng kèm ngân sách theo tenant, cấu trúc prompt để tận dụng prompt caching của provider, exact và semantic caching, routing model, cắt gọt context, batch API, gọi song song, retry có fallback và circuit breaker, và dashboard mình theo dõi.
Xây golden dataset từ usage thật, kiểm tra deterministic trước, LLM-as-judge với rubric và các bias của nó, so sánh pairwise, chạy eval trong CI khi đổi prompt hay model, theo dõi chi phí và độ trễ cùng chất lượng, tín hiệu online, tracing, và cách tránh overfit bộ eval.
Tool calling thật ra là một vòng lặp do code của bạn điều khiển. Bài này đi qua cách định nghĩa tool bằng schema, agent loop có giới hạn bước, xử lý args sai, message list với part có kiểu, stream args dở dang, render tool call thành component và bắt người dùng xác nhận trước những tool có side effect.
Phần frontend mà các tutorial chat AI hay bỏ qua: chọn transport, tự parse SSE với event bị cắt giữa chunk, Route Handler giữ API key và huỷ ngược lên upstream, state theo message parts, gom render theo requestAnimationFrame, markdown tăng dần an toàn, autoscroll, accessibility và xử lý lỗi.
Cách mình xây tính năng sản phẩm trên LLM mà kết quả là JSON có kiểu: chế độ structured output của các API, định nghĩa schema bằng Zod, xử lý refusal và output bị cắt, retry kèm sửa lỗi, version prompt trong code, kỳ vọng đúng về temperature và cách thiết kế schema mà model làm tốt.