Hệ thống & kiến trúc
12 bài viết gắn thẻ #ai trên DiCodeWeb, từ nền tảng đến production, mới nhất trước.
12 bàiCập nhật 24 thg 10, 2026
Mô hình mối đe doạ thực tế cho ứng dụng đặt LLM giữa tool và dữ liệu riêng tư: prompt injection trực tiếp và gián tiếp, lethal trifecta, và các design pattern giữ thiệt hại trong tầm kiểm soát, đối chiếu với OWASP Top 10 for LLM Applications.
MCP không phải phép màu, chỉ là một giao thức JSON-RPC được thiết kế tốt. Bài này giải thích host, client, server, các primitive và transport theo spec 2026-07-28, rồi dựng một server TypeScript chỉ đọc cho dữ liệu đơn hàng: thiết kế tool, phân trang, test bằng Inspector, OAuth cho remote server và những lỗ hổng bảo mật cần chặn.
Khi nào nên chạy model ngay trên máy người dùng và khi nào không, built-in AI của Chrome đã ship tới đâu, Transformers.js, ONNX Runtime Web và WebLLM trên WebGPU/WASM, chạy inference trong Web Worker, cache trọng số model và UX cho lần tải đầu tiên.
Chuyện gì xảy ra với một tính năng LLM khi traffic thật đổ về: độ trễ thật sự đến từ đâu, bộ đếm token và chi phí theo từng tính năng kèm ngân sách theo tenant, cấu trúc prompt để tận dụng prompt caching của provider, exact và semantic caching, routing model, cắt gọt context, batch API, gọi song song, retry có fallback và circuit breaker, và dashboard mình theo dõi.
Coding agent thật sự giúp được team frontend ở đâu và âm thầm hỏng ở đâu, cách cho chúng context bằng AGENTS.md và task nhỏ, lên plan trước khi code, vòng lặp kiểm chứng, review PR do AI viết, rủi ro supply chain như slopsquatting, và những kỹ năng nào quan trọng hơn với kỹ sư mid và senior.
Xây golden dataset từ usage thật, kiểm tra deterministic trước, LLM-as-judge với rubric và các bias của nó, so sánh pairwise, chạy eval trong CI khi đổi prompt hay model, theo dõi chi phí và độ trễ cùng chất lượng, tín hiệu online, tracing, và cách tránh overfit bộ eval.
Tool calling thật ra là một vòng lặp do code của bạn điều khiển. Bài này đi qua cách định nghĩa tool bằng schema, agent loop có giới hạn bước, xử lý args sai, message list với part có kiểu, stream args dở dang, render tool call thành component và bắt người dùng xác nhận trước những tool có side effect.
Demo RAG thì ai cũng dựng được trong một buổi chiều; làm cho nó trả lời đúng mới là phần khó. Bài này đi qua một pipeline RAG viết bằng TypeScript trên PostgreSQL/pgvector: chunking theo cấu trúc, hybrid search gộp bằng RRF trong một câu SQL, reranking, phân quyền trước khi xếp hạng, trích dẫn và cách đo chất lượng bằng con số.
Phần frontend mà các tutorial chat AI hay bỏ qua: chọn transport, tự parse SSE với event bị cắt giữa chunk, Route Handler giữ API key và huỷ ngược lên upstream, state theo message parts, gom render theo requestAnimationFrame, markdown tăng dần an toàn, autoscroll, accessibility và xử lý lỗi.
Cách mình thiết kế và xây UI cho những tính năng mà mỗi lần chạy lại ra một kết quả khác: ngân sách độ trễ và streaming, gợi ý có thể chấp nhận, sửa hoặc bỏ qua với state model có type, undo và preview, nguồn trích dẫn trung thực, feedback nối vào analytics, xử lý lỗi và accessibility.
Phần frontend khi gửi file cho LLM: file input, kéo thả và paste, nhận diện loại file bằng magic bytes, thu nhỏ ảnh và xoá EXIF ngay trên trình duyệt, ảnh HEIC từ iPhone, PDF, ghi âm bằng MediaRecorder, upload qua presigned URL có progress và huỷ, dọn object URL, accessibility và những gì server vẫn phải kiểm tra.
Cách mình xây tính năng sản phẩm trên LLM mà kết quả là JSON có kiểu: chế độ structured output của các API, định nghĩa schema bằng Zod, xử lý refusal và output bị cắt, retry kèm sửa lỗi, version prompt trong code, kỳ vọng đúng về temperature và cách thiết kế schema mà model làm tốt.