AgentOps: 7 giai đoạn đưa AI Agent từ pilot vào production

Databricks vừa công bố Big Book of AgentOps, định nghĩa AgentOps là kỷ luật vận hành để xây dựng, đánh giá, quản trị và cải tiến AI Agent trong production. Nếu MLOps giúp đưa model từ notebook ra hệ thống thật, AgentOps mở rộng bài toán sang tác nhân có thể truy xuất dữ liệu, chọn công cụ, gọi API và tự đi qua nhiều bước để hoàn thành nhiệm vụ.

Điểm đáng chú ý là Databricks không khuyến nghị doanh nghiệp bắt đầu bằng multi-agent phức tạp. Khung mới ưu tiên một use case hẹp, tiêu chí thành công đo được, trace thật, quyền tối thiểu và vòng evaluation có chuyên gia nghiệp vụ trước khi mở rộng orchestration.

Vì sao AI Agent cần một lớp vận hành riêng?

Một yêu cầu gửi tới agent có thể kích hoạt nhiều model call, truy xuất dữ liệu, retry, guardrail và tool call. Chất lượng của câu trả lời cuối không cho biết chi phí phát sinh ở đâu, quyền nào đã được dùng hoặc bước nào tạo ra lỗi.

Databricks nêu năm câu hỏi khiến nhiều đội bị kẹt khi rời pilot:

• Agent có tạo đúng outcome cho nhiệm vụ này không?
• Có thể truy vết công cụ và dữ liệu nó đã dùng không?
• Quyền truy cập vào dữ liệu và hành động nhạy cảm được kiểm soát thế nào?
• Một yêu cầu thực sự tốn bao nhiêu sau retry, subagent và guardrail?
• Ai quyết định agent sẵn sàng ra mắt và ai chịu trách nhiệm sau go-live?

AgentOps gom kiến trúc, evaluation, observability, governance, security và cost management thành một quy trình lặp lại để trả lời những câu hỏi đó.

Nguồn: Databricks, 02/09/2026. Học viện AI diễn giải; số liệu case là tuyên bố của Databricks và khách hàng được nêu.

Lộ trình bảy giai đoạn từ pilot tới production

Databricks mô tả một roadmap bảy giai đoạn, đi từ lập đội và chọn use case tới hạ tầng dữ liệu, evaluation và governance. Bài công bố không đặt tên ngắn cho đủ bảy bước trong phần tóm tắt, nhưng logic triển khai có thể được diễn giải thành chuỗi sau:

1. 1. Lập đội và owner: xác định sponsor, product owner, chuyên gia nghiệp vụ, kỹ thuật, security, compliance và finance.
2. 2. Chọn use case hẹp: ưu tiên outcome đo được, tần suất đủ cao và ranh giới đủ rõ.
3. 3. Vẽ workflow của con người: hiểu dữ liệu, quyết định, công cụ, ngoại lệ và điểm bàn giao hiện tại.
4. 4. Thiết kế kiến trúc và quyền: chọn mức phức tạp vừa đủ, ánh xạ quyền theo data và tool.
5. 5. Tạo evaluation từ trace thật: để chuyên gia chấm ca đại diện và dùng kết quả hiệu chỉnh judge tự động.
6. 6. Triển khai có quan sát: theo dõi chất lượng, latency, lỗi, chi phí và hành động xuyên suốt chuỗi.
7. 7. Vận hành và cải tiến: đưa sự cố, feedback và hành vi mới trở lại evaluation trước mỗi release.

Điểm quan trọng là các bước không phải đường thẳng một lần. Trace sau triển khai phải quay trở lại tập test, còn chi phí và rủi ro thực tế phải làm thay đổi kiến trúc hoặc quyền.

Bốn kiến trúc và bốn mẫu triển khai

Big Book phân biệt bốn loại kiến trúc agent vì yêu cầu vận hành thay đổi theo mức tự chủ. Một agent đơn giản không cần cùng hạ tầng với mạng multi-agent nhiều tài khoản. Databricks đồng thời mô tả bốn mẫu triển khai, từ một workspace đơn lẻ tới topology đa tài khoản, đa agent.

Khuyến nghị thực dụng là bắt đầu đơn giản. Anti-pattern phổ biến gồm chọn use case quá rộng, dùng multi-agent trước khi độ phức tạp được chứng minh, tạo reasoning loop không cần thiết và để evaluation đến cuối dự án.

Đây là bài học đáng lưu ý cho doanh nghiệp đang bị hấp dẫn bởi demo “đội quân agent”. Mỗi agent thêm vào làm tăng bề mặt quyền, số đường lỗi, chi phí model call và khó khăn khi truy vết. Orchestration chỉ nên tăng khi một agent đơn không đáp ứng outcome hoặc ranh giới chuyên môn.

Evaluation phải bắt đầu từ trace thật

Databricks khuyến nghị chuyên gia nghiệp vụ xem các trace thực tế ngay từ đầu, thay vì chỉ kiểm thử một tập prompt được chọn đẹp. Nhận xét của con người giúp tìm failure mode, xây tập đánh giá đại diện và hiệu chỉnh judge tự động cho các vòng kiểm tra thường xuyên.

Một ví dụ trong bài là ứng dụng text-to-SQL của Intercontinental Exchange. Databricks cho biết hệ thống đạt 77% độ chính xác cú pháp và 96% execution match trên khoảng 50 truy vấn. Hai tỷ lệ khác nhau cho thấy một câu SQL không giống đáp án tham chiếu vẫn có thể chạy và trả kết quả tương đương; doanh nghiệp phải chọn metric bám outcome thay vì chỉ bám hình thức.

FactSet cũng được nêu với knowledge agent text-to-code, phát triển từ một foundation model thành hệ agent đầy đủ và cải thiện độ chính xác 44%. Đây là mức cải thiện Databricks công bố từ case khách hàng, không phải benchmark độc lập áp dụng cho mọi doanh nghiệp.

Chi phí phải được đo ở cấp workflow

Một request có thể kích hoạt nhiều model call, subagent, retry và kiểm tra an toàn. Vì vậy chi phí theo token của một lần gọi model không phản ánh total cost của agent.

AgentOps yêu cầu attribution theo workflow và owner, giới hạn chi tiêu, cảnh báo bất thường và trách nhiệm rõ với ngân sách. Databricks nêu DXC Technology hiện có ba agent production, tám agent khác ở pilot hoặc development và giảm 30% tổng chi phí sở hữu nền tảng sau khi chuyển sang Databricks.

Case này cho thấy tiết kiệm không nhất thiết đến từ model rẻ hơn. Kiến trúc, tái sử dụng nền tảng, observability và giảm hệ thống trùng lặp có thể tác động lớn hơn đơn giá token.

Governance phải đi cùng observability

Khi mỗi ứng dụng tự xây quyền và log riêng, doanh nghiệp khó audit lúc số agent tăng. Một nền tảng chung giúp theo dõi data access, model và tool usage, trace, evaluation và policy enforcement.

Databricks dùng MLflow cho evaluation và tracing, Unity Gateway cho lưu lượng model/tool và Unity Catalog cho quyền, lineage và khám phá tài sản dữ liệu/AI. Công ty nêu Block đã ghi nhận 10 triệu USD lợi ích năng suất từ hệ thống AI Agent hỗ trợ vận hành người bán, với nền tảng dữ liệu được quản trị dùng chung giữa các đơn vị.

Những con số 44%, 30%, 77%/96% và 10 triệu USD đến từ Databricks hoặc case khách hàng của hãng. Chúng hữu ích để thấy loại outcome có thể đo, nhưng không nên được dùng làm forecast cho doanh nghiệp khác nếu chưa có baseline tương đương.

Góc nhìn Học viện AI: AgentOps là “mô tả công việc + hệ quản trị” cho nhân sự AI

Nhận định của Học viện AI là AgentOps không chỉ là việc của đội IT. Nó biến một agent từ bản demo thành một vai có thể quản lý: có outcome, owner, quyền, dữ liệu, công cụ, tiêu chuẩn chất lượng, ngân sách và quy trình xử lý sự cố.

Doanh nghiệp Việt Nam có thể bắt đầu với một bảng điều khiển tối thiểu gồm sáu nhóm chỉ số:

1. 1. Outcome nghiệp vụ: thời gian chu kỳ, tỷ lệ hoàn thành hoặc doanh thu/chi phí liên quan.
2. 2. Chất lượng: tỷ lệ đúng theo SME, lỗi nghiêm trọng và ngoại lệ.
3. 3. Hành động: tool call thành công, bị chặn, cần duyệt hoặc phải rollback.
4. 4. Chi phí: theo request, workflow, phòng ban và outcome.
5. 5. Độ tin cậy: latency, retry, downtime và tỷ lệ fallback.
6. 6. Học hỏi: failure mode mới đã được thêm vào evaluation hay chưa.

Cấu trúc này lý giải vì sao nhóm doanh nghiệp dùng AI sâu tạo output gấp 8,3 lần không chỉ “chat nhiều hơn”. Họ đưa AI vào workflow có bối cảnh, công cụ, artifact và vòng cải tiến.

Khi nào doanh nghiệp sẵn sàng scale?

Đừng scale vì agent đã chạy được một demo. Hãy scale khi ba điều cùng đúng: outcome tốt hơn baseline, failure mode nghiêm trọng đã có kiểm soát, và chi phí toàn workflow nằm trong ngưỡng được owner chấp nhận.

Quyền cũng nên tăng theo bằng chứng. Agent mới bắt đầu với đọc và soạn bản nháp; sau khi trace và evaluation ổn định mới mở tool call có thể hoàn tác; hành động nhạy cảm giữ human approval hoặc kiểm soát runtime. Lớp kiểm soát theo hành động như Broadcom AgentMinder là một ví dụ cho hướng này.

Khoảng cách scale hiện không nhỏ: 40% doanh nghiệp lớn đã mở rộng AI Agent, so với 22% ở doanh nghiệp nhỏ. AgentOps không bảo đảm mọi pilot sẽ thành công, nhưng giúp tổ chức biết vì sao nên mở rộng, giữ nguyên hay dừng — bằng bằng chứng vận hành thay vì cảm giác.

CTA: Muốn dựng lộ trình AgentOps cho workflow đầu tiên của doanh nghiệp? Đăng ký tư vấn 1:1 với Học viện AI hoặc xem chương trình AI cho doanh nghiệp.

Phân biệt fact/nhận định: Khái niệm AgentOps, roadmap bảy giai đoạn, bốn kiến trúc, bốn mẫu triển khai và các case FactSet, DXC, ICE, Block đến từ Databricks ngày 02/09/2026. Tên diễn giải cho bảy bước, bảng sáu nhóm chỉ số và khuyến nghị scale là nhận định biên tập của Học viện AI.