AI Agent làm sai hoài: thiếu tiêu chí đạt và người duyệt

Giao việc cho AI mà làm sai hoài thì thường thiếu một bước: định nghĩa thế nào là đạt. Bài này có mẫu tiêu chí, cách kiểm tra độc lập và bảng chọn chỗ đặt người duyệt.

Anh em giao việc cho AI, mô tả chi tiết bước một bước hai bước ba hẳn hoi. Chạy một hồi vẫn không ra cái mình cần. Làm lại. Rồi lại làm lại. Vừa tốn tiền, vừa tốn thời gian, mà lại bực mình. Rồi trong đầu kết luận là con AI này chưa đủ ngon trong công việc thực tế. Bài này tôi viết lại đúng cách tôi xử lý chuyện đó ở công ty mình, cùng mạch với video, bổ sung thêm mấy bảng mà video chưa đủ thời lượng để tôi nói hết.

Video gốc gần 22 phút, tôi mở thẳng dashboard đội agent đang chạy trong công ty cho anh em xem. Bài viết giữ nguyên mạch đó, bổ sung phần mẫu tiêu chí đạt và bảng phân loại việc nào bắt buộc phải có người duyệt.

Vì sao mô tả chi tiết từng bước mà AI vẫn làm sai?

Anh em hình dung cái luồng bình thường mọi người đang làm nhá. Mình có một yêu cầu, mình vứt vào cho nó. Bên trong là ông AI xử lý. Anh em dùng Claude, dùng Codex, dùng con nào cũng được, chỗ này nó không quan trọng. Bản chất bên trong đấy là một mớ bòng bong, anh em đâu có mường tượng được nó chạy những gì. Rồi cuối cùng ra một đầu ra. Mình nhìn vào: không đạt. Làm lại. Lại không đạt. Lại làm lại.

Cho dù anh em có dặn nó bước một làm gì, bước hai làm gì, bước ba làm gì, thì bản thân cái chạy bên trong vốn dĩ vẫn lòng vòng. Công nghệ nó thế rồi.

Vậy bản chất vấn đề nằm ở đâu? Nằm ở cái não chạy tất cả đám AI này, gọi là LLM, mô hình ngôn ngữ lớn. Cái này nó khác phần mềm, được chưa ạ? Anh em dùng phần mềm hay dùng database thì chạy một lệnh, kết quả trả về là chuẩn. Tôi ví dụ anh em lấy một ô trong Excel, lần nào lấy cũng ra đúng ô đấy. Còn thằng LLM thì nó chạy bằng xác suất. Ngay cái việc nó nhận yêu cầu của mình, nó đã phải bóc yêu cầu đấy thành text, thành token. Token hiểu đơn giản cũng chỉ là một đơn vị đo của text thôi.

Tức là ngay chuyện nó hiểu thông tin của anh em đã là một dấu hỏi rất lớn rồi. Nó sẽ không hiểu ý mình một cách 100%. Không hiểu 100% đâu. Cụ thể hơn: nó không biết thế nào là đạt và thế nào là không đạt.

Cái não này được tạo ra để phán đoán xem từ tiếp theo mà mình muốn sẽ là gì. Nó học rất nhiều dữ liệu trong quá khứ nên nó biết tập từ nào hay đi với từ nào. Thế thôi. Vì là xác suất nên nó không thể hiểu mình một cách tuyệt đối.

Nên nếu anh em cứ làm rồi sai, làm đi làm lại theo kiểu đấy, thì thường là chúng ta đang thiếu đúng một bước ở giữa: định nghĩa cho nó tiêu chí đầu ra thế nào là đạt, thế nào là không đạt. Tôi đi cố vấn cho kha khá doanh nghiệp, tôi được xem tận mắt cách anh em ứng dụng AI vào nghiệp vụ. Nhiều người mô tả đề bài rất chi tiết, vì lên mạng lên diễn đàn ai cũng bảo phải viết prompt. Prompt prompt prompt. Thực ra làm việc với AI đơn giản hơn thế. Anh em không nhất thiết phải phụ thuộc vào mẫu prompt nào hết.

Đội AI Agent trong công ty tôi đang chạy thế nào?

Trước khi nói lý thuyết, tôi cho anh em xem cách nó vận hành trong công ty tôi cho dễ hình dung. Tư tưởng của tôi khi giao việc cho AI là đưa hết mọi con AI của mình lên một dashboard chung thôi.

Vì sao lại làm dashboard? Bởi vì đa phần công việc của chúng ta mất thời gian là do dữ liệu và cái việc mình cần nó nằm rải rác ở nhiều nơi. Anh em phải vào phần mềm kế toán, phải kiểm tra list trên website, phải xem traffic, phải mở email. Vào nhiều nơi như vậy nên vừa mất thời gian, vừa không tổng hợp được thứ cần thiết. Tôi đưa hết dữ liệu và việc mình yêu cầu lên một chỗ.

Công ty tôi bản chất có bốn phòng ban:

Phòng marketing: lo thu hút người quan tâm. Riêng kênh YouTube tôi có bốn agent, nó lo từ tìm ý tưởng, lên kịch bản, viết mô tả video, phân tích từ khóa nào người ta hay tìm để đưa vào cho đúng nội dung chứ không phải đưa bừa, viết bình luận ghim, rồi trả lời bình luận của khán giả.
Phòng nuôi dưỡng quan hệ: người xem để lại email trên website, tích đồng ý nhận thư, thì hệ thống email gửi tiếp những nội dung có giá trị để giữ mối quan hệ.
Phòng bán hàng: chỗ này là người và máy kết hợp, được chưa ạ? Để hiệu quả nó cao.
Phòng vận hành: giống đội kỹ sư, lo hạ tầng, website, các dịch vụ đằng sau cho ba phòng kia chạy được.

Còn website thì tôi có một con agent làm đúng việc này: video của tôi hay dài, có video gần một tiếng, nó viết lại thành bài. Nó bổ sung thêm những thứ trong tài liệu mà tôi muốn nói nhưng video không đủ thời lượng. Nó cắt ảnh trong video chèn vào để chứng minh bài viết đi ra từ video thật. Bên LinkedIn cũng thế, agent viết bài rồi trỏ về bài trên website.

Tôi giao việc ở đâu? Tôi giao qua một ông CEO duy nhất. Tôi ví dụ tôi bảo: hãy chuyển nội dung YouTube mới nhất của tôi thành bài viết dài, tạo ảnh luôn, nhưng chưa cần đăng vội. Thế là nó hiểu, nó bảo ok em làm bài trước, xong em tạo ảnh. Đội website bắt đầu chạy.

Nhưng thứ tôi muốn anh em để ý trên cái dashboard đó không phải mấy con agent. Là hai dòng chữ này:

Tự kiểm 6/6. Trước khi gửi cho tôi, nó phải tự chấm qua bộ tiêu chí. Tôi bấm vào bất kỳ việc nào cũng biết ông nào làm, làm những bước gì, và đã tự kiểm chất lượng chưa.
Chờ bạn duyệt. Tôi ví dụ việc trả lời bình luận YouTube. Nó soạn nháp, chỉ rõ câu hỏi này thì trỏ vào mốc phút nào của video, câu xin tài liệu thì trỏ vào link mô tả, không nêu giá, không nêu học phí trong bình luận. Soạn xong nó đứng lại chờ tôi.

Hai thứ đấy mới là phần tôi muốn anh em mang về áp dụng.

Tiêu chí đạt và không đạt viết thế nào cho AI hiểu?

Anh em chỉ cần nhớ hai nguyên tắc thôi.

Một là phải định lượng được. Đơn giản nhất: một là đúng, hai là sai. Pass hoặc không pass. Tôi ví dụ tôi yêu cầu con AI trả lời bình luận YouTube. Tiêu chí là: số bình luận mới khác 0 thì chạy, bằng 0 thì thôi. Rõ ràng, không cãi nhau được. Chứ anh em mà để tiêu chí kiểu viết hay hay không hay thì chết. Định nghĩa hay của nó khác định nghĩa hay của mình, hai ông hiểu khác nhau ngay.

Hai là phải nói luôn cho nó biết nếu không đạt thì làm gì. Tôi có sáu tiêu chí, ông đạt mấy tiêu chí rồi, đánh dấu vào. Nếu một tiêu chí không đạt thì quay lại làm cái vòng lòng vòng ở giữa của ông cho đến khi tiêu chí đấy đạt. Nhưng đạt cái đấy thì vẫn phải giữ được các tiêu chí bên trên. Đầu ra cuối cùng phải đạt đủ cả sáu thì tôi mới nhận.

Đây là phần video tôi chưa kịp nói kỹ. Anh em xem ba bộ mẫu này rồi tự sửa theo nghiệp vụ của mình:

Việc giao cho agent	Tiêu chí đạt (định lượng được)	Không đạt thì làm gì
Trả lời bình luận video	Số bình luận mới khác 0. Mỗi câu trả lời có trỏ được về một mốc thời gian có thật trong video. Không có chữ giá, học phí, khuyến mại. Độ dài dưới 80 từ.	Soạn lại đúng bình luận bị trượt, giữ nguyên các bình luận đã đạt, chấm lại từ đầu bộ tiêu chí.
Viết bài cho website từ video	Mỗi ý chính trong bài truy được về một đoạn trong bản ghi lời nói. Số liệu trong bài khớp bản ghi, không có số nào tự thêm. Có đủ các mục đã quy định. Mọi link bấm vào ra trang tồn tại.	Chỉ viết lại đúng mục bị trượt. Link hỏng thì bỏ hẳn link chứ không đoán link khác.
Soạn báo giá gửi đối tác	Tên công ty, mã số thuế, đơn giá khớp đúng dòng trong file gốc. Tổng tiền tính lại bằng công cụ ngoài ra đúng bằng số trong thư. Đúng một file đính kèm.	Dừng lại, không gửi, đẩy sang người duyệt kèm dòng ghi rõ tiêu chí nào trượt.

Anh em để ý là không có tiêu chí nào kiểu chuyên nghiệp, mạch lạc, đúng văn phong. Toàn thứ đếm được, so được, bấm vào thử được thôi.

Vì sao không nên tin bảng điểm AI tự chấm?

Đây là điểm thứ hai, và tôi lấy nó ra từ mấy chục dự án database chứ không phải từ diễn đàn.

Nếu anh em để cho nó tự đẻ ra kết quả rồi lại để chính nó đi chấm kết quả đấy, thì đôi khi nó không công tâm lắm. Tôi ví dụ anh em bảo nó đi kiếm một link tài liệu. Anh em sẽ gặp rất nhiều lần nó gửi về một cái link không tồn tại. Bố láo linh tinh kiểu thế. Mà mình bảo ông kiểm tra lại link đi thì nó vẫn khăng khăng: link này của em đúng đấy, em kiểm tra rồi, đúng đấy anh.

Vì sao? Vì cái link đó do nó tạo ra, nên khi chấm nó bị thiên kiến theo đúng thứ nó vừa nghĩ.

Cách chữa là tách hẳn hai việc ra. Lấy link là việc của AI. Còn kiểm tra thì phải là một hành động độc lập: dùng lệnh bấm thẳng vào link đấy, ra trang web tồn tại thì mới tính là đúng. Đừng tin cái nó nghĩ, hãy bắt nó chạy một hành động độc lập để kiểm.

Trong hệ thống của tôi cũng vậy. Tôi có một con AI chuyên kiểm tra hạ tầng và cơ sở dữ liệu. Tôi có sẵn những câu lệnh chạy độc lập trên database để lấy trạng thái thật, rồi đem so với trạng thái mà thằng AI dự đoán. Hai cái khớp nhau thì mới yên tâm là kết quả kiểm của nó đúng, chứ không phải nó bịa.

Rất nhiều người sợ AI bịa. Bản chất là chưa biết cách thôi. Có công cụ kiểm chứng độc lập rồi thì đáp án đúng hay sai nó rõ ràng ngay, đúng không ạ?

Quy tắc tôi hay dùng cho anh em dễ nhớ: thứ gì mà một hàm, một câu lệnh, một cú bấm chuột kiểm được thì đừng để AI tự chấm. Số tiền thì cộng lại bằng công cụ khác. Link thì bấm vào. Dữ liệu thì truy vấn thẳng vào nguồn. Ngày tháng thì đối chiếu với file gốc.

Bước nào bắt buộc phải có người duyệt?

Ngay cả khi nó đã tự kiểm 6/6, đúng hết rồi, tôi vẫn chưa cho chạy thẳng ở mọi chỗ. Chuyện này tôi mang từ mấy dự án database sang.

Anh em hình dung, khi tôi làm với những tập đoàn của tôi, các hệ thống core chứng khoán, ngân hàng, bệnh viện, viễn thông, thì phương án nào cũng đã test chán chê ở môi trường thử nghiệm, UAT các kiểu rồi. Nhưng khi đưa lên môi trường chạy thật, có người dùng thật, tiền thật, giao dịch thật, thì trong kịch bản triển khai của tôi bao giờ cũng có một câu hỏi bắt buộc: bước này có quay đầu được không? Thuật ngữ là rollback được không. Nếu làm sai thì tôi có cách nào quay lui không? Và nếu có sự cố thì mức ảnh hưởng nghiêm trọng tới đâu, có làm dừng hoạt động hệ thống không? Ngân hàng mà dừng hoạt động thì rất to chuyện, đúng không ạ?

Đưa AI vào doanh nghiệp mình cũng phải lường đúng như thế. Tôi ví dụ anh em cho AI soạn email báo giá rồi gửi cho đối tác. Gửi xong người ta nhận được rồi thì anh em quay đầu vào đâu? Chỉ còn nước gửi thư xin lỗi thôi.

Nên chỗ nào không quay đầu được, hoặc sai thì hậu quả nghiêm trọng, chỗ đó phải có người duyệt. Người này có thể là mình, có thể là nhân viên của mình. Agent làm xong thì bắn qua Telegram hay kênh nào đấy cho người duyệt, thoải mái. Ý là hãy kiểm ở những khâu quan trọng.

Anh em phân loại nhanh theo bảng này:

Mức	Đặc điểm	Ví dụ việc	Đặt người duyệt ở đâu
Quay đầu được	Sai thì sửa lại, không ai ngoài công ty nhìn thấy	Viết nháp bài, gom dữ liệu, dựng báo cáo nội bộ, đổi tên file	Không cần. Để agent tự kiểm rồi chạy.
Quay đầu được nhưng tốn công	Sửa được nhưng có người ngoài đã nhìn thấy	Đăng bài mạng xã hội, trả lời bình luận, sửa nội dung trang web đang chạy	Duyệt theo lô, xem nhanh rồi cho chạy hàng loạt.
Không quay đầu được	Gửi đi là xong, hoặc chạm vào tiền, dữ liệu gốc, cam kết với bên ngoài	Gửi email cho khách, gửi báo giá, xuất hóa đơn, xóa dữ liệu, chuyển tiền, đẩy code lên môi trường thật	Bắt buộc người duyệt từng cái. Không có ngoại lệ.

Làm được hai vòng kiểm này thì anh em được gì? Thứ nhất, số lần làm lại ít hẳn, vì bản thân nó đã hiểu rõ hơn thế nào là làm đúng. Thứ hai, mình yên tâm về chất lượng để đưa vào vận hành thật, chứ không phải làm cho vui.

Giới hạn thật

Tôi nói luôn mấy chỗ cách này không giải quyết được, để anh em khỏi kỳ vọng sai.

Tiêu chí định lượng không phủ được mọi thứ. Bài viết hay hay dở, giọng văn có đúng chất mình không, cái đó máy chấm không thay người được. Chỗ đó vẫn phải là người đọc.

Kiểm tra độc lập chỉ làm được ở chỗ có công cụ kiểm chứng. Có link thì bấm được, có database thì truy vấn được, có file gốc thì đối chiếu được. Còn thứ chỉ nằm trong đầu người thì chịu, phải đưa ra người duyệt.

Hai vòng kiểm cũng làm việc chạy chậm hơn một chút và tốn thêm tiền token cho phần tự kiểm. Đổi lại là bớt làm lại. Với việc quan trọng thì đổi thế là quá lời, còn việc lặt vặt trong nội bộ thì anh em không cần nhét đủ sáu tiêu chí làm gì.

Và cái này quan trọng: tiêu chí không thay được nghiệp vụ. Mình phải biết thế nào là một cái báo giá đúng thì mới viết được tiêu chí cho nó. Ai không nắm việc của mình thì viết tiêu chí cũng sai nốt.

Bảy ngày tới anh em làm được gì?

Chọn đúng một việc đang giao cho AI mà hay phải làm lại nhất. Một thôi.
Viết ra giấy đầu ra thế nào là đạt. Viết dưới dạng đếm được, so được, bấm vào thử được. Nhắm khoảng ba tới sáu tiêu chí.
Viết thêm một dòng: nếu tiêu chí nào trượt thì làm lại đúng phần đó, các phần đã đạt giữ nguyên.
Nhìn lại bộ tiêu chí, khoanh những cái mà một câu lệnh hoặc một cú bấm chuột kiểm được. Bắt nó kiểm bằng hành động độc lập, đừng để nó tự chấm.
Hỏi một câu cho từng bước: bước này quay đầu được không? Chỗ nào không quay đầu được thì chèn người duyệt vào trước.
Cho chạy thật vài ba lần, đếm số lần phải làm lại trước và sau. Con số đó nói cho anh em biết cách này có ăn thua không.

Cứ làm đi. Sai lại sửa.

Câu hỏi hay gặp

Tôi không biết code thì làm được không? Được. Toàn bộ phần trên đi từ nghiệp vụ chứ không đi từ công nghệ. Anh em chỉ cần biết việc của mình thế nào là làm xong, viết nó ra thành mấy dòng đếm được. Người biết việc mới viết được tiêu chí, chứ không phải người biết code.

Vậy tôi có phải học viết prompt cho chuẩn không? Bản chất nó không bao giờ là prompt. Nếu anh em hiểu cách này thì không cần mẫu prompt nào vẫn chiến được. Cái quyết định là đầu ra đạt hay không đạt, chứ không phải câu chữ đầu vào đẹp hay xấu.

Bao nhiêu tiêu chí là đủ? Đủ để mình nghiệm thu được, thế thôi. Việc trong nội bộ thì hai ba cái. Việc chạm ra bên ngoài thì nhiều hơn. Chỗ tôi hay dùng khoảng sáu cái cho một đầu việc.

Nó báo đạt 6/6 rồi mà vẫn ra kết quả sai thì sao? Thì thường là tiêu chí của mình chưa đo đúng thứ mình cần, hoặc tiêu chí đó đang để nó tự chấm. Xem lại hai chỗ đấy trước khi đổ cho model.

Dùng con AI nào thì hợp? Chỗ này ít quan trọng hơn anh em nghĩ. Các model càng ngày càng ngon. Anh em cứ lo phần đầu ra của mình cho chuẩn, còn khúc giữa thì kệ nó làm.

Đúc kết

Muốn làm việc với AI cho hiệu quả thì anh em bắt đầu hơi ngược một chút. Bắt đầu từ kết quả cuối cùng mình muốn. Thế nào là đúng, thế nào là không đúng, mô tả cái đó ra trước, rồi mới quay lại viết đề bài. Còn khúc ở giữa thì kệ nó, vì các model càng ngày càng giỏi.

Và nhớ hai lượt kiểm: agent tự kiểm bằng tiêu chí định lượng, sau đó người duyệt ở những bước không quay lui được.

Anh em đang mắc ở khâu nào khi giao việc cho AI thì để lại bình luận dưới video, tôi đọc hết. Còn muốn tôi đồng hành sâu hơn thì xem chương trình Coaching Agentic AI của tôi, link tôi để dưới video. Tùy anh em.