Xin chào anh em. Có một bài báo nghiên cứu của NVIDIA nói rằng tương lai của AI Agent không nằm ở mô hình ngôn ngữ lớn, mà nằm ở Small Language Model, tức mô hình ngôn ngữ nhỏ. Nghe thì giật mình, vì chính NVIDIA là ông bán phần cứng cho cuộc đua làm mô hình to. Bài này tôi đi hết ba luận điểm của họ, dẫn lại đúng số liệu trong bài báo gốc, chỉ ra bộ combo mà NVIDIA đã bày sẵn phía sau, và quan trọng nhất là nói cả phần phản biện. Anh em đọc xong sẽ tự trả lời được một câu rất thực tế: cái con AI đang chạy trong quy trình của mình, có cần to như hiện tại không.
Video gốc dài 30 phút, tôi đi theo dòng thời gian từ năm 2015 tới nay. Bài viết này bổ sung ba thứ video không có: trích dẫn nguyên văn từ bài báo gốc, phần phản biện mà chính nhóm tác giả tự nêu, và một khối tự kiểm anh em chép về dùng luôn.
Bài viết này đi qua những gì?
Bảy chặng, theo đúng thứ tự nên đọc:
- NVIDIA "tuyên bố" ở mức nào, ai ký tên, ngày nào
- Chưng cất tri thức từ 2015, gốc rễ của cả câu chuyện
- Hai mốc chứng minh mô hình nhỏ làm được việc: BERT 2018 và DistilBERT 2019
- Vì sao cả ngành vẫn đua làm mô hình to, và chỗ hở trong luật scale
- Ba luận điểm của bài báo NVIDIA, kèm dẫn chứng và con số
- Bộ combo phần cứng, model, phần mềm mà NVIDIA đã bày sẵn
- Phản biện, giới hạn thật, và việc anh em làm được trong bảy ngày
NVIDIA có thật sự tuyên bố tương lai AI Agent không phải LLM không?
Nói cho chuẩn: đây là một bài báo nghiên cứu dạng position paper của tám tác giả thuộc NVIDIA Research, không phải chính sách sản phẩm của hãng. Chỗ này quan trọng, tôi nói rõ ngay từ đầu để anh em không hiểu nhầm.
Tên bài là Small Language Models are the Future of Agentic AI. Tác giả gồm Peter Belcak, Greg Heinrich, Shizhe Diao, Yonggan Fu, Xin Dong, Saurav Muralidharan, Yingyan Celine Lin và Pavlo Molchanov. Bản đầu lên arXiv ngày 02/06/2025, bản sửa thứ hai ngày 15/09/2025, mã arXiv:2506.02153. Chính bản 15/09/2025 là bản xuất hiện trong video.
Position paper là dạng bài nêu quan điểm rồi mời người khác phản biện. Nhóm tác giả viết thẳng trong phần tóm tắt rằng họ kêu gọi cả đóng góp lẫn phê bình, và cam kết đăng công khai toàn bộ thư từ trao đổi tại trang riêng của nhóm. Một hãng ra chính sách sản phẩm thì không viết như vậy.
Vậy thì họ nói gì? Ba câu, nguyên văn trong bài:
- Mô hình ngôn ngữ nhỏ về nguyên tắc đủ mạnh để gánh phần việc ngôn ngữ của các ứng dụng agent
- Mô hình ngôn ngữ nhỏ hợp về mặt vận hành với hệ thống agent hơn mô hình lớn
- Mô hình ngôn ngữ nhỏ rẻ hơn một cách tất yếu cho phần lớn lượt gọi trong hệ thống agent, chỉ vì nó nhỏ
Còn "nhỏ" là nhỏ tới đâu? Bài báo định nghĩa theo công năng chứ không theo con số: một mô hình nhỏ là mô hình nhét vừa một thiết bị điện tử phổ thông và chạy suy luận đủ nhanh để phục vụ các yêu cầu agent của một người dùng. Rồi họ quy ra số: tính tới năm 2025, phần lớn model dưới 10 tỷ tham số là mô hình nhỏ.
Chưng cất tri thức là gì và vì sao nó có từ 2015?
Chưng cất tri thức là cách lấy một mô hình lớn đã học xong làm thầy, rồi huấn luyện một mô hình nhỏ học lại phần tinh tuý của thầy, thay vì dạy mô hình nhỏ từ đầu.
Bài gốc là Distilling the Knowledge in a Neural Network, của Geoffrey Hinton, Oriol Vinyals và Jeff Dean, lên arXiv ngày 09/03/2015, mã arXiv:1503.02531. Hinton là người được giải Nobel Vật lý năm 2024. Trong phần mở đầu, các tác giả ví von bằng con sâu: ấu trùng thì tối ưu cho việc hút dinh dưỡng, con trưởng thành thì tối ưu cho việc bay và sinh sản, hai hình dạng cho hai nhiệm vụ khác nhau. Máy học cũng nên vậy. Giai đoạn huấn luyện cứ để mô hình cồng kềnh, còn giai đoạn đem ra dùng thì cần một thứ nhỏ gọn.
Bản chất nó là gì? Là hai vai. Ông giáo viên tốn nhiều tiền, nhiều tham số, huấn luyện lâu, độ chính xác cao. Ông học sinh ít tham số hơn, chạy tiết kiệm hơn, và học lại phần đúc kết của thầy. Tôi ví dụ cho dễ hình dung. Anh em thuê một ông chuyên gia hai mươi năm nghề về viết ra bộ quy trình, rồi giao bộ quy trình đó cho một bạn mới vào chạy hằng ngày. Bạn mới không giỏi bằng ông chuyên gia. Nhưng trên đúng phần việc đã được viết thành quy trình thì bạn ấy làm không thua bao nhiêu, mà lương thì khác hẳn.
Chuyện chưng cất năm 2026 còn thành tin lớn. Ngày 23/02/2026, Anthropic đăng bài Detecting and preventing distillation attacks, nói họ phát hiện ba phòng lab AI là DeepSeek, Moonshot và MiniMax đã chạy các chiến dịch quy mô công nghiệp để rút năng lực của Claude về cho model của mình. Con số Anthropic đưa ra: hơn 16 triệu lượt trao đổi, qua khoảng 24.000 tài khoản gian lận, nhắm đúng ba thứ là suy luận dạng agent, dùng tool và lập trình. Riêng DeepSeek là hơn 150.000 lượt.
Đáng chú ý là chính Anthropic cũng viết rõ trong bài đó: chưng cất là một phương pháp huấn luyện hợp pháp và phổ biến, các phòng lab đầu ngành vẫn tự chưng cất model của mình để ra bản nhỏ hơn, rẻ hơn cho khách. Cái họ tố là hành vi lập tài khoản gian lận để rút năng lực của model người khác, không phải tố kỹ thuật chưng cất.
Đấy. Nên khi NVIDIA nói mô hình nhỏ là tương lai, họ không phát minh ra ý tưởng gì mới. Họ đứng trên một nền đã có mười năm.
Bằng chứng nào cho thấy mô hình nhỏ làm được việc thật?
Có hai mốc phải đi qua, và cả hai đều có bảng số công khai.
Mốc 2018: máy vượt người trên bài kiểm đọc hiểu
Năm 2018 Google công bố BERT, mã arXiv:1810.04805. Trên bảng xếp hạng SQuAD 1.1, tức bộ bài kiểm đọc hiểu của Stanford, con số như sau: người thật đạt EM 82,304 và F1 91,221. BERT bản ensemble đạt EM 87,433 và F1 93,160.
Câu hỏi đặt ra ngay sau đó không phải là "máy giỏi chưa", mà là "có cần to thế không". Liệu có mô hình nào nhỏ hơn BERT mà vẫn giữ được năng lực gần bằng?
Mốc 2019: nhỏ hơn 40 phần trăm, nhanh hơn 60 phần trăm, giữ lại 97 phần trăm
Năm 2019 có hai câu trả lời gần như cùng lúc. Hugging Face ra DistilBERT, Huawei ra TinyBERT. Bản DistilBERT có kết luận rất gọn, ghi thẳng trong mục Conclusion and future work của bài báo: mô hình nhỏ hơn 40 phần trăm, nhanh hơn 60 phần trăm, và giữ lại 97 phần trăm năng lực hiểu ngôn ngữ.
Đến đây thì mọi thứ mới chỉ dừng ở "khả thi". Chưa ai bảo nên làm.
Vì sao cả ngành vẫn đua làm mô hình to?
Vì năm 2020 OpenAI công bố luật scale. Bài Scaling Laws for Neural Language Models, mã arXiv:2001.08361. Nội dung gọn lại: chất lượng của mô hình phụ thuộc ba yếu tố, số tham số của mô hình, kích thước tập dữ liệu tính bằng token, và năng lực tính toán. Cả ba đều theo quan hệ luỹ thừa. Đẩy cả ba lên cùng lúc thì kết quả tốt lên đều đặn.
Kết quả là cuộc đua. GPT-3 năm 2020 có 175 tỷ tham số. Microsoft cùng NVIDIA công bố Megatron-Turing NLG 530 tỷ tham số vào tháng 10/2021, bài báo lên arXiv tháng 01/2022. Google ra PaLM 540 tỷ tham số ngày 04/04/2022. Ông nào cũng phải to hơn ông trước.
Nhưng có một chữ trong bài của OpenAI mà ít người đọc kỹ: cùng một kiến trúc. Luật đó nói với cùng kiến trúc thì model lớn hơn sẽ tốt hơn. Nó không nói mọi model nhỏ đều thua mọi model lớn. Đổi kiến trúc thì bài toán khác.
Và năm 2023 Microsoft đưa ra bằng chứng đúng chỗ hở đó. Phi-2 chỉ 2,7 tỷ tham số. Theo bài báo của NVIDIA, Phi-2 đạt điểm suy luận thường thức và sinh mã ngang các model 30 tỷ tham số, trong khi chạy nhanh hơn khoảng 15 lần. Cái Microsoft đổi không phải số tham số. Họ đổi chất lượng dữ liệu huấn luyện.
| Năm | Cột mốc | Con số đáng nhớ |
|---|---|---|
| 2015 | Hinton, Vinyals, Dean công bố chưng cất tri thức | arXiv:1503.02531, ngày 09/03/2015 |
| 2018 | Google công bố BERT | SQuAD 1.1: người 82,304 EM, BERT 87,433 EM |
| 2019 | Hugging Face ra DistilBERT, Huawei ra TinyBERT | Nhỏ hơn 40%, nhanh hơn 60%, giữ 97% năng lực |
| 2020 | OpenAI công bố luật scale, GPT-3 ra mắt | GPT-3 175 tỷ tham số |
| 2021 tới 2022 | Megatron-Turing NLG, rồi PaLM | 530 tỷ rồi 540 tỷ tham số |
| 2023 | Microsoft ra Phi-2 | 2,7 tỷ tham số, ngang model 30 tỷ, nhanh hơn ~15 lần |
| 2025 | NVIDIA Research ra bài báo SLM cho Agentic AI | arXiv:2506.02153, bản sửa 15/09/2025 |
Ba luận điểm của bài báo NVIDIA là gì?
Mô hình nhỏ có đủ năng lực làm việc trong hệ agent không?
Câu trả lời của bài báo là có. Chỗ hay là họ lấy cả model của đối thủ ra làm chứng, chứ không dừng ở model của chính mình. Nếu chỉ khoe hàng nhà thì lập luận vứt đi.
| Model | Cỡ | Bài báo NVIDIA nói gì |
|---|---|---|
| NVIDIA Hymba-1.5B | 1,5 tỷ | Độ chính xác làm theo chỉ dẫn tốt nhất nhóm cùng cỡ, thông lượng token gấp 3,5 lần, vượt cả model 13 tỷ |
| DeepSeek-R1-Distill-Qwen-7B | 7 tỷ | Vượt Claude 3.5 Sonnet bản 1022 và GPT-4o bản 0513 ở suy luận thường thức |
| DeepMind RETRO-7.5B | 7,5 tỷ | Ngang GPT-3 175 tỷ ở mô hình hoá ngôn ngữ, dùng ít hơn 25 lần tham số |
| Salesforce xLAM-2-8B | 8 tỷ | Dẫn đầu về gọi tool, vượt GPT-4o và Claude 3.5 |
| Microsoft Phi-3 small | 7 tỷ | Hiểu ngôn ngữ và suy luận ngang model tới 70 tỷ |
| NVIDIA Nemotron-H | 2 tới 9 tỷ | Làm theo chỉ dẫn và sinh mã ngang model dày 30 tỷ cùng thế hệ, tốn ít hơn một bậc về FLOPs |
Mô hình nhỏ có hợp với cách một hệ agent chạy không?
Bản chất nó là bài toán tuyển người, không phải bài toán công nghệ. Tôi ví dụ cái nhà hàng cho dễ hình dung.
Anh em mở nhà hàng, cần một người ngồi nhận đặt bàn. Khách nhắn tới, hỏi mấy giờ, mấy người, ghi vào sổ. Hết. Có hai phương án. Phương án A là thuê một ông chuyên gia đầu ngành nhà hàng, hai mươi năm nghề, có bằng MBA. Phương án B là thuê một bạn cộng tác viên làm theo giờ.
Ngoài đời không ai chọn A. Không phải vì ông A dở. Vì mình chỉ dùng đúng một phần rất nhỏ năng lực của ông ấy, mà trả tiền cho toàn bộ.
Gọi một model 175 tỷ tham số để bóc tách một dòng dữ liệu ra đúng định dạng JSON thì y hệt chuyện đó. Bài báo nói thẳng: trong hệ agent, phần lớn lượt gọi model là những việc hẹp, lặp đi lặp lại, biến thiên rất ít. Việc hẹp thì dùng người hẹp. Còn chỗ nào thật sự cần khả năng hội thoại tổng quát thì bài báo cũng có câu trả lời riêng, họ gọi là hệ agent không đồng nhất, tức một agent gọi nhiều model khác nhau tuỳ việc. Cách điều phối nhiều model trong một luồng thì tôi có chia sẻ kỹ ở bài dynamic workflow và điều phối subagent.
Mô hình nhỏ rẻ hơn bao nhiêu?
Con số của bài báo: phục vụ một model 7 tỷ tham số rẻ hơn 10 tới 30 lần so với model 70 tới 175 tỷ, tính trên cả ba mặt là độ trễ, điện năng và FLOPs.
Vì sao con số này lại đáng để cả một hãng phần cứng viết bài? Vì tiền đang đổ vào đây rất nhanh. Bài báo dẫn con số 57 tỷ đô đã được đầu tư vào hạ tầng cloud để chạy suy luận cho mô hình lớn. Và họ dẫn quy mô thị trường agent: khoảng 5,2 tỷ đô cuối năm 2024, dự kiến gần 200 tỷ đô vào năm 2034.
Anh em nhìn cái độ dốc đó đi. Khi tiền tăng theo kiểu này thì câu hỏi của mọi doanh nghiệp sẽ chuyển rất nhanh, từ "AI có làm được không" sang "AI làm việc này có đáng tiền không". Chuyện tính tiền cho từng lượt gọi model tôi có chia sẻ nguyên một bài riêng ở tối ưu chi phí token khi cho AI vận hành kênh YouTube.
NVIDIA bán gì phía sau bài báo đó?
Đây là chỗ tôi thấy thú vị nhất. Một ông đang kiếm tiền từ cuộc đua mô hình to lại đi nói mô hình nhỏ là tương lai. Nghe qua thì ngược. Ghép các mốc lại thì rất thuận.
| Thời điểm | Họ ra cái gì | Nó lấp chỗ nào |
|---|---|---|
| 06/01/2025, CES Las Vegas | Máy tính AI cá nhân để bàn, tên mã Project DIGITS, sau đổi thành DGX Spark | Phần cứng, để model chạy trên máy của chính mình |
| 15/12/2025 | Họ mô hình mở Nemotron 3, bản Nano ra trước | Model, kiến trúc lai Mamba với Transformer, cửa sổ ngữ cảnh 1 triệu token |
| 16/03/2026, GTC | NemoClaw, cùng cặp bài trùng DGX Spark và DGX Station | Phần mềm, để trợ lý chạy liên tục mà vẫn có hàng rào bảo mật |
Đi lần lượt.
Phần cứng trước. Ngày 06/01/2025 tại CES Las Vegas, NVIDIA giới thiệu một cỗ máy AI để bàn dưới tên mã Project DIGITS, sau đó đổi tên thành DGX Spark. Ý đồ rất rõ: một cá nhân hoặc một công ty nhỏ cũng mua được, cắm điện là chạy được model của họ. Giá niêm yết lúc mở bán là 3.999 đô, tới tháng 02/2026 nâng lên 4.699 đô.
Rồi tới model. Ngày 15/12/2025 NVIDIA ra họ mô hình mở Nemotron 3. Bản Nano ra trước, kiến trúc lai giữa Mamba và Transformer theo kiểu hỗn hợp chuyên gia, cửa sổ ngữ cảnh 1 triệu token. Cửa sổ ngữ cảnh là gì? Là lượng thông tin mà con AI giữ được trong đầu cho một phiên làm việc. Nó nhớ được nhiều thì nó làm đúng hơn, vì không phải đoán lại thứ mình vừa nói với nó.
Cuối cùng là phần mềm. Ngày 16/03/2026 tại GTC, NVIDIA công bố NemoClaw. Cái này bám thẳng vào OpenClaw, phần mềm mã nguồn mở đang được rất nhiều người dùng để tạo trợ lý chạy trên máy của mình.
Vì sao phải bọc? Vì OpenClaw có một điểm yếu ai dùng cũng thấy. Nó là mã nguồn mở, và khi anh em nối nó vào Gmail, vào dữ liệu nội bộ, vào máy tính cá nhân thì bề mặt tấn công rộng ra rất nhanh. Khoá API bị lấy mất là chuyện có thật. NemoClaw không thay OpenClaw. Nó đặt OpenClaw vào một cái hộp có chính sách mạng, có ảnh chụp trạng thái, có vòng đời quản được. Theo trang GitHub, ngoài OpenClaw thì nó còn chạy được Hermes và LangChain Deep Agents Code.
Cùng đợt đó có hai thứ nữa. DGX Spark hỗ trợ ghép cụm bốn máy. Và DGX Station ra mắt cho ai cần mạnh hơn hẳn.
Ghép lại thì ra một bộ trọn gói. Phần cứng có. Model có. Phần mềm chạy trợ lý có. Muốn mạnh hơn thì ghép cụm, hoặc lên đời máy. Bài báo khoa học kia không phải là kết luận. Nó là điểm khởi đầu của cả chuỗi.
Bài báo này có bị phản biện không?
Có, và điều tôi đánh giá cao là nhóm tác giả tự viết phần phản biện vào chính bài của mình. Họ nêu ba luồng phản đối, rồi trả lời từng luồng.
| Phản biện | Người phản đối nói gì | Nhóm tác giả trả lời ra sao |
|---|---|---|
| Model lớn luôn thắng | Với cùng một việc, model lớn bao giờ cũng làm tốt hơn model nhỏ | Luật scale giả định giữ nguyên kiến trúc. Đổi kiến trúc theo cỡ model thì kết quả khác. Model nhỏ còn tinh chỉnh lại được cho đúng việc, thứ mà luật scale không tính tới |
| Kinh tế theo quy mô | Lợi ích rẻ hơn trên mỗi token bị nuốt hết bởi lợi thế gom về một chỗ của các trung tâm dữ liệu lớn | Kỹ thuật xếp lịch suy luận và chia nhỏ hệ thống đã linh hoạt hơn nhiều. Chi phí dựng hạ tầng suy luận đang giảm đều |
| Quán tính của ngành | Hai thế giới đều có thể xảy ra, nhưng thế giới chạy bằng model lớn đã đi trước một quãng dài | Nhóm tác giả thừa nhận đây là phản biện có lý, chỉ lập luận rằng tổng các lợi thế đủ để vượt quán tính đó |
Ngoài bài báo, trang thư từ của nhóm hiện đăng một trao đổi, của Alexei Novikov thuộc Opplane, ngày 08/07/2025. Anh này nêu ba ý: các model suy luận thực chất vẫn là model thường được huấn luyện thêm về chuỗi tư duy nên vẫn đuối với bài toán ngoài dữ liệu huấn luyện, huấn luyện thêm phần suy luận thì tốn thêm tiền tính toán, và mô hình nhỏ trong luồng agent sẽ mở đường cho nhóm tổ chức không được phép đẩy dữ liệu ra dịch vụ bên ngoài. Peter Belcak thay mặt nhóm trả lời, xác nhận đúng là chuyện suy luận đang bị thổi lên thành thứ thay thế được cho việc thiết kế luồng agent tử tế, và đó là cách hiểu sai.
Tôi thêm hai điều nữa của riêng tôi, để anh em cân cho đủ:
Một, cái tên "NVIDIA tuyên bố" là cách nói của báo chí, không phải của bài báo. Tám con người trong bộ phận nghiên cứu nêu quan điểm khoa học. Cùng lúc đó, chính hãng vẫn bán GB300 và vẫn bán hạ tầng cho các trung tâm dữ liệu chạy model khổng lồ. Hai việc không mâu thuẫn, nhưng đừng đọc bài báo như một lời tuyên bố đổi hướng của tập đoàn.
Hai, bản Nemotron 3 Nano có 31,6 tỷ tham số tổng, chỉ 3,6 tỷ hoạt động cho mỗi token. Nếu chiếu theo đúng ngưỡng 10 tỷ tham số mà bài báo tự đặt ra thì cách tính đã khác đi rồi. Kiến trúc hỗn hợp chuyên gia làm ranh giới "nhỏ" với "lớn" nhoè đi. Đây không phải lỗi của ai, đây là ngành đang chạy nhanh hơn định nghĩa của chính nó.
Anh em tự kiểm bằng cách nào?
Bài báo có một phần rất thực dụng mà tiêu đề không nói: quy trình sáu bước chuyển một chặng đang gọi model lớn sang model nhỏ. Tôi viết lại thành đề bài giao cho chính con agent của anh em tự soi mình. Chép về, sửa tên hệ thống rồi chạy.
VAI: mày là kỹ sư vận hành hệ thống AI Agent của anh.
MỤC TIÊU: tìm những chặng gọi model đang phí tiền, KHÔNG được tự ý đổi model.
BƯỚC 1. GHI SỔ
Bật ghi log toàn bộ lượt gọi model KHÔNG có người ngồi đọc trực tiếp.
Mỗi dòng ghi: prompt vào, kết quả ra, tool đã gọi, độ trễ, số token vào ra.
Chạy tối thiểu 14 ngày. Dưới 10.000 lượt thì chưa đủ để kết luận.
BƯỚC 2. DỌN DỮ LIỆU
Gỡ sạch thông tin cá nhân, thông tin sức khoẻ, số hợp đồng, tên khách hàng.
Chưa dọn xong thì tuyệt đối không đưa dữ liệu đó đi tinh chỉnh ở đâu cả.
BƯỚC 3. GOM NHÓM VIỆC
Gom các lượt gọi thành nhóm theo dạng việc.
Với từng nhóm, trả lời cho anh ba câu:
[1] Đầu ra có khuôn cố định không, ví dụ JSON theo đúng một lược đồ
[2] Đề bài có biến thiên nhiều không, hay lặp gần như nguyên si
[3] Có cần kiến thức ngoài phạm vi dữ liệu của công ty không
Ba câu này quyết định nhóm nào đáng hạ cỡ model.
BƯỚC 4. CHỌN ỨNG VIÊN
Với mỗi nhóm việc đáng hạ, đề xuất 2 model nhỏ ứng viên.
Nêu rõ giấy phép, nơi chạy được, điểm trên bài kiểm đúng loại việc đó.
Cấm chọn theo bảng xếp hạng tổng. Chọn theo đúng loại việc.
BƯỚC 5. CHẠY SONG SONG, ĐỪNG THAY THẲNG
Dựng bộ dữ liệu riêng cho từng nhóm việc rồi tinh chỉnh model nhỏ.
Cho chạy song song với model đang dùng, so trên cùng một tập đề.
Tiêu chí nghiệm thu anh chốt: sai lệch kết quả dưới 2 phần trăm
và độ trễ không tệ hơn bản đang chạy.
Không đạt cả hai thì giữ nguyên model cũ và báo lại cho anh.
BƯỚC 6. LẶP LẠI
Mỗi quý huấn luyện lại bằng dữ liệu mới.
Ghi lại số tiền tiết kiệm được theo từng nhóm việc, không ghi tổng.
ĐẦU RA: một bảng gồm cột nhóm việc, số lượt mỗi tháng, model đang dùng,
model nhỏ đề xuất, chênh lệch chất lượng, chênh lệch tiền.
Cột nào chưa đo được thì để trống, cấm điền số ước lượng.Cái khối này cố ý viết theo hướng siết chứ không phải hướng mở. Vì rủi ro lớn nhất khi nghe xong bài báo này không phải là không đổi model. Rủi ro lớn nhất là đổi ào ạt rồi chất lượng tụt mà không ai đo được.
Giới hạn thật của chuyện này là gì?
Đây là phần tôi luôn viết, vì nó là thứ phân biệt người đã làm với người đọc tài liệu rồi kể lại.
Bài báo không nói mọi chỗ đều nên dùng model nhỏ. Nó nói phần lớn lượt gọi trong hệ agent nên dùng model nhỏ. Hai câu đó khác nhau. Chặng nào cần hội thoại tự nhiên với khách, cần suy luận dài nhiều bước, cần xử lý đề bài chưa từng gặp thì vẫn phải là model lớn.
Muốn hạ cỡ model thì phải có dữ liệu vận hành trước đã. Quy trình sáu bước bắt đầu bằng việc ghi log, chứ không bắt đầu bằng việc chọn model. Công ty chưa chạy agent thật thì chưa có gì để gom nhóm, chưa có gì để tinh chỉnh. Bước đi trước của anh em là dựng cho được một quy trình chạy thật đã, tôi có chia sẻ ba bước ở bài đội ngũ AI Agent vận hành cả công ty.
Tinh chỉnh không miễn phí. Rẻ hơn 10 tới 30 lần là nói về chi phí phục vụ, tức lúc chạy. Còn công dọn dữ liệu, công tinh chỉnh, công dựng bộ đề nghiệm thu, công vận hành thêm một model nữa thì tính riêng. Việc mỗi tháng chạy vài trăm lượt thì đừng đụng vào, không bõ.
Đầu tư phần cứng là chuyện sau cùng, không phải chuyện đầu tiên. Trong video tôi nói thẳng và ở đây tôi nhắc lại: đừng mua máy. Cứ mua khoá API của các hãng, dùng bao nhiêu trả bấy nhiêu. Chỉ khi nào đo được là chi phí lặp lại đủ lớn, hoặc dữ liệu ràng buộc không cho ra ngoài, thì mới tính tới chuyện tự dựng.
Thói quen đo trước khi tối ưu không phải chuyện riêng của AI. Bên database tôi gặp đúng kiểu này suốt mười mấy năm, người ta thêm index rồi đổi máy chủ trước khi đo xem câu lệnh chậm ở đâu. Cách tiếp cận thì y hệt, tôi có chia sẻ ở tối ưu SQL nên bắt đầu từ đâu và ở vì sao có index mà SQL vẫn chậm. Đổi model mà không đo thì cũng là một dạng thêm index cho vui.
Bảy ngày tới anh em làm được gì?
Không cần mua gì cả, không cần đổi model nào cả. Bảy việc, làm theo thứ tự:
- Liệt kê ra giấy mọi chặng trong công ty đang gọi AI, mỗi chặng một dòng
- Đánh dấu chặng nào không có người ngồi đọc kết quả, đó là chặng ứng viên
- Với từng chặng ứng viên, ghi đầu ra có phải khuôn cố định không
- Bật ghi log số lượt và số token cho đúng những chặng đó, chưa cần làm gì thêm
- Sau bảy ngày, nhân số lượt lên thành con số tháng, rồi nhân với đơn giá đang trả
- Xếp các chặng theo số tiền, lấy đúng một chặng đắt nhất và đơn giản nhất
- Chạy thử một model nhỏ song song trên đúng chặng đó, so trên cùng tập đề
Hết bảy ngày anh em sẽ có một con số thật của công ty mình, thay vì con số 10 tới 30 lần của bài báo. Cứ làm đi, sai lại sửa.
Câu hỏi hay gặp
Small Language Model là gì, nhỏ tới đâu thì gọi là nhỏ? Theo bài báo của NVIDIA Research, mô hình nhỏ là mô hình nhét vừa một thiết bị điện tử phổ thông và chạy đủ nhanh để phục vụ các yêu cầu agent của một người dùng. Quy ra số thì tính tới năm 2025, phần lớn model dưới 10 tỷ tham số được xếp vào nhóm này.
Dùng model nhỏ thì chất lượng có tụt không? Trên việc hẹp và lặp lại thì gần như không, nếu có tinh chỉnh. DistilBERT năm 2019 giữ 97 phần trăm năng lực với 60 phần trăm dung lượng. Trên việc mở, cần suy luận dài hoặc kiến thức tổng quát thì có tụt, và tụt rõ. Nên chọn theo việc, đừng chọn theo bảng xếp hạng.
Doanh nghiệp nhỏ có cần mua DGX Spark hay DGX Station không? Không. Cứ mua khoá API, dùng bao nhiêu trả bấy nhiêu. Phần cứng chỉ đáng tính khi chi phí lặp lại đã đủ lớn, hoặc khi dữ liệu bị ràng buộc không cho đẩy ra ngoài.
Có phải NVIDIA đổi chiến lược, không bán cho mô hình lớn nữa không? Không phải. Đó là bài báo nêu quan điểm của tám tác giả trong bộ phận nghiên cứu, không phải chính sách sản phẩm. Cùng thời điểm đó hãng vẫn bán DGX Station chạy được model mở tới 1 nghìn tỷ tham số.
Việc nào trong doanh nghiệp hợp nhất với model nhỏ? Việc có đầu vào và đầu ra đóng khuôn, lặp hằng ngày, phạm vi hẹp. Bóc tách chứng từ, chuẩn hoá dữ liệu về đúng định dạng, phân loại đơn, điền vào ô. Một ví dụ chạy thật tôi có chia sẻ ở bài AI Agent kiểm tra hoá đơn đầu vào.
Chọn model theo tiêu chí nào cho đỡ sai? Theo đúng loại việc, không theo điểm tổng. Và đừng bám vào một model duy nhất, vì vòng đời model bây giờ tính bằng tháng. Cách tôi nhìn chuyện đổi đời model tôi có phân tích ở bài Claude Fable 5 và ba thay đổi cho doanh nghiệp. Chuyện kiến trúc quyết định hiệu năng chứ không phải cỡ, bên database cũng đúng y như vậy, tôi có phân tích ở bài MongoDB lúc nhanh lúc chậm.
Đúc kết ở đây là gì?
Thứ nhất, câu "tương lai AI Agent không phải LLM" là lập luận trong một bài báo nghiên cứu, không phải lời tuyên bố đổi hướng của tập đoàn NVIDIA. Đọc đúng mức đó thì mới dùng được nó.
Thứ hai, phần đáng mang về không nằm ở kết luận mà nằm ở cách hỏi. Mỗi chặng gọi AI trong công ty, việc đó hẹp hay rộng, lặp hay biến thiên, có người đọc hay chạy ngầm. Trả lời được bốn câu đó thì tự biết chặng nào đang phí tiền.
Thứ ba, tất cả đã sẵn sàng rồi. Phần cứng có, model mở có, phần mềm chạy trợ lý có, và giá thì đang giảm. Thứ còn thiếu không phải công nghệ. Thứ còn thiếu là một quy trình của chính anh em, viết ra đủ rõ để giao cho máy.
Tôi và công ty đang dồn nguồn lực vào mảng Agentic AI này, và có một chương trình coaching đi từ bản chất chứ không đi từ tool. Anh em thấy phù hợp thì xem thêm, không thì cứ lấy khối tự kiểm phía trên mà chạy trước. Phong cách nào cũng được.
Nguồn tham khảo
- Belcak, Heinrich, Diao, Fu, Dong, Muralidharan, Lin, Molchanov. Small Language Models are the Future of Agentic AI. arXiv:2506.02153, bản v2 ngày 15/09/2025. Đọc trên arXiv
- Trang bài báo và thư từ phản biện của NVIDIA Research. research.nvidia.com
- Hinton, Vinyals, Dean. Distilling the Knowledge in a Neural Network. arXiv:1503.02531, ngày 09/03/2015. Đọc trên arXiv
- Devlin, Chang, Lee, Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805. Đọc trên arXiv
- Sanh, Debut, Chaumond, Wolf. DistilBERT, a distilled version of BERT. arXiv:1910.01108. Đọc trên arXiv
- Kaplan và cộng sự. Scaling Laws for Neural Language Models. arXiv:2001.08361. Đọc trên arXiv
- Anthropic. Detecting and preventing distillation attacks, ngày 23/02/2026. Đọc trên anthropic.com
- NVIDIA. NVIDIA Debuts Nemotron 3 Family of Open Models, ngày 15/12/2025. Đọc trên nvidianews
- NVIDIA. NVIDIA Announces NemoClaw for the OpenClaw Community, ngày 16/03/2026. Đọc trên nvidianews
- Kho mã nguồn NemoClaw, giấy phép Apache 2.0. github.com/NVIDIA/NemoClaw
