Bộ nhớ AI Agent: vì sao AI hay quên và cách các hãng chữa

Bộ nhớ AI Agent là điểm yếu nằm ngay trong kiến trúc, chứ không phải lỗi của hãng nào. Bài này đi từ bài báo năm 2017 dựng ra Transformer, qua hai bài báo năm 2023 mở đường cho việc ghi nhớ, rồi tới chỗ OpenAI, Google, Anthropic và mấy hệ mã nguồn mở đang chữa. Cuối bài có mẫu chính sách bộ nhớ chép về dùng luôn.

Video gốc tôi quay ngày 22/04/2026, dài 33 phút. Bài này thêm phần video không nói kịp: số liệu gốc của từng bài báo, bảng so sánh năm cách tiếp cận, và mẫu chính sách bộ nhớ.

Vì sao AI Agent hay quên những thứ anh em vừa dặn?

AI quên vì trong kiến trúc gốc của nó không có chỗ nào để lưu. Đây là câu trả lời gọn nhất. Không phải hãng làm ẩu, không phải anh em prompt sai.

Anh em hình dung thế này. Mọi công cụ AI hôm nay đều chạy trên một bộ não gọi là LLM, tức mô hình ngôn ngữ lớn. Bộ não đó dựng trên kiến trúc Transformer, công bố năm 2017 trong bài báo Attention Is All You Need. Mọi thứ anh em đang dùng hôm nay đều là con cháu của nó.

Nhưng anh em nhìn kỹ vào sơ đồ kiến trúc mà xem.

Vào một đoạn text, chạy qua một loạt phép tính, đẻ ra một đoạn text khác. Hết. Trong toàn bộ đường đi đó không có chỗ nào ghi lại thông tin để lần sau lấy ra dùng. Nên bản chất là gì ạ? Nó không có khả năng nhớ. Cái mà anh em tưởng là nhớ, thật ra là hệ thống bên ngoài nhét lại lịch sử chat vào đầu vào mỗi lượt.

Được chưa ạ? Hiểu đúng chỗ này thì mới hiểu vì sao mọi hãng đều phải đi vòng.

Vì sao tới thời Agentic AI thì trí nhớ mới thành chuyện sống còn?

Vì thời GenAI thì AI nói, còn thời Agentic AI thì AI làm. Quên một câu trong lúc nói thì mất công gõ lại. Quên một bước trong lúc làm thì hỏng việc thật.

Tôi ví dụ cho dễ. Anh em chat với ChatGPT, nó gợi ý ý tưởng, anh em đọc rồi tự đi làm. Nó quên thì nhắc lại, mất ba mươi giây. Còn Agentic AI là AI hành động. Anh em giao việc, nó tự làm, một phiên có thể kéo bốn năm tiếng liên tục.

Bốn tiếng đó nó phải nhớ đề bài, nhớ kết quả từng bước, nhớ chỗ vừa sai để đừng sai lại. Quên giữa chừng là nó làm sai. Mà nó làm sai thì anh em lãnh đủ.

Cho nên hãng nào rồi cũng sẽ đẩy mạnh phần bộ nhớ. Đây là việc bắt buộc. Tôi có chia sẻ kỹ chuyện giao việc cho cả một đội agent trong bài AI Agent vận hành doanh nghiệp.

Hai bài báo nào nằm dưới mọi hệ thống ghi nhớ hôm nay?

Có hai bài báo, cùng ra năm 2023. Một bài lo chuyện agent nhớ cái gì. Một bài lo chuyện nhét chỗ nào cho đủ.

CoALA nói gì mà quan trọng đến thế?

CoALA nói rằng muốn agent thông minh thì đừng chỉ chờ thuật toán giỏi hơn, mà hãy dựng cho nó một hệ thống bộ nhớ mô phỏng bộ nhớ con người.

Tên đầy đủ là Cognitive Architectures for Language Agents, của Sumers, Yao, Narasimhan và Griffiths ở Princeton. Đáng chú ý: Yao và Narasimhan cũng là tác giả ReAct, bài báo dựng nên lối suy luận rồi hành động rồi nhìn lại mà mọi agent hôm nay đang chạy.

Nhóm này hay ở chỗ họ không tự sáng chế thứ mới. Họ đi tìm xem lịch sử đã có ai thử mô phỏng trí nhớ con người chưa, và tìm ra Soar, một kiến trúc nhận thức từ năm 1987. Soar chia trí nhớ con người thành bốn loại.

Đây là bốn loại đó, dịch sang ngôn ngữ của người đi làm.

Ba loại dưới là trí nhớ dài hạn. Loại đầu là ngắn hạn.

Vấn đề của Soar nằm ở chỗ hồi đó máy chưa hiểu tiếng người, nên muốn nó nhớ thì phải viết luật. Nếu điều kiện X thì hành động Y. Mà đời thật có vô vàn tình huống, viết bao nhiêu luật cũng không đủ. Dự án dừng ở đó.

Rồi LLM ra đời. Anh em thấy chuyện thú vị chưa? Đúng điểm chết của Soar lại là điểm mạnh nhất của LLM: hiểu ngôn ngữ tự nhiên, xử lý linh hoạt, khỏi cần luật cứng. Ngược lại, đúng điểm chết của LLM lại là điểm mạnh của Soar: một kiến trúc bộ nhớ dài hạn có cấu trúc. Hai ông này ghép vào nhau là ra CoALA.

Khung CoALA gọn lại còn ba trụ, tôi diễn lại bằng tiếng người đi làm:

1. Nhớ. Cái gì vào bộ nhớ tạm, cái gì đẩy xuống bộ nhớ dài hạn.
2. Làm được gì. Hành động nội tại là đọc và ghi bộ nhớ. Hành động bên ngoài là gọi API, duyệt web, chạy code, nói chuyện với người.
3. Quyết định. Bộ não đề xuất vài hành động, chấm điểm, chọn một cái. Chưa hài lòng thì chạy lại vòng nữa.

Vòng lặp ở trụ ba là chỗ đáng tiền. Nó lấy thông tin từ bộ nhớ dài hạn, đưa vào bộ nhớ tạm, xào nấu ra kết luận mới, rồi ghi kết luận đó ngược trở lại bộ nhớ dài hạn. Nghĩa là nó học được. Chỉ thêm đúng một bước học lại thôi, về sau nó làm được rất nhiều thứ.

Ngôi làng 25 agent của Stanford chứng minh điều gì?

Nó chứng minh rằng cho agent một dòng ký ức thì hành vi xã hội tự nảy ra, khỏi cần ai lập trình từng bước.

Đây là dự án Generative Agents của Stanford, công bố tại hội nghị UIST năm 2023. Nhóm tác giả dựng thị trấn ảo tên Smallville, thả vào 25 agent, mỗi ông một cuộc đời, một nghề, một mối quan hệ, rồi để chúng tự sống.

Con số đo được đáng nhớ. Ban đầu chỉ một agent biết Isabella định mở tiệc Valentine, tức 4%. Sau hai ngày trong game, 13 agent biết, tức 52%. Mật độ quan hệ trong mạng lưới tăng từ 0,167 lên 0,74. Ngày tiệc, 5 trong 12 agent được mời có mặt thật. Không ai viết kịch bản cho ông nào cả.

MemGPT chữa chuyện gì mà CoALA chưa chữa?

MemGPT chữa chuyện cái đầu của LLM có trần cứng. Biết nhớ cái gì là một chuyện. Nhét được bao nhiêu vào đầu lại là chuyện khác.

Bài báo tên MemGPT: Towards LLMs as Operating Systems, của Charles Packer và cộng sự ở UC Berkeley, ngày 12/10/2023. Vấn đề họ nêu là context window, tức cửa sổ ngữ cảnh.

Anh em hình dung context window như cái thùng nước. Tối đa chỉ chứa được bằng đó. Đổ thêm thì phần trước tràn ra ngoài, tức là quên.

Đến đây nhiều người sẽ hỏi: các hãng nhiều tiền thế, sao không nới thùng cho to? Nới được chứ. Nhưng nới xong nó vẫn tệ. Đây mới là chỗ đau.

Có một nghiên cứu riêng cho chuyện này, tên Lost in the Middle của Nelson F. Liu và cộng sự. Họ đo và thấy một đường cong hình chữ U rất rõ: mô hình dùng tốt thông tin nằm ở đầu và ở cuối ngữ cảnh, còn thông tin ở giữa thì nó bỏ sót. Lý do dễ hiểu: tài liệu con người viết ra vốn để trọng tâm ở tiêu đề và ở kết luận, nên mô hình học theo thói quen đó.

Con số đo trên bài toán hỏi đáp nhiều tài liệu: đặt thông tin cần thiết vào giữa thì GPT 3.5 Turbo tụt hơn 20%, có trường hợp còn thấp hơn cả khi không đưa tài liệu nào (56,1%). GPT 4 cũng cong hình chữ U y hệt.

Nên anh em nhớ giúp tôi: nhồi thêm ngữ cảnh không phải là cách chữa bệnh quên.

Vậy lịch sử đã ai gặp bài toán bộ nhớ hữu hạn mà muốn nhớ nhiều hơn chưa? Có rồi. Bộ nhớ ảo, virtual memory, kinh điển trong hệ điều hành. RAM máy anh em 16 GB thôi, nhưng ổ cứng thì 1 TB, 2 TB. Hệ điều hành đẩy qua đẩy lại giữa hai chỗ, người dùng thấy như thể máy có bộ nhớ vô hạn. MemGPT bê nguyên tư tưởng đó sang, chia hai tầng:

Rồi họ viết các hàm để chính bộ não tự quản lý bộ nhớ của mình. Sắp đầy thì tự đẩy bớt xuống. Cần lại thì tự tìm mà kéo lên.

Gộp hai bài báo lại thì được bức tranh đầy đủ. CoALA trả lời câu hỏi nhớ cái gì và nhớ theo mấy tầng. MemGPT trả lời câu hỏi nhét chỗ nào khi đầu đã đầy.

Các hãng đang chữa bệnh quên bằng cách nào?

Mỗi hãng chữa theo thế mạnh sẵn có, nhưng cả năm cách đều nằm gọn trong tư tưởng của hai bài báo trên.

OpenAI ghi nhớ ra sao?

ChatGPT tự trích xuất rồi lưu thông tin từ lịch sử chat. Vào phần cài đặt là thấy toàn bộ những gì nó đã ghi. Cái lợi thấy ngay: mở phiên mới, khỏi phải mô tả lại đang làm dự án nào.

Chỗ yếu nằm ở thời gian. Nó lưu nội dung nhưng không đánh dấu mốc, nên chính nó cũng không phân biệt được điều này ghi từ năm ngoái hay hôm nay. Thông tin hay đổi thì chuyện này gây phiền.

Google ghi nhớ ra sao?

Google đi bằng thế mạnh riêng: hệ sinh thái. Người dùng đăng nhập bằng Gmail, và sau Gmail là Calendar, Drive, Keep, Tasks, Tài liệu, YouTube. Cả một kho dữ liệu cá nhân có sẵn.

Bật xong thì anh em hỏi thẳng lịch làm việc thứ Năm tuần này, nó chọc vào Google Calendar rồi trả lời. Hỏi email mới nhất, nó chọc vào Gmail.

Anh em thấy tư tưởng chưa? Đây đúng là external context của MemGPT. Nó không nhớ trong đầu. Nó biết chỗ để đi lấy.

Anthropic ghi nhớ ra sao?

Claude gom theo project. Anh em tạo một project, mọi phiên chat trong đó dùng chung một vùng nhớ.

Nguồn dữ liệu có hai đường: lịch sử chat trong project, và các file anh em tải lên. Chỗ yếu duy nhất là anh em phải tự định nghĩa. Tải file lên rồi thì phải nói rõ file đó là gì, để làm gì. Nó không tự đoán hộ.

Hermes Agent ghi nhớ ra sao?

Hermes Agent là hướng mã nguồn mở, và cái hay là nó tự ghi nhớ mà anh em chẳng phải ra lệnh gì. Tôi đang tích hợp nó trong hệ thống trợ lý của mình.

Còn một thứ đáng giá hơn. Khi anh em bắt nó làm đi làm lại một quy trình nhiều lần, nó tự đúc kết quy trình đó thành một skill. Tôi ví dụ nghề viết nội dung: nghiên cứu đối thủ, phân tích hook, dựng CTA. Làm vài lần thì nó gói lại thành skill. Sau đó chỉ cần bảo viết nội dung cho tôi, nó tự gọi skill đó ra chạy.

Anh em để ý chưa ạ? Đây chính là procedural memory trong bảng bốn loại bộ nhớ ở trên. Từ lý thuyết Soar năm 1987 xuống tới một con bot chạy thật, đúng một đường thẳng.

OpenClaw ghi nhớ ra sao?

OpenClaw ghi nhớ bằng cách viết ra file Markdown ngay trong không gian làm việc của agent. Markdown bản chất là file text. Không có trạng thái ẩn nào cả, cái gì ghi xuống đĩa thì nó nhớ. Tài liệu của nó nêu ba file:

MEMORY.md              [1] Bo nho dai han. Su that ben, so thich, quyet dinh.
                           Nap vao o dau moi phien.
memory/YYYY-MM-DD.md   [2] Nhat ky tung ngay. Ngu canh dang chay va quan sat.
                           Hom nay va hom qua tu dong duoc nap.
DREAMS.md              [3] Khong bat buoc. Ban tong hop de nguoi doc soat lai.

Cách này thô nhưng dễ kiểm. Anh em mở file ra là thấy nó nhớ gì, sai thì sửa tay.

Chính sách bộ nhớ nên viết ra sao?

Chính sách bộ nhớ là văn bản trả lời ba câu: nhớ cái gì, cấm nhớ cái gì, xoá khi nào. Thiếu nó thì agent nhớ tất, mà nhớ tất thì vô nghĩa. Đây là mẫu tôi dùng. Anh em chép về, dán vào Instructions của project hoặc vào MEMORY.md, rồi sửa theo nghiệp vụ của mình.

CHINH SACH BO NHO CHO TRO LY

[1] NHO NHUNG THU NAY
    Su that ben ve cong ty: san pham dang ban, ten quy trinh noi bo,
    dinh dang bao cao toi muon nhan.
    So thich cach lam viec: do dai cau tra loi, ngon ngu, kieu trinh bay.
    Ket qua da nghiem thu: viec nao chay dung, tham so nao dung.
    Loi da mac: mo ta loi va cach da chua, de lan sau khong lap lai.

[2] CAM NHO NHUNG THU NAY
    Mat khau, token, khoa API, chuoi ket noi co san mat khau.
    So tai khoan, so the, thong tin thanh toan.
    Du lieu ca nhan cua khach hang va cua nhan su.
    Con so kinh doanh chua cong bo: doanh thu, ty le chot, gia von.
    Neu toi lo dan mot trong nhung thu tren vao hoi thoai,
    dung ghi vao bo nho, va bao lai cho toi mot cau ngan.

[3] XOA KHI NAO
    Thong tin co thoi han: xoa ngay khi qua han.
    Thong tin mau thuan voi dieu moi hon: giu cai moi, bo cai cu.
    Moi muc ghi vao bo nho phai kem ngay ghi.
    Muc nao qua 90 ngay khong duoc dung lai thi de xuat xoa.

[4] CACH GHI
    Moi muc mot dong, viet nhu mot su that doc rieng van hieu.
    Khong ghi ca doan hoi thoai, chi ghi ket luan.
    Truoc khi ghi thi noi cho toi biet la sap ghi gi.

[5] CACH TOI NGHIEM THU
    Mo mot phien hoan toan moi.
    Hoi lai ba dieu toi da dan tu phien truoc.
    Tra loi dung ca ba thi bo nho dang chay dung.

Mục 2 quan trọng nhất mà hay bị bỏ qua nhất. Bộ nhớ tự động thì cũng tự động ghi luôn mấy thứ anh em không muốn ghi.

Điều gì sẽ xảy ra tiếp theo?

Bộ nhớ sẽ thành tài sản của công ty, chứ không còn là một tính năng tiện tay.

Vì sao ạ? Vì khi AI làm việc chứ không chat nữa, nó thành cộng sự trong công ty anh em. Nó tích luỹ dần: việc nào làm đúng, việc nào làm sai, điều gì công ty mình cần nhớ. Kho đó chính là tài sản.

Thứ hai, các mẩu ký ức sẽ có quan hệ với nhau. Hôm nay nó ghi rời rạc kiểu tôi làm việc A, tôi làm việc B. Về sau các mẩu đó nối lại thành mạng lưới. Lúc đó nó mới thật sự hiệu quả.

Thứ ba, ba năng lực đang gộp về một chỗ.

Bộ não LLM giờ suy luận được, lập trình được, xử lý hình ảnh được. Nó nhớ được lâu dài. Và nó thực hiện được công việc. Ba thứ chồng lên nhau thì sớm muộn nó vào rất nhiều công ty.

Lúc đó anh em phải chuyển vai. Từ người dùng công cụ AI sang người thiết kế hệ thống Agentic AI. Cụ thể là trả lời được bốn câu:

1. Chúng nhớ theo chiến lược nào? Cái gì đáng nhớ, cái gì không. Nhớ hết là vô nghĩa.
2. Chiến lược loại bỏ là gì? Bỏ cái gì, bỏ khi nào.
3. Dùng bộ não nào? Giống chọn hãng xe. Hãng khác nhau thì giá khác nhau, mà khoảng cách giá giữa các mô hình có thể tới hàng trăm lần. Chỗ này tôi có chia sẻ kỹ trong bài Tối ưu chi phí token khi cho AI vận hành kênh YouTube.
4. Agent được phép làm gì? Và làm sao cho nhiều agent làm việc với nhau, giống một công ty có nhiều đội nhân sự. Tôi có chia sẻ cách điều phối trong bài Dynamic workflow Opus 4.8.

Giới hạn thật của bộ nhớ AI Agent là gì?

Phần này ít ai nói, nhưng anh em làm rồi sẽ đụng ngay. Sáu chỗ.

Nhớ nhiều không đồng nghĩa nhớ đúng. Một mẩu ký ức sai thì sai bền, sai ở mọi phiên về sau. Sai trong chat thì mất ba mươi giây sửa. Sai một dòng trong bộ nhớ dài hạn thì nó theo anh em nhiều tháng.

Bộ nhớ tự động thì cũng tự động ghi rác. Anh em nói đùa một câu, nó ghi lại. Anh em đổi ý, nó vẫn giữ ý cũ. Nên phải có luật xoá và phải soát định kỳ.

Bộ nhớ là dữ liệu, mà dữ liệu là rủi ro. Cái gì cấm nhớ phải viết ra trước khi bật bộ nhớ, chứ không phải sau khi lỡ.

Chưa mang đi được giữa các hãng. Bộ nhớ trong ChatGPT nằm ở ChatGPT, trong project Claude nằm ở Claude. Đổi hãng là làm lại từ đầu. Hướng ghi ra file Markdown đỡ hơn ở chỗ này.

Lost in the middle chưa biến mất. Nới cửa sổ ngữ cảnh ra không chữa được bệnh. Chiến lược đúng vẫn là lọc trước rồi mới nạp.

Nhớ càng nhiều thì trả càng nhiều tiền. Bộ nhớ dài hạn muốn dùng được thì phải nạp vào ngữ cảnh, mà nạp vào ngữ cảnh là tính token.

Bảy ngày tới anh em làm được gì?

Cứ làm đi. Sai lại sửa. Bước 7 mới quan trọng, vì đó là lúc anh em biết bộ nhớ chạy thật hay chỉ chạy trên giấy.

Câu hỏi hay gặp

Context window to hơn có chữa được bệnh hay quên không?

Không chữa được. Nghiên cứu Lost in the Middle đo thấy mô hình dùng tốt thông tin ở đầu và ở cuối ngữ cảnh, còn phần giữa thì bỏ sót, kể cả với mô hình ngữ cảnh dài. GPT 4 cũng cong hình chữ U. Nới trần chỉ giúp nhét được nhiều hơn, chứ không giúp nó dùng tốt hơn.

Bộ nhớ của ChatGPT và của Claude khác nhau chỗ nào?

ChatGPT tự trích xuất thông tin từ lịch sử chat rồi lưu chung cho tài khoản, nhưng không gắn mốc thời gian. Claude gom theo project: mọi phiên trong project dùng chung file và lịch sử của project đó, và anh em phải tự định nghĩa file nào để làm gì.

Muốn agent có bộ nhớ thì có phải biết lập trình không?

Không cần. Với ChatGPT, Gemini hay Claude thì bật cài đặt và viết chính sách bằng tiếng Việt là đủ. Chỉ khi tự dựng hệ riêng như Hermes Agent hay OpenClaw thì mới cần chút kỹ thuật.

Bộ nhớ có mang từ hãng này sang hãng khác được không?

Hiện tại thì chưa, nếu anh em để bộ nhớ nằm trong sản phẩm của hãng. Cách giữ quyền chủ động là tự viết những sự thật quan trọng ra file text bên ngoài, kiểu MEMORY.md. File text thì hệ nào cũng đọc được.

Nhớ nhiều thì tốn tiền hơn đúng không?

Đúng. Bộ nhớ dài hạn muốn có tác dụng thì phải nạp vào ngữ cảnh, mà nạp vào ngữ cảnh là tính token. Nhớ càng nhiều, mỗi lượt càng dài, hoá đơn càng cao. Nên chiến lược loại bỏ quan trọng ngang chiến lược ghi nhớ.

Công ty tôi chưa làm gì cả, nên bắt đầu từ đâu?

Bắt đầu từ danh sách 5 thứ anh em phải nhắc lại cho AI nhiều nhất trong một tuần. Đó chính là bộ nhớ đầu tiên. Viết chúng thành chính sách, dán vào công cụ đang dùng, rồi mở phiên mới kiểm tra lại.

Đúc kết

AI hay quên vì kiến trúc Transformer không có chỗ nào để lưu, đây là chuyện gốc chứ không phải lỗi của hãng nào. Hai bài báo năm 2023 đã chỉ ra đường đi: CoALA lo chuyện nhớ theo mấy tầng, MemGPT lo chuyện nhét chỗ nào khi đầu đã đầy.

Việc của anh em bây giờ là chuyển vai, từ người dùng công cụ sang người thiết kế hệ thống. Bước đầu tiên rất nhỏ thôi: viết ra cái gì đáng nhớ, cái gì cấm nhớ, và xoá khi nào.

Nếu anh em thấy hướng Agentic AI này là việc phải làm, tôi có một chương trình coaching về nó. Còn không thì cứ lấy mẫu chính sách ở trên mà chạy trước đã. Tuỳ anh em.

Nguồn tham khảo

• Vaswani, Attention Is All You Need, 2017. arxiv.org/abs/1706.03762
• Sumers, Yao, Narasimhan, Griffiths, Cognitive Architectures for Language Agents, TMLR 2024. arxiv.org/abs/2309.02427
• Yao, ReAct: Synergizing Reasoning and Acting in Language Models, 2022. arxiv.org/abs/2210.03629
• Packer, MemGPT: Towards LLMs as Operating Systems, UC Berkeley, 2023. arxiv.org/abs/2310.08560
• Liu, Lost in the Middle: How Language Models Use Long Contexts, TACL 2024. arxiv.org/abs/2307.03172
• Park, Generative Agents: Interactive Simulacra of Human Behavior, UIST 2023. arxiv.org/abs/2304.03442
• Tài liệu bộ nhớ OpenClaw, mục Memory Overview. docs.openclaw.ai