AI trả lời sai thì sao? Cách kiểm chứng trước khi dùng

AI trả lời sai là chuyện bình thường, không phải sự cố. Nó sai vì cách nó được xây dựng, chứ không phải vì hỏng. Cho nên câu hỏi đúng của một người quản lý không phải “làm sao để AI không sai”, mà là “việc nào tôi bắt buộc phải kiểm, kiểm thế nào, và mất bao lâu”. Bài này trả lời đúng ba câu đó.

Vì sao AI trả lời sai mà giọng vẫn chắc nịch

Hãy hình dung một mặt hồ đóng băng vào cuối mùa. Nhìn từ bờ, chỗ nào cũng trắng phẳng như nhau. Nhưng có chỗ băng dày nửa mét chở được cả xe, có chỗ mỏng như tờ giấy. Cái nguy hiểm không phải là băng mỏng — cái nguy hiểm là bề mặt không cho bạn biết chỗ nào mỏng.

AI tạo sinh đúng như mặt hồ đó. Câu trả lời đúng và câu trả lời bịa có cùng một giọng điệu mạch lạc, cùng một độ tự tin.

Cơ chế thì đơn giản hơn nhiều người tưởng. Mô hình ngôn ngữ lớn (large language model) hoạt động bằng cách đoán chữ tiếp theo dựa trên xác suất: với chuỗi chữ đang có, chữ nào nhiều khả năng đi sau nhất. Nó được tối ưu để tạo ra câu trôi chảy và hợp lý, không phải câu đúng sự thật. Hai mục tiêu đó trùng nhau phần lớn thời gian, nên AI hữu ích. Nhưng chúng không phải là một, nên AI sai.

Thêm một điểm nữa, quan trọng với người quản lý: mặc định mô hình không có khái niệm “tôi không biết”. Khi gặp chỗ trống, nó không dừng lại — nó điền vào bằng thứ nghe giống sự thật nhất. Các hãng có huấn luyện thêm để mô hình nói “tôi không chắc”, nhưng đó là lớp dạy thêm, không phải bản năng.

Tôi nói kỹ cơ chế này không phải để doạ bạn. Ngược lại: hiểu cơ chế thì bạn hết sợ. Bạn biết chính xác nó mạnh ở đâu, yếu ở đâu, và không còn ngạc nhiên khi nó bịa một con số nghe rất thuyết phục.

Đường biên lởm chởm: nơi AI giúp và nơi AI hại

Nghiên cứu đáng chú ý nhất về ranh giới này do Dell’Acqua và cộng sự ở Harvard Business School, Wharton, MIT Sloan cùng BCG công bố năm 2023, Navigating the Jagged Technological Frontier, thực hiện với hơn 700 tư vấn viên BCG.

Kết quả có hai nửa. Với những nhiệm vụ nằm trong vùng AI làm tốt, nhóm dùng AI đạt hiệu suất cao hơn gần 40%. Với nhiệm vụ nằm ngoài vùng đó, nhóm dùng AI lại kém hơn nhóm không dùng, giảm trung bình 19 điểm phần trăm.

Việc trong vùng AI làm tốt hiệu suất so với nhóm không dùng AI

+40%

Việc ngoài vùng AI làm tốt giảm so với nhóm không dùng AI

−19 điểm %

Dùng đúng chỗ thì lợi lớn, dùng sai chỗ thì tệ hơn không dùng.

↻ Xem lại

Các tác giả gọi đó là đường biên lởm chởm (jagged frontier): ranh giới giữa việc AI làm tốt và việc AI làm hỏng không phải một đường thẳng đẹp đẽ, mà răng cưa, khó đoán từ bên ngoài. Hai việc nghe khó ngang nhau có thể nằm ở hai bên của đường biên.

Với tôi, đây là nghiên cứu quan trọng nhất mà một người quản lý nên biết về AI. Nó chuyển câu chuyện từ “AI giỏi hay dở” sang “bạn có biết mình đang đứng bên nào của đường biên không”.

Bản thân tôi dùng AI thường xuyên để chuẩn bị bài giảng, và tôi cũng không miễn nhiễm. Kiểu sai làm tôi cảnh giác nhất không phải thứ bịa hoàn toàn, mà là thứ đúng một nửa: tên báo cáo có thật, tổ chức có thật, năm công bố nghe hợp lý, nhưng con số được gán cho nó thì không nằm trong báo cáo đó, hoặc thuộc một ấn bản khác. Đọc trong cửa sổ chat thì không có gì cấn cả.

Tôi chưa bao giờ phát hiện loại lỗi này bằng cách đọc kỹ câu trả lời. Tôi chỉ phát hiện ra vào đúng lúc đi tìm trang gốc để dẫn link cho người khác xem — và không tìm thấy dòng nào khớp. Từ đó tôi giữ một luật cho mình: con số chưa mở được ở trang gốc thì chưa được lên slide.

Quà tặng miễn phí · Khung + thư viện prompt

Khung viết prompt 5 phần kèm 10 prompt mẫu

Khung 5 phần giúp bạn viết câu lệnh AI ra kết quả dùng được ngay từ lần đầu, kèm 10 prompt mẫu cho quản lý, sale, văn phòng và HR để copy dùng luôn, có kết quả mẫu và ví dụ sửa prompt từng bước.

• — Khung 5 phần: vai trò, bối cảnh, nhiệm vụ, định dạng đầu ra, ví dụ
• — Bảng so sánh prompt yếu và prompt tốt cho cùng một việc
• — Ví dụ sửa một prompt yếu từng bước theo khung 5 phần, có kết quả trước và sau
• — 10 prompt mẫu cho quản lý, sale, văn phòng, HR — bấm copy là dùng; 4 prompt có kết quả mẫu
• — Checklist 8 điểm trước khi gửi prompt và quy tắc an toàn dữ liệu khi dùng AI trong công ty

Danh xưng

Danh xưng Anh Chị

Họ tên Email

Website

Tôi đồng ý nhận tài liệu và email. Xem Chính sách bảo mật. Nhận tài liệu ngay →

Miễn phí, huỷ đăng ký lúc nào cũng được.

Bốn loại việc AI dễ sai nhất với người quản lý

Bốn nhóm dưới đây có chung một đặc điểm: chúng đòi hỏi một câu trả lời chính xác duy nhất, trong khi mô hình chỉ sản xuất ra câu nghe hợp lý nhất. Đó đúng là chỗ đường biên lởm chởm nhất.

1. Số liệu và trích dẫn cụ thể

Đây là chỗ sai nhiều nhất và nguy hiểm nhất. AI có thể đưa ra một con số thị trường, một tên báo cáo, một năm công bố, thậm chí một đường dẫn trông hoàn chỉnh — mà tất cả đều không tồn tại. Lý do rất dễ hiểu: cấu trúc của một câu trích dẫn thì nó học rất kỹ, còn nội dung cụ thể thì nó đang đoán.

Quy tắc của tôi: mọi con số AI đưa ra đều là giả thuyết cho tới khi bạn mở được nguồn gốc.

2. Luật và quy định

Luật lao động, thuế, bảo hiểm xã hội, quy định ngành. AI thường trả lời đúng tinh thần chung nhưng sai điều khoản, sai mốc thời gian hiệu lực, hoặc trích một nghị định đã bị thay thế. Với loại việc này, AI chỉ nên dùng để hiểu vấn đề và chuẩn bị câu hỏi, còn câu trả lời phải lấy từ văn bản gốc hoặc từ người có chuyên môn.

3. Sự kiện mới

Mô hình được huấn luyện tới một mốc thời gian. Ngoài mốc đó, nó không biết, nhưng vẫn có thể trả lời như thể biết. Giá cả, nhân sự lãnh đạo của một công ty, sản phẩm vừa ra mắt, tỷ giá — đều thuộc nhóm này. Công cụ có chức năng tìm kiếm trên mạng giúp giảm bớt, nhưng khi đó bạn phải kiểm chính các đường dẫn nó trả về.

4. Phép tính nhiều bước

AI làm toán không bằng cách tính, mà bằng cách viết ra chuỗi chữ trông giống lời giải. Một phép tính hai bước thường đúng; một bảng chiết khấu nhiều tầng, một bài tính lương có phụ cấp và thuế, một dự báo dòng tiền 12 tháng thì rất dễ lệch. Và điều tệ nhất là nó lệch ở giữa rồi vẫn kết luận rất gọn gàng.

Quy trình kiểm chứng ba bước

Ba bước này mất khoảng 3–10 phút cho một câu trả lời quan trọng. Không cần làm cả ba cho mọi việc — phần sau có bảng chia theo mức rủi ro.

1. Hỏi lại chính AI về độ chắc chắn và nguồn. Đây là bước rẻ nhất và lọc được kha khá. Bạn yêu cầu nó tách phần chắc chắn khỏi phần suy đoán, và nêu rõ chỗ nào nó không có dữ liệu. Nhiều con số bịa sẽ tự rơi ra ở bước này.
2. Đối chiếu ở nơi gốc. Số liệu thị trường thì mở báo cáo gốc. Số liệu nội bộ thì mở phần mềm kế toán hoặc CRM của bạn, không lấy từ trí nhớ của AI. Điều khoản luật thì mở văn bản. Nếu không tìm được nguồn trong vài phút, hãy coi như thông tin đó không có.
3. Tự làm lại phần quyết định bằng tay. Với phép tính, bạn tính lại trên giấy hoặc bảng tính. Với lập luận, bạn tự viết lại một đoạn kết luận bằng lời của mình. Nếu viết lại được trôi chảy, nghĩa là bạn đã thật sự hiểu; nếu không, nghĩa là bạn mới đang chép.

Câu lệnh cho bước 1, bạn sao chép rồi dán ngay sau câu trả lời cần kiểm:

Hãy tự rà soát lại câu trả lời vừa rồi của bạn và trình bày theo 3 phần:
1. Những ý bạn chắc chắn đúng, kèm lý do vì sao chắc.
2. Những ý bạn đang suy đoán hoặc không có đủ dữ liệu để khẳng định.
3. Mọi con số, tên nghiên cứu, điều khoản, mốc thời gian đã nêu — với mỗi mục,
   ghi rõ: nguồn gốc là gì, và mức độ chắc chắn từ 1 đến 5.
Nếu một thông tin bạn không chắc có thật, hãy nói thẳng "tôi không chắc thông tin này có thật".
Không bổ sung thông tin mới trong phần rà soát này.

Một cách khác, mạnh hơn và ít người dùng: bắt AI giả định rằng câu trả lời của nó đã gây ra một sai lầm. Đây là ứng dụng của kỹ thuật pre-mortem (khám nghiệm trước) mà Gary Klein mô tả trên Harvard Business Review năm 2007: tưởng tượng một sự việc đã xảy ra rồi truy nguyên nhân giúp tăng khoảng 30% khả năng nhận ra đúng nguyên nhân.

Giả sử tôi đã dùng câu trả lời trên để ra quyết định, và ba tháng sau phát hiện
nó dẫn tôi đi sai. Hãy viết ra 5 nguyên nhân có thật nhất khiến điều đó xảy ra:
chỗ nào trong câu trả lời dễ sai nhất, vì sao, và tôi lẽ ra phải kiểm điều gì trước.

Bài dùng AI ra quyết định nói kỹ hơn về việc dùng AI ở vai phản biện thay vì vai xác nhận.

Việc nào bắt buộc người kiểm, việc nào kiểm nhanh được

Nguyên tắc: mức kiểm tỷ lệ với hậu quả nếu sai, không tỷ lệ với độ dài câu trả lời. Một email nội bộ 500 chữ có thể đọc lướt; một con số trong báo giá gửi khách phải kiểm từng chữ số.

Loại việc	Mức rủi ro	Cách kiểm	Thời gian
Nháp email, biên bản, mô tả công việc nội bộ	Thấp	Đọc lướt, sửa giọng văn cho giống mình	1–2 phút
Ý tưởng, dàn ý, danh sách phương án	Thấp	Tự sàng lọc, không cần kiểm nguồn	2–3 phút
Tóm tắt tài liệu bạn tự đưa vào	Trung bình	Bấm về đoạn gốc của 2–3 ý quan trọng nhất	3–5 phút
Số liệu thị trường, trích dẫn nghiên cứu	Cao — bắt buộc người kiểm	Mở nguồn gốc. Không mở được thì bỏ	5–15 phút
Nội dung gửi ra ngoài công ty (báo giá, hợp đồng, bài đăng)	Cao — bắt buộc người kiểm	Kiểm từng con số, từng cam kết, từng tên riêng	Theo độ dài
Luật, thuế, bảo hiểm xã hội, quy định ngành	Cao — bắt buộc người kiểm	Đối chiếu văn bản gốc hoặc hỏi người có chuyên môn	Không rút gọn được
Tính toán nhiều bước (giá, lương, dòng tiền)	Cao — bắt buộc người kiểm	Tính lại bằng bảng tính	5–20 phút
Quyết định liên quan tới một con người cụ thể	Cao — người làm, không giao AI	Xem bài về 6 tình huống nên tự làm	—

Bảng này cũng là cách tôi khuyên các công ty chia việc khi giao việc cho nhân viên và AI: không phân theo “việc khó hay dễ”, mà theo “sai thì ai chịu”.

Sai lầm thường gặp

• Coi giọng văn chắc chắn là bằng chứng. Câu mạch lạc không chứng minh được gì cả. Mô hình được tối ưu để viết hay, không phải để viết đúng.
• Hỏi “thông tin này có đúng không” rồi tin câu trả lời. AI sẽ đánh giá lại cũng bằng cách đoán. Nó có thể nhận sai, mà cũng có thể bảo vệ cái sai. Kiểm chứng thật phải diễn ra ở ngoài cửa sổ chat.
• Kiểm đều mọi thứ. Kiểm cả email nội bộ thì bạn sẽ bỏ cuộc sau một tuần, rồi quay sang không kiểm gì. Chia theo rủi ro mới bền.
• Dùng AI cho lĩnh vực mình không biết gì rồi tin ngay. Bạn chỉ phát hiện được AI sai ở lĩnh vực bạn đã có nền. Đây là ý tôi cho là quan trọng nhất trong cả loạt bài này.
• Không ghi lại nguồn ngay lúc kiểm. Ba tuần sau cần trình bày lại, bạn không nhớ con số đó lấy từ đâu, và phải kiểm lại từ đầu.
• Giao công cụ cho nhân viên mà không dạy kiểm chứng. Phát tài khoản không phải là đào tạo — đây là nội dung chính của bài đào tạo nhân viên dùng AI.

Sau nhiều năm đứng lớp với người quản lý, điều tôi thấy lặp lại nhiều nhất là thế này: thứ gửi cho khách thì mọi người kiểm khá kỹ, vì ai cũng sợ khách phát hiện. Thứ bị bỏ qua lại là tài liệu trình lên trên — bản tóm tắt thị trường cho kế hoạch năm, vài con số mở đầu slide họp ban giám đốc, phần “bối cảnh ngành” trong một đề xuất. Lý do quen thuộc: “nội bộ thôi mà”.

Nhưng chính những tài liệu đó lại nuôi quyết định. Tình huống điển hình trông thế này: một con số AI đưa ra lọt vào slide, được nhắc lại qua vài cuộc họp, rồi thành “điều ai cũng biết” mà không ai hỏi nguồn. Đến lúc có người hỏi, thứ mất đi thường không phải tiền, mà là uy tín của người đã trình con số đó.

Tóm lại và việc làm hôm nay

1. AI trả lời sai vì nó đoán chữ tiếp theo theo xác suất; nó tối ưu cho câu trôi chảy, không phải cho câu đúng.
2. Mặc định nó không có khái niệm “tôi không biết”, nên chỗ trống sẽ được lấp bằng thứ nghe giống sự thật.
3. Bốn nhóm dễ sai nhất: số liệu và trích dẫn, luật và quy định, sự kiện mới, phép tính nhiều bước.
4. Quy trình ba bước: hỏi lại độ chắc chắn, đối chiếu ở nơi gốc, tự làm lại phần quyết định.
5. Kiểm theo mức rủi ro, không kiểm đều. Thứ ra khỏi công ty thì kiểm từng con số.

Việc làm hôm nay, 10 phút: mở lại một câu trả lời của AI mà bạn đã dùng trong tuần này. Dán câu lệnh rà soát ở trên vào. Đọc phần 3 — danh sách con số và mức độ chắc chắn — rồi thử mở nguồn của một con số bất kỳ. Lần đầu làm việc này, hầu như ai cũng tìm thấy ít nhất một thứ không mở được.

Bức tranh đầy đủ về đưa AI vào công ty nằm ở bài trụ cột ứng dụng AI trong quản lý doanh nghiệp. Còn hai câu hỏi đi liền ngay sau bài này: dữ liệu doanh nghiệp và AI — đưa gì vào, tuyệt đối không đưa gì — và khi nào không nên dùng AI. Các bài khác cùng nhóm nằm ở trang AI cho quản lý & lãnh đạo.