llms.txt là gì, có cần không: đề xuất cho AI đọc site và giới hạn thật của nó
llms.txt là tệp Markdown ở gốc site, liệt kê các trang quan trọng kèm mô tả để mô hình AI đọc nhanh. Đây chỉ là đề xuất: Google nói không dùng, chưa hãng AI lớn nào công bố dùng nó để chọn nguồn. Làm được trong 30 phút, nhưng đừng kỳ vọng thứ hạng.
llms.txt là một tệp văn bản định dạng Markdown đặt ở gốc site (https://example.com/llms.txt), tóm tắt site là gì và liệt kê những trang quan trọng nhất kèm một dòng mô tả, để mô hình ngôn ngữ đọc nhanh mà không phải lội qua menu, quảng cáo và mã giao diện. Đây là một đề xuất, không phải chuẩn: chưa hãng AI lớn nào công bố là dùng nó để chọn nguồn trả lời, và người của Google đã nói công khai rằng Google Tìm kiếm không dùng tệp này. Có nên làm không? Nên, nếu bạn mất dưới một giờ để làm và có người duy trì; nhưng đừng kỳ vọng nó đem lại thứ hạng hay lượt trích dẫn.
Nguồn gốc và trạng thái thật
Đề xuất do Jeremy Howard đưa ra vào tháng 9/2024, tài liệu chính ở llmstxt.org. Ý tưởng xuất phát từ một vấn đề có thật: cửa sổ ngữ cảnh của mô hình có giới hạn, còn trang HTML hiện đại thì đầy thứ không phải nội dung. Một tệp ngắn, viết bằng Markdown, chỉ ra "đây là những gì đáng đọc" giúp các công cụ dùng AI (đặc biệt là trợ lý lập trình đọc tài liệu kỹ thuật) làm việc chính xác hơn.
Từ đó tới nay, nhiều trang tài liệu phần mềm đã thêm llms.txt, vài nền tảng tạo trang tài liệu sinh tệp này tự động. Nhưng cần tách hai chuyện:
- Có tệp llms.txt trên site của một hãng AI không có nghĩa hãng đó đọc llms.txt của site bạn khi thu thập.
- Các bot tìm kiếm AI (OAI-SearchBot, Claude-SearchBot, PerplexityBot) và Googlebot vẫn thu thập trang HTML như bình thường, theo robots.txt và sitemap. Không có tài liệu chính chủ nào nói llms.txt thay thế hay được ưu tiên hơn hai thứ đó.
Vì vậy, nếu một dịch vụ hứa "thêm llms.txt để được ChatGPT giới thiệu", đó là lời hứa không có căn cứ.
Cấu trúc tệp theo đề xuất
Đề xuất quy định thứ tự các phần khá chặt:
- Một tiêu đề cấp 1 (
#) là tên site hoặc dự án. Đây là phần bắt buộc duy nhất. - Một khối trích dẫn (
>) tóm tắt ngắn: site là gì, cho ai, điểm khác biệt. - Tuỳ chọn: vài đoạn văn hoặc danh sách nói thêm cách hiểu nội dung (ví dụ: giá đã gồm thuế chưa, phạm vi phục vụ).
- Các mục tiêu đề cấp 2 (
##), mỗi mục là một danh sách liên kết dạng- [Tên](URL): ghi chú. - Một mục tên
## Optionalnếu có: những liên kết có thể bỏ qua khi cần rút gọn.
Mẫu cho một site bán hàng tiếng Việt:
# Nhà Gốm Bát Tràng Xanh
> Cửa hàng gốm sứ thủ công Bát Tràng, bán lẻ và sỉ, giao toàn quốc. Mỗi sản phẩm ghi rõ men, nhiệt độ nung và lò sản xuất.
Giá trên site là giá bán lẻ đã gồm VAT, chưa gồm phí giao hàng. Đơn sỉ từ 50 sản phẩm có báo giá riêng.
## Sản phẩm
- [Bộ ấm chén men lam](https://example.com/am-chen-men-lam): 12 mẫu, nung 1.250°C, có ảnh chụp đáy lò
- [Bình hút lộc](https://example.com/binh-hut-loc): kích thước, ý nghĩa họa tiết, cách bảo quản
## Hướng dẫn
- [Phân biệt men rạn thật và men rạn in](https://example.com/huong-dan/men-ran): cách kiểm bằng mắt và bằng nước
- [Chính sách đổi trả](https://example.com/doi-tra): đổi trong 7 ngày nếu vỡ khi nhận
## Optional
- [Câu chuyện lò gốm](https://example.com/gioi-thieu)
Đề xuất cũng gợi ý cung cấp bản Markdown của từng trang quan trọng tại cùng địa chỉ thêm đuôi .md. Ngoài ra có quy ước llms-full.txt (gộp toàn văn nội dung vào một tệp) do một số nền tảng tài liệu dùng; quy ước này không nằm trong phần lõi của đề xuất.
Viết khối tóm tắt cho ra hồn
Khối trích dẫn đầu tệp là phần dễ viết dở nhất, vì người viết quen văn quảng cáo. So hai bản:
| Bản dở | Bản dùng được |
|---|---|
| Đơn vị hàng đầu cung cấp giải pháp gốm sứ chất lượng cao, uy tín, giá tốt nhất thị trường. | Cửa hàng gốm sứ thủ công Bát Tràng, bán lẻ và sỉ, giao toàn quốc. Mỗi sản phẩm ghi rõ men, nhiệt độ nung và lò sản xuất. |
Bản dở không chứa một dữ kiện nào để AI dùng lại: "hàng đầu", "uy tín", "giá tốt" là thứ mô hình đã đọc hàng triệu lần và học được cách bỏ qua. Bản dùng được trả lời ba câu mà người hỏi AI hay hỏi: bán cái gì, ở đâu, khác gì chỗ khác. Mẹo kiểm nhanh: nếu thay tên cửa hàng của bạn bằng tên đối thủ mà câu vẫn đúng, câu đó vô dụng. Cùng nguyên tắc áp cho ghi chú sau từng liên kết: ghi trang đó trả lời câu hỏi gì, không ghi "xem thêm thông tin hữu ích".
Khi nào đáng làm, khi nào không
| Loại site | Đánh giá |
|---|---|
| Tài liệu kỹ thuật, API, thư viện phần mềm | Đáng làm nhất. Lập trình viên hay dán đường dẫn tài liệu vào trợ lý AI; một tệp gọn giúp câu trả lời đúng hơn. |
| Doanh nghiệp, dịch vụ có ít trang quan trọng | Làm được trong một giờ, chi phí gần như bằng không. Tác dụng chưa đo được. |
| Site tin tức, kho bài hàng nghìn trang | Ít ý nghĩa. Tệp chỉ nên liệt kê trang trụ cột; liệt kê hết thì thành bản sao của sitemap. |
| Site chưa ổn phần kỹ thuật cơ bản | Để sau. Sửa noindex, canonical, sitemap, tốc độ trước. |
Nói thẳng: nếu trang của bạn không được bot AI thu thập hay không được lập chỉ mục, llms.txt không cứu được. Nếu trang đã tốt, llms.txt không làm nó tốt thêm theo cách đo được ở thời điểm này. Giá trị lớn nhất của việc viết llms.txt có khi lại là bài tập tự hỏi: "năm trang quan trọng nhất của site là gì và mô tả mỗi trang trong một dòng thế nào?" Rất nhiều site không trả lời được câu đó.
Lỗi hay gặp
- Trả về HTML thay vì văn bản. Site dựng bằng khung giao diện một trang (SPA) hay hệ quản trị nội dung có quy tắc "mọi đường dẫn không tồn tại về trang chủ" sẽ trả trang chủ HTML với mã 200 cho
/llms.txt. Nhìn trên trình duyệt tưởng có tệp, thực ra không. Kiểm tiêu đềContent-Typephải làtext/plainhoặctext/markdown. - Đặt ở thư mục con.
/blog/llms.txthay/wp-content/llms.txtkhông ai tìm tới. Tệp phải ở gốc host. - Nhồi từ khoá. Tệp này không phải chỗ để lặp "dịch vụ SEO uy tín giá rẻ" hai mươi lần. Mô hình đọc nó như văn bản; viết như viết cho một đồng nghiệp mới vào việc.
- Để lỗi thời. Đường dẫn đổi sau một đợt dọn site mà llms.txt vẫn trỏ trang cũ đã 404. Cứ mỗi lần đổi cấu trúc URL thì thêm llms.txt vào danh sách cần sửa, cạnh sitemap và liên kết nội bộ.
- Đưa vào thông tin không có trên trang. Giá, cam kết, chương trình khuyến mãi chỉ ghi trong llms.txt mà không có trên trang thật dễ dẫn tới câu trả lời AI sai lệch với thực tế, và khách sẽ trách cửa hàng chứ không trách AI.
- Chặn tệp trong robots.txt. Có site chặn
/*.txtđể giấu tệp nội bộ, chặn luôn llms.txt. Nếu đã làm tệp thì để bot đọc được. - Tưởng llms.txt điều khiển quyền dùng nội dung. Nó không cho phép hay cấm gì cả. Quyền thu thập vẫn do robots.txt quyết định; xem cho hay chặn bot AI.
Cách làm trong 30 phút
- Chọn tối đa 10–20 trang: trang chủ, trang dịch vụ hoặc danh mục chính, bảng giá, chính sách, 3–5 bài trụ cột.
- Viết khối tóm tắt hai câu như đang giới thiệu site cho một người chưa biết gì.
- Mỗi liên kết một dòng ghi chú nói trang đó trả lời câu hỏi gì.
- Đặt tệp ở gốc site, kiểm mã 200 và kiểu nội dung văn bản.
- Ghi vào lịch: rà lại mỗi quý, hoặc mỗi khi đổi URL.
Với WordPress, không cần plugin: tạo tệp văn bản và tải lên thư mục gốc qua trình quản lý tệp của hosting là đủ. Tệp tĩnh luôn nhanh và ổn định hơn một plugin sinh tệp động.
Thứ quan trọng hơn llms.txt
Muốn AI hiểu và trích dẫn site, thứ tự ưu tiên thực tế vẫn là: cho bot tìm kiếm AI vào được (robots.txt, tường lửa), trang có nội dung thật trong HTML chứ không chỉ dựng bằng JavaScript (xem site dựng bằng JavaScript), và viết theo cấu trúc dễ trích như trong bài viết để được AI trích dẫn. llms.txt đứng sau cả ba việc đó.
Kiểm bằng SEO Gốc
Kiểm bot AI cho biết site có tệp llms.txt ở gốc hay không, tệp trả về văn bản hay trang HTML giả, đồng thời đọc robots.txt để báo các bot AI đang được phép hay bị chặn. Phần llms.txt chỉ là thông tin tham khảo và không được tính vào điểm trong thang chấm 20 tiêu chí, đúng với việc chưa có bằng chứng nó ảnh hưởng thứ hạng.
Hỏi đáp
Thêm llms.txt có giúp lên AI Overviews không?
Không. Người của Google đã nói công khai Google Tìm kiếm không dùng llms.txt. AI Overviews chọn nguồn từ các trang Googlebot đã thu thập và lập chỉ mục như bình thường.
llms.txt khác robots.txt thế nào?
Robots.txt nói bot nào được thu thập phần nào của site. llms.txt không cho phép hay cấm gì, nó chỉ là bản giới thiệu và danh sách trang đáng đọc. Muốn chặn hay cho bot AI thì vẫn phải sửa robots.txt.
Có cần liệt kê toàn bộ bài viết vào llms.txt không?
Không nên. Tệp có giá trị vì ngắn và có chọn lọc. Liệt kê hết thì nó thành bản sao của sitemap. Chọn 10 đến 20 trang trụ cột là đủ.
Làm sao biết llms.txt của mình có hoạt động không?
Mở đường dẫn gốc /llms.txt, kiểm mã trả về 200 và kiểu nội dung là văn bản, không phải trang chủ HTML. Hiện chưa có cách đo tệp có được mô hình nào đọc hay không, ngoài việc xem nhật ký truy cập máy chủ.
Đọc tiếp
GPTBot, ClaudeBot, Google-Extended: cho hay chặn bot AI trong robots.txt
Các hãng AI tách bot huấn luyện (GPTBot, ClaudeBot, CCBot, Google-Extended) khỏi bot tìm kiếm (OAI-SearchBot, Claude-SearchBot, PerplexityB…
Viết để được AI trích dẫn: cấu trúc nội dung dễ trích và lỗi làm mất cơ hội
Công cụ AI trích một đoạn văn khi đoạn đó trả lời đúng câu hỏi, hiểu được khi đứng riêng và có dữ kiện cụ thể. Không có thẻ kỹ thuật nào th…
robots.txt: chặn thu thập không phải chặn lập chỉ mục
robots.txt quyết định máy thu thập có được tải một đường dẫn hay không, không quyết định trang có nằm trong chỉ mục. Muốn gỡ trang khỏi Goo…
Site dựng bằng JavaScript: Google đọc được gì và khi nào cần dựng sẵn phía máy chủ
Google chạy được JavaScript, nhưng chỉ thấy nội dung hiện ra không cần bấm hay cuộn, đi theo thẻ a có href và cần mỗi trang có URL riêng. B…