Ngân sách thu thập (crawl budget): khi nào site nhỏ cần quan tâm, khi nào không

Ngân sách thu thập (crawl budget) là số địa chỉ Googlebot sẵn lòng và có thể tải trên site của bạn trong một khoảng thời gian. Với phần lớn site Việt — vài trăm đến vài chục nghìn trang — nó không phải vấn đề: Google tải hết những gì đáng tải. Nó chỉ thành vấn đề khi site sinh ra nhiều địa chỉ hơn mức Google muốn đọc: trang lọc sản phẩm vô hạn tổ hợp, tham số theo dõi, lịch sự kiện kéo dài vô tận, hàng trăm nghìn trang tự sinh. Dấu hiệu rõ nhất là báo cáo Search Console có nhiều trang ở trạng thái "Đã phát hiện – hiện chưa được lập chỉ mục".

Ngân sách thu thập gồm hai vế

Google mô tả ngân sách thu thập là kết quả của hai thứ:

• Giới hạn khả năng thu thập — Googlebot tải nhanh tới mức nào mà không làm site chậm đi. Máy chủ trả nhanh, ít lỗi thì giới hạn này tăng; máy chủ chậm, trả 5xx hoặc 429 thì Google tự lùi lại.
• Nhu cầu thu thập — Google muốn tải bao nhiêu. Phụ thuộc vào mức phổ biến của các trang (được liên kết nhiều, được tìm nhiều), mức thay đổi nội dung, và tổng số địa chỉ Google biết trên site.

Hệ quả: bạn có thể làm hỏng ngân sách theo hai cách — làm máy chủ chậm (giảm vế đầu), hoặc đổ ra hàng loạt địa chỉ vô giá trị khiến Google phải chia lượt tải cho chúng (pha loãng vế sau).

Khi nào cần quan tâm

Tài liệu Google dành riêng chuyện này cho ba nhóm site: site rất lớn (khoảng từ một triệu trang trở lên) với nội dung thay đổi hằng tuần; site trung bình (khoảng từ mười nghìn trang) với nội dung thay đổi hằng ngày; và site có phần lớn địa chỉ nằm ở trạng thái "Đã phát hiện – hiện chưa được lập chỉ mục". Nếu site bạn không thuộc nhóm nào, thời gian nên dành cho nội dung và liên kết.

Một ngoại lệ hay gặp ở Việt Nam: site nhỏ nhưng chạy trên phần mềm sinh địa chỉ vô tội vạ. Một cửa hàng 300 sản phẩm với bộ lọc màu, cỡ, giá, thương hiệu, sắp xếp có thể sinh ra hàng trăm nghìn địa chỉ lọc. Lúc đó con số "300 sản phẩm" không còn ý nghĩa; Google thấy một site có hàng trăm nghìn trang gần giống nhau.

Đọc báo cáo Thống kê thu thập dữ liệu

Search Console có báo cáo này ở mục Cài đặt → Thống kê thu thập dữ liệu (Crawl stats). Đa số người làm SEO không bao giờ mở nó, trong khi đây là chỗ duy nhất Google cho bạn xem trực tiếp hành vi của Googlebot. Những gì cần nhìn:

Chỉ số	Nhìn gì
Tổng số yêu cầu thu thập	Xu hướng theo thời gian; tụt đột ngột thường đi kèm sự cố máy chủ
Thời gian phản hồi trung bình	Tăng dần là dấu hiệu máy chủ đang quá tải hoặc truy vấn CSDL chậm; Google sẽ giảm nhịp theo
Theo phản hồi	Tỉ lệ 200 / 301 / 404 / 5xx. Nhiều 301 nghĩa là liên kết nội bộ còn trỏ địa chỉ cũ; nhiều 404 nghĩa là có nguồn liên kết hỏng
Theo loại tệp	HTML chiếm bao nhiêu so với JSON, ảnh, JS. Một phần lớn lượt tải đi vào tệp API là chuyện đáng tra
Theo mục đích	Khám phá (địa chỉ mới) và làm mới (địa chỉ đã biết). Site đăng bài đều mà tỉ lệ khám phá thấp là bài mới khó được tìm thấy
Trạng thái máy chủ (host status)	Lỗi robots.txt, lỗi DNS, lỗi kết nối. Màu đỏ ở đây ảnh hưởng cả site, không phải từng trang

Bấm vào từng dòng để xem mẫu địa chỉ cụ thể. Mẫu địa chỉ cho thấy Googlebot đang tốn lượt vào đâu — thường là chỗ bạn không ngờ tới.

Những thứ ăn ngân sách thu thập

1. Trang lọc và sắp xếp có tham số. Mỗi tổ hợp tham số là một địa chỉ mới. Nếu các trang lọc không cần lên Google, chặn mẫu tham số trong robots.txt và không đưa vào liên kết dạng <a href> có thể thu thập.
2. Tham số theo dõi trong liên kết nội bộ như ?utm_source=, ?ref=, mã phiên. Liên kết nội bộ phải trỏ địa chỉ sạch.
3. Chuỗi chuyển hướng. Mỗi bước chuyển hướng là một lượt tải. Liên kết nội bộ trỏ thẳng địa chỉ đích.
4. Soft 404. Trang không còn mà trả 200 bị Google quay lại kiểm nhiều lần. Trả 404 hoặc 410 thật.
5. Không gian vô hạn. Lịch có nút "tháng sau" chạy mãi, trang tìm kiếm nội bộ có thể được thu thập, phân trang không có điểm dừng.
6. Trùng lặp quy mô lớn. Cùng một sản phẩm ở nhiều đường dẫn chuyên mục, bản in, bản AMP cũ còn sống.

Ví dụ: chặn trang lọc của một cửa hàng

Giả sử danh mục /ao-thun/ cần lên Google, còn các tổ hợp lọc ?mau=, ?co=, ?sap-xep= thì không. Quy tắc robots.txt dưới đây chặn mọi địa chỉ có các tham số đó, giữ nguyên trang danh mục và phân trang:

User-agent: *
Disallow: /*?*mau=
Disallow: /*?*co=
Disallow: /*?*sap-xep=

Sitemap: https://tenmien.com/sitemap.xml

Googlebot hiểu dấu * trong đường dẫn. Trước khi áp dụng, kiểm xem có trang lọc nào đang mang lượt truy cập tìm kiếm thật không (báo cáo Hiệu suất, lọc theo trang chứa tham số). Nếu có, biến tổ hợp đó thành trang danh mục riêng có đường dẫn sạch thay vì chặn.

Lỗi hay gặp

• Dùng noindex để tiết kiệm ngân sách. Không có tác dụng: Google vẫn phải tải trang mới đọc được noindex. Noindex giúp trang không lên kết quả, không giúp bớt lượt thu thập. Muốn Google không tải thì dùng robots.txt.
• Dùng robots.txt cho trang cần gộp trùng. Ngược lại với lỗi trên: nếu trang trùng đang có liên kết và bạn muốn tín hiệu dồn về bản chính, đừng chặn — để Google đọc được canonical hoặc chuyển hướng.
• Gắn nofollow cho liên kết nội bộ để "dẫn dòng" thu thập. Google coi nofollow là gợi ý, và địa chỉ vẫn có thể được phát hiện từ nguồn khác. Cách sạch hơn là không tạo liên kết tới trang không cần.
• Đi tìm công cụ chỉnh tốc độ thu thập. Google đã gỡ công cụ giới hạn tốc độ thu thập trong Search Console từ đầu năm 2024. Googlebot tự điều chỉnh theo phản hồi máy chủ. Khi cần giảm khẩn cấp vì quá tải, trả mã 503 hoặc 429 trong thời gian ngắn; để kéo dài nhiều ngày thì Google bắt đầu gỡ trang khỏi chỉ mục.
• Không phân biệt Googlebot thật và giả. Nhật ký máy chủ có rất nhiều bot tự xưng Googlebot. Muốn đếm đúng thì xác minh bằng tra ngược DNS (tên máy phải kết thúc bằng googlebot.com hoặc google.com) hoặc so với danh sách dải IP Google công bố.
• Đổ lỗi cho ngân sách khi vấn đề là chất lượng. Site 2.000 bài mà một nửa ở trạng thái "Đã thu thập dữ liệu – hiện chưa được lập chỉ mục" không có vấn đề ngân sách — Google đã tải và đã đọc. Vấn đề là nội dung, xem nội dung mỏng và trùng lặp.

Danh sách kiểm cho site có nhiều địa chỉ

1. Liệt kê các mẫu địa chỉ site sinh ra (sản phẩm, chuyên mục, lọc, tìm kiếm, phân trang, thẻ). Đánh dấu mẫu nào cần lên Google.
2. Mẫu không cần lên Google và không cần gộp tín hiệu: chặn trong robots.txt.
3. Mẫu là bản trùng của trang chính: canonical hoặc 301 về trang chính.
4. Sitemap chỉ chứa địa chỉ cần lên Google, có lastmod đúng — xem sitemap XML.
5. Liên kết nội bộ trỏ địa chỉ sạch, không tham số, không qua chuyển hướng.
6. Thời gian phản hồi HTML của máy chủ ổn định, không vọt lên theo giờ — xem TTFB và Core Web Vitals.
7. Xem lại báo cáo Thống kê thu thập dữ liệu sau 2–4 tuần.

Kiểm bằng SEO Gốc

Công cụ chấm điểm SEO đo ba thứ liên quan trực tiếp: thời gian phản hồi của trang chủ (ngưỡng cảnh báo của SEO Gốc là 0,6 giây và 1,5 giây — đây là ngưỡng công cụ, không phải con số Google công bố), chuỗi chuyển hướng từ hai bước trở lên, và sitemap có chứa địa chỉ khác tên miền hoặc http không. Ngân sách thu thập thật chỉ đo được qua Search Console và nhật ký máy chủ.

Tài liệu Google: Quản lý ngân sách thu thập cho site lớn.