Cloudflare, CDN và SEO: bộ đệm HTML, trang thử thách chặn nhầm Googlebot và các công tắc nên để ý

Rất nhiều site Việt dùng Cloudflare: miễn phí, đổi DNS là chạy, có ngay HTTPS, chống tấn công từ chối dịch vụ, bộ đệm tài nguyên tĩnh ở máy chủ biên gần người dùng. Với SEO, điều cần hiểu là Cloudflare đứng giữa Googlebot và máy chủ của bạn. Googlebot không bao giờ nói chuyện trực tiếp với máy chủ gốc; mọi mã trạng thái, mọi tiêu đề, mọi trang lỗi nó nhận được đều đã qua tay Cloudflare. Phần lớn thời gian điều đó tốt. Nhưng một số công tắc bảo mật và tối ưu, bật lên vì “nghe có vẻ tốt”, có thể làm hỏng thu thập mà Search Console chỉ báo lờ mờ.

Cloudflare làm gì với một lượt Googlebot ghé

1. Googlebot phân giải DNS, nhận địa chỉ IP của Cloudflare (mây cam) thay vì IP máy chủ gốc.
2. Cloudflare kiểm lượt truy cập qua tường lửa, quy tắc chống bot, giới hạn tần suất.
3. Nếu tài nguyên có trong bộ đệm biên và còn hạn, trả luôn. Nếu không, gửi tiếp về máy chủ gốc.
4. Áp các tối ưu (nén, đổi định dạng ảnh, chèn kịch bản) rồi trả về cho Googlebot.

Mỗi bước là một nơi có thể sai. Bảng dưới là các tình huống thật hay gặp:

Bước	Có thể sai thế nào	Triệu chứng trong Search Console
Tường lửa, chống bot	Googlebot bị trả trang thử thách hoặc 403	Lỗi thu thập tăng, trang rơi khỏi chỉ mục, Kiểm tra URL báo “Bị chặn” hoặc HTML lạ
Giới hạn tần suất	Googlebot nhận 429 khi thu thập nhanh	Thống kê thu thập thấy nhiều 429, tốc độ thu thập giảm
Bộ đệm HTML	Phục vụ bản cũ sau khi đã sửa title, canonical, noindex	Google vẫn thấy nội dung cũ nhiều ngày
Máy chủ gốc lỗi	Cloudflare trả trang lỗi 520–526 của nó	Lỗi máy chủ 5xx
Tối ưu tự động	Kịch bản bị hoãn, đổi thứ tự, hỏng chức năng	HTML đã kết xuất thiếu nội dung tải bằng JavaScript

Bảo mật: đừng chặn nhầm bot tốt

Cloudflare có danh sách “bot đã xác minh” (verified bots) gồm Googlebot, Bingbot và nhiều bot tìm kiếm khác, xác minh bằng địa chỉ IP thật chứ không chỉ bằng chuỗi nhận dạng. Với cấu hình mặc định, bot đã xác minh được cho qua. Rủi ro đến từ các thay đổi do chủ site tự thêm:

• Chế độ “Under Attack” bật khi bị tấn công rồi quên tắt: mọi lượt truy cập phải qua trang chờ kiểm tra trình duyệt. Bật vài giờ thì không sao, bật vài tuần thì có hại.
• Quy tắc tường lửa tự viết kiểu “chặn mọi quốc gia ngoài Việt Nam”: Googlebot thu thập chủ yếu từ Mỹ. Nếu muốn chặn theo quốc gia, phải thêm điều kiện loại trừ bot đã xác minh (cf.client.bot hoặc trường tương đương trong bộ quy tắc hiện tại).
• Chặn theo chuỗi nhận dạng có chữ “bot”: chặn luôn Googlebot và các bot AI bạn muốn cho vào.
• Quản lý bot AI: Cloudflare có công tắc chặn bot AI và có thể tự chèn quy tắc vào robots.txt. Nếu bạn muốn được ChatGPT, Perplexity trích dẫn, kiểm tra công tắc này. Xem cho hay chặn bot AI và kiểm cấu hình thật bằng kiểm bot AI.

Cách kiểm chắc chắn: dùng công cụ Kiểm tra URL trong Search Console, chạy kiểm tra trực tiếp, xem HTML trả về. Nếu thấy nội dung kiểu “Checking your browser” hay “Just a moment”, Googlebot đang bị thử thách.

Bộ đệm HTML: nhanh nhưng phải biết xoá

Mặc định Cloudflare chỉ đệm tài nguyên tĩnh (ảnh, CSS, JS), không đệm HTML. Nhiều site bật quy tắc “Cache Everything” để đệm luôn HTML cho nhanh. Hiệu quả về tốc độ rất lớn, nhưng kéo theo:

• Sửa title, meta, canonical, thêm noindex xong mà khách và Googlebot vẫn nhận bản cũ cho tới khi bộ đệm hết hạn. Luôn xoá bộ đệm (purge) cho các địa chỉ vừa sửa, hoặc toàn site sau thay đổi lớn.
• Trang có phần riêng cho người đăng nhập (giỏ hàng, tên người dùng) bị đệm và phục vụ cho người khác. Phải loại trừ theo cookie phiên.
• Trang trả lỗi tạm thời bị đệm lại và phát cho mọi người. Không đệm mã 5xx.

Với shop online, an toàn hơn là chỉ đệm HTML cho bài viết và trang tĩnh, không đệm trang sản phẩm có giá thay đổi và mọi trang có giỏ hàng.

Chứng chỉ: đèn xanh ở trình duyệt chưa chắc là ổn

Đây là bẫy ít người biết. Cloudflare cấp chứng chỉ ở máy chủ biên, nên trình duyệt luôn thấy ổ khoá xanh. Nhưng đoạn từ Cloudflare về máy chủ gốc có thể đang dùng chứng chỉ tự ký, chứng chỉ hết hạn, hoặc không mã hoá gì cả, tuỳ chế độ SSL bạn chọn:

Chế độ SSL	Đoạn Cloudflare về máy chủ gốc	Nên dùng
Off / Flexible	Không mã hoá (HTTP)	Không. Flexible còn hay gây vòng lặp chuyển hướng khi máy chủ gốc ép HTTPS
Full	Mã hoá, chấp nhận chứng chỉ tự ký, hết hạn	Tạm thời
Full (strict)	Mã hoá, chứng chỉ phải hợp lệ	Có. Cài chứng chỉ thật hoặc chứng chỉ gốc của Cloudflare lên máy chủ

Khi kiểm site bằng công cụ dòng lệnh, đừng bỏ qua kiểm chứng chỉ (curl -k) hay ép thẳng IP máy chủ gốc rồi kết luận “ổn”: cách đó che đúng những lỗi khách không thấy hôm nay nhưng sẽ thấy ngay khi tắt Cloudflare hay đổi chế độ. Chi tiết ở bài HTTPS, chứng chỉ và HSTS.

Các công tắc tối ưu: bật gì, tắt gì

Công tắc	Tác dụng	Lời khuyên
Nén Brotli	Nén HTML, CSS, JS tốt hơn gzip	Bật
HTTP/2, HTTP/3	Tải nhiều tài nguyên song song hiệu quả hơn	Bật
Always Use HTTPS	Chuyển http sang https ở biên	Bật, nhưng kiểm không tạo chuỗi chuyển hướng hai bước với quy tắc www ở máy chủ
Rocket Loader	Hoãn mọi JavaScript	Thận trọng; hay làm hỏng menu, bộ lọc, nút mua và làm nội dung tải bằng JS hiện muộn
Thu nhỏ mã tự động	Bỏ khoảng trắng	Lợi ích nhỏ; Cloudflare đã ngừng tính năng này cho tài khoản mới
Email Obfuscation	Mã hoá email trong trang	Không ảnh hưởng SEO; đôi khi làm hỏng hiển thị email
Crawler Hints	Báo cho công cụ hỗ trợ IndexNow khi nội dung đổi	Bật được; Google không dùng IndexNow. Xem IndexNow

Mây cam hay mây xám

Trong phần DNS của Cloudflare, mỗi bản ghi có biểu tượng đám mây: mây cam là đi qua Cloudflare (proxy), mây xám là chỉ dùng Cloudflare làm DNS, lưu lượng đi thẳng về máy chủ gốc. Cả hai đều ổn với SEO; khác nhau ở chỗ ai chịu trách nhiệm HTTPS, bộ đệm và chống tấn công. Hai tình huống cần để ý:

• Site chạy mây xám thì máy chủ gốc phải tự có chứng chỉ hợp lệ, tự chuyển http sang https, tự nén. Khi chuyển từ cam sang xám (ví dụ để phát video không qua Cloudflare), kiểm lại cả ba thứ đó trước khi đổi.
• www mây cam còn tên miền gốc mây xám (hoặc ngược lại) làm hai biến thể địa chỉ đi hai đường khác nhau, có thể trả tiêu đề, thời gian phản hồi và cả chứng chỉ khác nhau. Gom về một bản chính và để cả hai cùng một chế độ.

Sau mỗi thay đổi cấu hình: kiểm theo đường của khách

1. Chạy chấm điểm SEO: kiểm mã trạng thái, chuyển hướng, thời gian phản hồi qua chính đường người dùng đi.
2. Search Console, Kiểm tra URL, kiểm tra trực tiếp trang chủ và một trang sản phẩm: xem HTML đã kết xuất và ảnh chụp.
3. Search Console, Cài đặt, Thống kê thu thập dữ liệu: theo dõi tỉ lệ 4xx, 5xx, 429 trong vài ngày sau.
4. Mở trang ở cửa sổ ẩn danh trên điện thoại, qua 4G.
5. Ghi lại cấu hình đã đổi và lý do, để lần sau biết công tắc nào bật từ khi nào.

Checklist Cloudflare cho SEO

1. Không để chế độ Under Attack chạy lâu.
2. Quy tắc tường lửa theo quốc gia, theo chuỗi nhận dạng có ngoại lệ cho bot đã xác minh.
3. Kiểm công tắc chặn bot AI có đúng ý muốn không.
4. SSL chế độ Full (strict), máy chủ gốc có chứng chỉ hợp lệ.
5. Đệm HTML thì có quy trình xoá bộ đệm sau khi sửa, loại trừ trang có phiên đăng nhập.
6. Rocket Loader chỉ bật sau khi kiểm chức năng và HTML đã kết xuất.
7. Không có chuỗi chuyển hướng hai bước giữa quy tắc ở biên và ở máy chủ.