Google có hai loại thu thập thông tin web – một là để khám phá nội dung mới và một là để làm mới nội dung đã được xuất bản.
Điều này được giải thích bởi John Mueller – Search Advocate của Google trong hangout office-hours về SEO của Google Search Central được ghi lại vào ngày 7 tháng 1.
Một chuyên gia SEO có tên Swyamdipta Chakraborty tham gia buổi phát trực tiếp để hỏi Mueller một loạt câu hỏi, một trong số đó liên quan đến tần suất Googlebot thu thập dữ liệu website của anh ấy.
Anh ấy lưu ý rằng Googlebot đã từng thu thập dữ liệu website của anh ấy hàng ngày khi anh ấy xuất bản thường xuyên hơn, nhưng không thu thập dữ liệu nhiều khi số bài báo được xuất bản ít hơn.
Có lẽ vì lo lắng rằng việc giảm tần suất thu thập dữ liệu là một dấu hiệu xấu, anh ấy hỏi Mueller liệu điều này có bình thường không.
Mueller đảm bảo với anh ta rằng điều này là ổn và tiếp tục giải thích hai loại thu thập thông tin mà Googlebot tham gia.
Tìm hiểu thêm về cách Google thu thập dữ liệu các website trong phần bên dưới.
Hai loại Googlebot Crawling
Bạn có thể tìm hiểu tần suất Googlebot thu thập dữ liệu website của bạn thông qua một báo cáo trong Search Console và có thể có những khoảng thời gian website của bạn được thu thập dữ liệu nhiều hơn những trang khác.
Khi được hỏi về báo cáo, Mueller xác nhận những biến động là bình thường và thảo luận về hai loại thu thập thông tin:
“Điều đó có thể xảy ra. Chúng tôi thu thập dữ liệu một trang web không quá nhiều mà chúng tôi thu thập dữ liệu các trang riêng lẻ của một trang web. Và khi nói đến crawling, chúng ta đại khái có hai kiểu crawling.
Một là thu thập thông tin khám phá nơi chúng tôi cố gắng khám phá các trang mới trên trang web của bạn. Và thứ còn lại là thu thập thông tin làm mới, nơi chúng tôi cập nhật các trang hiện có mà chúng tôi biết ”.
Tần suất thu thập thông tin không chỉ có thể khác nhau đối với toàn bộ website mà còn có thể thay đổi theo từng website.
Ví dụ: nếu trang chủ của bạn được cập nhật thường xuyên hơn các trang khác, thì bạn sẽ thấy nhiều hoạt động của Googlebot hơn trên trang đó.
Mueller tiếp tục:
“Vì vậy, về phần lớn, chúng tôi sẽ làm mới thu thập thông tin trang chủ, tôi không biết, mỗi ngày một lần hoặc vài giờ một lần, hoặc tương tự như vậy.
Và nếu chúng tôi tìm thấy các liên kết mới trên trang chủ của chúng thì chúng tôi sẽ bắt đầu và thu thập thông tin những liên kết đó bằng thu thập thông tin khám phá. Và vì điều đó, bạn sẽ luôn thấy sự kết hợp giữa khám phá và làm mới xảy ra liên quan đến việc thu thập thông tin. Và bạn sẽ thấy một số bước thu thập thông tin cơ bản diễn ra hàng ngày.
Nhưng nếu chúng tôi nhận ra rằng các trang riêng lẻ rất hiếm khi thay đổi, thì chúng tôi nhận ra rằng chúng tôi không phải lúc nào cũng phải thu thập thông tin chúng.”
Một số loại website nhất định có khả năng được thu thập thông tin nhiều hơn những loại website khác.
Website lĩnh vực tin tức được cập nhật nhiều lần trong ngày sẽ được thu thập thông tin nhiều hơn so với website chỉ được cập nhật mỗi tháng một lần.
Googlebot có khả năng nhận ra các mẫu này và điều chỉnh tần suất thu thập thông tin của nó cho phù hợp.
“Ví dụ, nếu bạn có một trang web tin tức và bạn cập nhật nó hàng giờ, thì chúng tôi nên biết rằng chúng tôi cần phải thu thập thông tin nó hàng giờ. Trong khi đó, nếu đó là một website tin tức cập nhật nội dung mỗi tháng một lần, thì chúng tôi nên biết rằng chúng ta không cần phải thu thập dữ liệu mỗi giờ.
Và đó không phải là dấu hiệu của chất lượng hay dấu hiệu xếp hạng hay bất cứ thứ gì tương tự. Nó thực sự chỉ hoàn toàn từ quan điểm kỹ thuật mà chúng tôi đã học được rằng chúng tôi có thể thu thập dữ liệu này mỗi ngày một lần hoặc mỗi tuần một lần và điều đó không sao cả.”
Hơn nữa, đừng lo lắng nếu Googlebot gần đây đã thu thập dữ liệu website của bạn và các cập nhật cho nội dung hiện có không được phản ánh trong kết quả tìm kiếm.
Đó có thể là trường hợp Google thu thập dữ liệu website của bạn để khám phá nội dung mới, không phải để làm mới nội dung hiện có.
Nếu website của bạn hiếm khi thực hiện các thay đổi đối với nội dung đã xuất bản, thì Googlebot có thể thu thập thông tin nhiều hơn để khám phá những nội dung mới.
Một lần nữa, nó không nhất thiết phải liên quan đến chất lượng nội dung.
Nghe toàn bộ cuộc thảo luận dưới đây: