Googlebot

Googlebot是Google使用的网络爬虫软件，它负责为Google搜索引擎构建用户可搜索的网络索引。Googlebot包括两种不同类型的网络爬虫，分别为Googlebot Smartphone 和 Googlebot Desktop。 ^[1]

一个网站可能会被Googlebot Smartphone和Googlebot Desktop同时抓取。然而Google宣布从2020年9月开始它会优先显示移动网站，这意味着Google实际上更多地使用Googlebot Smartphone抓取网站。^[2]

参考文献

^ Googlebot. Google Search Central. 2024-04-30 [2024-08-03]. （原始内容存档于2024-08-02）（英语）.
^ Announcing mobile first indexing for the whole web. Google Developers. [2021-03-17]. （原始内容存档于2022-06-13）.