Firefox使用User Agent Switcher插件模拟百度蜘蛛抓取页面

通过User Agent Switcher插件修改浏览器User Agent，可以快速让浏览器伪装模拟成baidu、google等搜索引擎蜘蛛访问页面抓取信息，有助于帮助站长快速了解网站页面能否被搜索引擎蜘蛛住区。

插件默认自带了google、yahoo、msn爬虫的User Agent，当然这些都是国外比较常见的搜索引擎爬虫，若需要模拟国内搜索引擎爬虫则需要自行手动添加，这里为大家附上几个比较常见的国内搜索引擎spider的User Agent：

Baiduspider：

Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html)

360Spider：

Mozilla/5.0+(compatible;+MSIE+9.0;+Windows+NT+6.1;+Trident/5.0);+360Spider

Sogouspider：

Sogou+web+spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)



模拟搜索引擎抓取实现方法：

下载安装User Agent Switcher：

http://mozilla.com.cn/addon/238-User-Agent-Switcher/

安装完后重启Firefox浏览器。

打开User Agent Switcher设置面板



点击你要添加的分组然后点击New User Agent…



输入User Agent信息然后点击确定


然后选择你要模拟的的User Agent



选择后刷新页面即可