Firefox使用User Agent Switcher插件模拟百度蜘蛛抓取页面
通过User Agent Switcher插件修改浏览器User Agent，可以快速让浏览器伪装模拟成baidu、google等搜索引擎蜘蛛访问页面抓取信息，有助于帮助站长快速了解网站页面能否被搜索引擎蜘蛛住区。插件默认自带了google、yahoo、msn爬虫的User Agent，当然这些都是国外比较常见的搜索引擎爬虫，若需要模拟国内搜索引擎爬虫则需要自行手动添加，这里为大家附上几个比较常见的国内搜索引擎spider的User Agent：
Baiduspider：
Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html)
360Spider：
Mozilla/5.0+(compatible;+MSIE+9.0;+Windows+NT+6.1;+Trident/5.0);+360Spider
Sogouspider：
Sogou+web+spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
模拟搜索引擎抓取实现方法：
下载安装User Agent Switcher：
http://mozilla.com.cn/addon/238-User-Agent-Switcher/
安装完后重启Firefox浏览器。
打开User Agent Switcher设置面板
点击你要添加的分组然后点击New User Agent…
输入User Agent信息然后点击确定
然后选择你要模拟的的User Agent
选择后刷新页面即可
页:
[1]