原理是修改浏览器的User-Agent,伪装成搜索引擎的蜘蛛,去访问网站。而安全狗对于搜索引擎的蜘蛛是不拦截的,安全放行。
我试着伪装谷歌的蜘蛛,貌似没起作用。
测试雅虎的,可以绕过安全狗
这款组件不仅可以伪装搜索引擎的蜘蛛,还可以修改浏览器版本。
修改ie浏览器的User-Agent,需要修改注册表,有点麻烦不说了。
谷歌浏览器启动EXE图标属性中加上启动参数::user-agent=”UA信息” 即可。
绕过安全狗的方法很简单,轻轻松松.
Firefox使用User Agent Switcher插件模拟百度等搜索引擎蜘蛛抓取页面
通过User Agent Switcher插件修改浏览器User Agent,可以快速让浏览器伪装模拟成baidu、google等搜索引擎蜘蛛访问页面抓取信息,有助于帮助站长快速了解网站页面能否被搜索引擎蜘蛛住区。 插件默认自带了google、yahoo、msn爬虫的User Agent,当然这些都是国外比较常见的搜索引擎爬虫,若需要模拟国内搜索引擎爬虫则需要自行手动添加,这里为大家附上几个比较常见的国内搜索引擎spider的User Agent: Baiduspider: 360Spider: Mozilla/5.0+(compatible;+MSIE+9.0;+Windows+NT+6.1;+Trident/5.0);+360Spider Sogouspider:
模拟搜索引擎抓取实现方法: 下载安装User Agent Switcher: 安装完后重启Firefox浏览器。 打开User Agent Switcher设置面板 点击你要添加的分组然后点击New User Agent… 输入User Agent信息然后点击确定 然后选择你要模拟的的User Agent 选择后刷新页面即可
|