灰儿 发表于 2017-8-30 08:47:08

百度确认:蜘蛛会抓取纯文本链接的URL

一直以来,站长都很关心纯文本的链接URL是否会被百度抓取,现在已经得到百度官方确认,百度爬虫会对网络上的纯文本链接进行抓取,以下是来自百度站长俱乐部Lee的回复!1,文本链接url地址,百度会发现他是一个url地址并通过这个地址到相应的url地址上去抓取。2,我们对链接是否应该传递权重,唯一的判断标准是:这个链接是否用户or对方网站真心推荐你的网站、这个推荐,是否对用户有价值。注:纯文本链接也就是去掉了超链接的URL,多数投稿文章会被去掉超链接,无疑这是个好消息,可以肯定是能引蜘蛛。
页: [1]
查看完整版本: 百度确认:蜘蛛会抓取纯文本链接的URL