一些域名之前通过robots.txt文件屏蔽了蜘蛛, 后来对搜索引擎开放了,但搜索结果里,还是显示以下内容: “由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提
一些域名之前通过robots.txt文件屏蔽了蜘蛛,
后来对搜索引擎开放了,但搜索结果里,还是显示以下内容:
“由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提供该页面的内容描述。”
解决办法:
在百度上搜索该域名,在搜索结果页面的末尾,点击用户反馈。