为什么搜索引擎抓取工具不运行javascript？

我一直在使用一些高级的 JavaScript应用程序,使用大量的ajax请求来渲染我的页面.要使应用程序可以抓取(通过谷歌),我必须遵循 https://developers.google.com/webmasters/ajax-crawling/?hl=fr.这告诉我们要做的事情是：重新设计我们的链接,创建html快照,…使网站可搜索.

我不知道为什么爬行器不运行javascript来获取渲染的页面和索引.这有什么理由吗？或者这是未来可能会出现的搜索引擎的缺失特征？

即使GoogleBot实际上处理了用js编写的网站. ajax网站的大问题是即使GoogleBot可以执行js并处理ajax请求.

网页抓取工具何时可以知道页面何时完成加载.因此,网页抓取工具可能会在开始执行ajax请求之前加载页面并对页面进行索引.让我们说一个脚本将在页面滚动中执行. Google bot很可能不会触发每一个可能的事件.

另一个问题是导航

由于导航可以在没有页面重新加载的情况下完成,一个URL可以映射到多个“查看结果”.因此,Google请求开发人员使用静态页面保留页面的副本,以支持那些不可访问的页面.他们将被索引.

如果您的网站可以通过完全合格的网址访问每个页面.那么您不应该对您的网站进行索引问题.

也就是说,脚本将要运行.但是,在完成处理所有脚本之后,抓取工具将不能确定页面的索引.

这里有一个链接：

GoogleBot smarter：它是在2010年写的,我们可以预期,webcrawlers从那以后变得更加聪明.