今天我们来讨论一个比较重要的内容,百度是否抓取我们网站js,百度蜘蛛是否识别我们网站js中的内容,百度抓取js有哪些坏处,需要屏蔽js么,我们当前这篇文章会详细的讲解这一块的内容!
百度是否会抓取网站js文件?
其实大家可以通过分析蜘蛛发现,百度是抓取js的,以前很多人都说百度是不会抓取js和css的,其实这个说法是绝对不对的,百度不单单会抓取,还会比较频繁,不单单百度抓取,360、搜狗、神马搜索引擎,都会进行抓取的。
百度蜘蛛目前是否识别js?
百度是否有能力识别js这件事,我可以明确告诉大家,是绝对可以识别的,而且90%以上的js都是可以进行识别的,为什么这么说那,大家不妨想一下,百度出了一个“石榴算法”专门打击页面中大量弹窗,而弹窗广告,大部分都是js代码,如果百度无法识别js,又怎么去打击这类页面那,另外,很多违法站点,都用js套站,如果百度识别不了js,任由这些黑客肆虐,大家认为可能么?前几年就已经可以识别了,现在肯定识别度更高。
js需要用robots.txt进行屏蔽抓取么?
讲解一下,js文件需要用robots.txt进行屏蔽抓取么?一直有一个争议,css和js需要屏蔽么,其实css不需要屏蔽的,如果屏蔽了,百度快照中的样式就会乱掉,或多或少还是有影响的,但是js是有必要屏蔽的,合理的屏蔽js,会大大优化蜘蛛抓取性,比较利于SEO优化,下面讲解如何屏蔽这类js。
如何有效防止百度对js的抓取?
1,用robots.txt屏蔽全站js,和不想抓取的js!
首先最直接的方法就是用robots.txt直接屏蔽js,屏蔽有两种方法,第一种是彻底屏蔽,屏蔽整站js,第二种是屏蔽个别的js,我们以下图为例,其实我比较建议屏蔽整站js,因为js实在对SEO没有什么实际的作用,只会拖慢网站的速度。
2,用混淆加密工具,把js进行加密
虽然用robots.txt会屏蔽一些蜘蛛抓取,但是还是有一些js还依然会抓取的,这个时候怎么办那?我们可以用一些加密技术,加密js,增加百度不识别性,这对于一些敏感内容来说,是比较推荐使用的,比如,js里面都是广告代码,被百度抓取了会对网站产生不良的影响,所以进行混淆加密会比较好一些,一般混下加密我们都会使用站长工具进行加密(见下图)!
3,如果是广告,可以考虑用框架导入js!
第三点,就是一些第三方广告代码,如果网站广告比较多,js中写的很多,单单使用混淆加密是不能完全解决的,我们可以单独建立一个页面来放广告,然后用iframe导入进来,百度对于iframe中的内容一般情况下是不会抓取的,当然了,js还是需要进行混淆加密的,这样就可以很大程度的缓解因为广告太多而被百度惩罚的事情发生。
好了,今天我们就讲解这么多吧,我们总结一下,css和js这两种,我们需要屏蔽掉js,css不需要进行屏蔽,在robots.txt中,可以直接写入屏蔽全站js,网站js百度是会抓取的,而且会进行识别,所以如果网站js中广告比较多,大家可以用框架导入即可。
文章来源:代代SEO博客
来源地址:https://www.daidaiseo.com/seoti/576.html