如何知道百度蜘蛛是否来过自己的网站？

通过查看网站日志，可以了解搜索引擎蜘蛛的访问情况。
通过FTP访问网站的根目录。可以看到一个log的文件夹，这是存放日志的地方。可以压缩（日志文件一般很大）后通过下载到本地电脑上解压缩后打开日志文件。
1、网站刚上线，看搜索引擎蜘蛛的抓取情况；
如果网站提交给搜索引擎2天后，发现日志里蜘蛛不少，并都返回200，则说明已经可以正常。
只是Google展示的时间比较快，而百度则需要20天左右（经验平均值）展示出来。
2、网站异常，对比日志中蜘蛛的行为情况；
正常增加时和现在异常时的日志，进行对比分析。如果没有异常，则应该是搜索引擎展示数据库出问题所致。
如果蜘蛛爬取量明显减少，是否突然减少很多。
如果日志依然，则认为是搜索引擎的展示问题。
3、解决网站被封问题时，日志情况。
网站被封时，往往日志里有百度蜘蛛，但很少，而且往往只访问robots.txt文件和首页。
经过站长检查修改一切不符合搜索引擎的优化行为后，再将自己网站提交给百度，之后的2天日志情况如果一直只是百度蜘蛛很少光临，而且往往只访问robots.txt文件和首页。这样的情况维持1个月，可以考虑放弃该域名。
如果蜘蛛明显增加，而且返回200代码居多，则被百度重新收录的希望很大，只是时间问题，需要站长更加努力。

您可能感兴趣问答

Collapsible

热门标签

热点问答