织梦火车头采集文章列表地址列表错误URL没有协议头是//如何解决方法

如果你不满意你的现状,要么开始改变,要么就闭嘴。这年头一点都不缺爱情,缺的是把爱情当真的人。

今天打开火车头采集器需要更新下织梦网站,可是点了开始后发现错误了重新修改了列表采集规则。没仔细看等抓完300多个连接导入数据库时发生错了,仔细一看该目标站的文章列表页将文章url地址做了处理。

表现:

常规的文章列表文章URL应该是 <a rel="nofollow noopener noreferrer" href="https://www.dede58.com/URL.html">才对,而该站处理成了<a rel="nofollow noopener noreferrer" href="//www.dede58.com/URL.html">,就是把协议头https或者http给取消了,这个 在一定程度上是可以防范很多采集程序,软件,爬虫的。采集后的地址列表会多一层网址,就成了https://www.dede58.com/www.dede58.com/URL.html,这样的话就无法正确采集内容了。

解决方法:

在网址获取选项里点选“手动填写链接地址规则”,

右侧脚本规则填写【a class="item" rel="nofollow noopener noreferrer" href="[参数]" title="(*)" target="_blank">】这里的参数就是原始目前的不带协议头的网址。

实际连接:填写【http:[参数1]】如果该网站是https的这里就填写【https:[参数1]】

结果:

以上操作后点获取网址测试正确,从采集,入库等都OK了。

PS:

这个网址问题以前看到过,用DEDECMS织梦采集就是网址错误,今天在火车头上总算是解决了。

到此这篇关于织梦火车头采集文章列表地址列表错误URL没有协议头是//如何解决方法就介绍到这了。因为慈悲,所以容易知足;因为知足,所以容易快乐。更多相关织梦火车头采集文章列表地址列表错误URL没有协议头是//如何解决方法内容请查看相关栏目,小编编辑不易,再次感谢大家的支持!

您可能有感兴趣的文章
织梦后台文档列表添加复制文档功能支持所有模型

织梦无法上传ico图标格式文件的如何解决方法

dedecms如何实现任意页面调用当前会员信息的方

织梦dede:tag调用指定多个栏目的TAG标签

织梦栏目列表按附加表自定义字段排序