python提取页面内url列表的方法

人生路上我们孜孜不倦,尽力拼搏,生活途中勤勤恳恳,努力追寻!停止悲伤,机会从来不为任何人驻足。

本文实例讲述了python提取页面内url列表的方法。分享给大家供大家参考。具体实现方法如下:

from bs4 import BeautifulSoup
import time,re,urllib2
t=time.time()
websiteurls={}
def scanpage(url):
  websiteurl=url
  t=time.time()
  n=0
  html=urllib2.urlopen(websiteurl).read()
  soup=BeautifulSoup(html)
  pageurls=[]
  Upageurls={}
  pageurls=soup.find_all("a",rel="nofollow noopener noreferrer" href=True)
  for links in pageurls:
    if websiteurl in links.get("href") and links.get("href") not in Upageurls and links.get("href") not in websiteurls:
      Upageurls[links.get("href")]=0
  for links in Upageurls.keys():
    try:
      urllib2.urlopen(links).getcode()
    except:
      print "connect failed"
    else:
      t2=time.time()
      Upageurls[links]=urllib2.urlopen(links).getcode()
      print n,
      print links,
      print Upageurls[links]
      t1=time.time()
      print t1-t2
    n+=1
  print ("total is "+repr(n)+" links")
  print time.time()-t
scanpage("http://news.163.com/")

希望本文所述对大家的Python程序设计有所帮助。

以上就是python提取页面内url列表的方法。有志者,事竞成,破釜沉舟百二秦关终归楚;苦心人,天不负,卧薪尝胆三千越甲可吞吴。更多关于python提取页面内url列表的方法请关注haodaima.com其它相关文章!

您可能有感兴趣的文章
Python基于lxml模块解析html获取页面内所有叶子节点xpath路径功能示例

Python获取当前页面内所有链接的四种方法对比分析

Python自动化运维-使用Python脚本监控华为AR路由器关键路由变化

Python自动化运维-netmiko模块设备自动发现

Python自动化运维—netmiko模块连接并配置华为交换机