python小技巧之批量抓取美女图片

沿途的风景美不胜收,真是让人流连忘返。人生就像一场旅行,不知道在下一站邂逅什么样的人,发生怎么样的故事!

其中用到urllib2模块和正则表达式模块。下面直接上代码:

[/code]
#!/usr/bin/env python
#-*- coding: utf-8 -*-
#通过urllib(2)模块下载网络内容
import urllib,urllib2,gevent
#引入正则表达式模块,时间模块
import re,time
from gevent import monkeymonkey.patch_all()def geturllist(url):
url_list=[]
print url
s = urllib2.urlopen(url)
text = s.read()
#正则匹配,匹配其中的图片
html = re.search(r'<ol.*</ol>', text, re.S)
urls = re.finditer(r'<p><img src="(.+?)jpg" /></p>',html.group(),re.I)
for i in urls:
url=i.group(1).strip()+str("jpg")
url_list.append(url)
return url_listdef download(down_url):
name=str(time.time())[:-3]+"_"+re.sub('.+?/','',down_url)
print name
urllib.urlretrieve(down_url, "D:\\TEMP\\"+name)def getpageurl():
page_list = []
#进行列表页循环
for page in range(1,700):
url="http://jandan.net/ooxx/page-"+str(page)+"#comments"
#把生成的url加入到page_list中
page_list.append(url)
print page_list
return page_list
if __name__ == '__main__':
jobs = []
pageurl = getpageurl()[::-1]
#进行图片下载
for i in pageurl:
for (downurl) in geturllist(i):
jobs.append(gevent.spawn(download, downurl))
gevent.joinall(jobs)
[/code]

程序不长才45行,不是太难,大家可以研究下,这里我只是抛砖引玉,大家可以根据原理开发出其他的抓取程序,呵呵,自己想去吧。。。我就不多说了~~

以上就是python小技巧之批量抓取美女图片。一个人的强大在于控制情绪,而不是外在型体。更多关于python小技巧之批量抓取美女图片请关注haodaima.com其它相关文章!

您可能有感兴趣的文章
关于Python形参打包与解包小技巧分享

简单了解python代码优化小技巧

pandas 使用均值填充缺失值列的小技巧分享

详解10个可以快速用Python进行数据分析的小技巧

11个Python Pandas小技巧让你的工作更高效(附代码实例)