Python简单实现网页内容抓取功能示例

本文实例讲述了Python简单实现网页内容抓取功能。分享给大家供大家参考，具体如下：

使用模块：

import urllib2 
import urllib

普通抓取实例：

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import urllib2
url = 'http://www.baidu.com'
#创建request对象
request = urllib2.Request(url)
#发送请求，获取结果
try:
 response = urllib2.urlopen(request)
except BaseException, err:
 print err
 exit()
#获取状态码，如果是200表示获取成功
code = response.getcode()
print code
#读取内容
if 200 == code:
 content = response.read() 
 print content

Get请求抓取实例：

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import urllib2
import urllib
#urllib2使用GET方式的请求
url = 'http://www.baidu.com/s'
values = {'wd' : '车云'}
# 必须编码
data = urllib.urlencode(values) 
url = url + '?' + data 
print url
#url == http://www.baidu.com/s?wd=%E8%BD%A6%E4%BA%91
#创建request对象
request = urllib2.Request(url)
#发送请求，获取结果
try:
 response = urllib2.urlopen(request)
except BaseException, err:
 print err
 exit()
#获取状态码，如果是200表示获取成功
code = response.getcode()
print code
#读取内容
if 200 == code:
 content = response.read() 
 print content

希望本文所述对大家Python程序设计有所帮助。

到此这篇关于Python简单实现网页内容抓取功能示例就介绍到这了。有时候日子会很难捱的，像头顶乌云行走，无论奔跑、蹲下、闪躲，都没有阳光。但是人生需要自带，坚定不移地认为一切都会好，心灰了，就什么都好不了了。天上有光，会照你身上，你心里有光，就会照在天上。更多相关Python简单实现网页内容抓取功能示例内容请查看相关栏目，小编编辑不易，再次感谢大家的支持！