圆月山庄资源网

win与linux系统中python requests 安装
脚本专栏 2024/11/8 佚名
3 2
圆月山庄资源网 Design By www.vgjia.com

在 windows 系统下，只需要输入命令 pip install requests ，即可安装。

在 linux 系统下，只需要输入命令 sudo  pip install requests ，即可安装。

或者

=================

Window

1.  下载requests  被墙

 打开这个网址， http://www.lfd.uci.edu/~gohlke/pythonlibs 在这个网站上面有很多 python 的第三方库文件， ctrl+f 找到 requests 下载

.whl文件下载下来后，将后缀名从 .whl 改为 .zip ，然后解压文件，我们可以得到两个文件夹

将requests 文件夹复制到 python 的安装目录下的 lib 目录下

requests 已经安装完毕，输入 import requests 命令来试试是否安装成功，

   import requests 没有报错，说明 requests 已经成功安装。

2.快速指南

2.1 发送请求
发送请求很简单的，首先要导入requests模块：

>import requests

接下来让我们获取一个网页，例如我个人博客的首页：

>r = requests.get('http://www.zhidaow.com')

接下来，我们就可以使用这个r的各种方法和函数了。
另外，HTTP请求还有很多类型，比如POST,PUT,DELETE,HEAD,OPTIONS。也都可以用同样的方式实现：

> r = requests.post("http://httpbin.org/post")
> r = requests.put("http://httpbin.org/put")
> r = requests.delete("http://httpbin.org/delete")
> r = requests.head("http://httpbin.org/get")
> r = requests.options("http://httpbin.org/get")

因为目前我还没用到这些，所以没有深入研究。

2.2 在URLs中传递参数
有时候我们需要在URL中传递参数，比如在采集百度搜索结果时，我们wd参数（搜索词）和rn参数（搜素结果数量），你可以手工组成URL，requests也提供了一种看起来很NB的方法：

> payload = {'wd': '张亚楠', 'rn': '100'}
> r = requests.get("http://www.baidu.com/s", params=payload)
> print r.url
u'http://www.baidu.com/s"htmlcode">



> r = requests.get('https://www.zhidaow.com')
> r.text
u'<!DOCTYPE html>\n<html xmlns="http://www.w3.org/1999/xhtml"...'






文档里说，requests会自动将内容转码。大多数unicode字体都会无缝转码。但我在cygwin下使用时老是出现UnicodeEncodeError错误，郁闷。倒是在python的IDLE中完全正常。

另外，还可以通过r.content来获取页面内容。





> r = requests.get('https://www.zhidaow.com')
> r.content
b'<!DOCTYPE html>\n<html xmlns="http://www.w3.org/1999/xhtml"...'






文档中说r.content是以字节的方式去显示，所以在IDLE中以b开头。但我在cygwin中用起来并没有，下载网页正好。所以就替代了urllib2的urllib2.urlopen(url).read()功能。（基本上是我用的最多的一个功能。）


2.4 获取网页编码




可以使用r.encoding来获取网页编码。





> r = requests.get('http://www.zhidaow.com')
> r.encoding
'utf-8'






当你发送请求时，requests会根据HTTP头部来猜测网页编码，当你使用r.text时，requests就会使用这个编码。当然你还可以修改requests的编码形式。





> r = requests.get('http://www.zhidaow.com')
> r.encoding
'utf-8'
>r.encoding = 'ISO-8859-1'






像上面的例子，对encoding修改后就直接会用修改后的编码去获取网页内容。


2.5 json




像urllib和urllib2，如果用到json，就要引入新模块，如json和simplejson，但在requests中已经有了内置的函数，r.json()。就拿查询IP的API来说：





>r = requests.get('http://ip.taobao.com/service/getIpInfo.php"htmlcode">



>r = requests.get('http://www.mengtiankong.com')
>r.status_code
200
>r = requests.get('http://www.mengtiankong.com/123123/')
>r.status_code
404
>r = requests.get('http://www.baidu.com/link"htmlcode">



>r.history
(<Response [302]>,)






这里能看出他是使用了302跳转。也许有人认为这样可以通过判断和正则来获取跳转的状态码了，其实还有个更简单的方法：





>r = requests.get('http://www.baidu.com/link"htmlcode">



>r = requests.get('http://www.zhidaow.com')
> r.headers
{
 'content-encoding': 'gzip',
 'transfer-encoding': 'chunked',
 'content-type': 'text/html; charset=utf-8';
 ...
}






可以看到是以字典的形式返回了全部内容，我们也可以访问部分内容。





> r.headers['Content-Type']
'text/html; charset=utf-8'

> r.headers.get('content-type')
'text/html; charset=utf-8'








2.8 设置超时时间




我们可以通过timeout属性设置超时时间，一旦超过这个时间还没获得响应内容，就会提示错误。


复制代码 代码如下:> requests.get('http://github.com', timeout=0.001)

Traceback (most recent call last):

  File "<stdin>", line 1, in <module>

requests.exceptions.Timeout: HTTPConnectionPool(host='github.com', port=80): Request timed out. (timeout=0.001)




2.9 代理访问

采集时为避免被封IP，经常会使用代理。requests也有相应的proxies属性。





import requests

proxies = {
 "http": "http://10.10.1.10:3128",
 "https": "http://10.10.1.10:1080",
}

requests.get("http://www.zhidaow.com", proxies=proxies)







如果代理需要账户和密码，则需这样：





proxies = {
 "http": "http://user:pass@10.10.1.10:3128/",
}






2.10 请求头内容

请求头内容可以用r.request.headers来获取。





> r.request.headers
{'Accept-Encoding': 'identity, deflate, compress, gzip',
'Accept': '*/*', 'User-Agent': 'python-requests/1.2.3 CPython/2.7.3 Windows/XP'}






2.11 自定义请求头部

伪装请求头部是采集时经常用的，我们可以用这个方法来隐藏：





r = requests.get('http://www.zhidaow.com')
print r.request.headers['User-Agent']
#python-requests/1.2.3 CPython/2.7.3 Windows/XP

headers = {'User-Agent': 'alexkh'}
r = requests.get('http://www.zhidaow.com', headers = headers)
print r.request.headers['User-Agent']
#alexkh








2.12 持久连接keep-alive




requests的keep-alive是基于urllib3，同一会话内的持久连接完全是自动的。同一会话内的所有请求都会自动使用恰当的连接。


也就是说，你无需任何设置，requests会自动实现keep-alive。


3. 简单应用




获取网页返回码







def get_status(url):
 r = requests.get(url, allow_redirects = False)
 return r.status_code

print get_status('http://www.zhidaow.com') 
#200
print get_status('http://www.zhidaow.com/hi404/')
#404
print get_status('http://mengtiankong.com')
#301
print get_status('http://www.baidu.com/link?url=QeTRFOS7TuUQRppa0wlTJJr6FfIYI1DJprJukx4Qy0XnsDO_s9baoO8u1wvjxgqN')
#302
print get_status('http://www.huiya56.com/com8.intre.asp?46981.html')
#500








                                

                                

                                     

                                

                                    标签：
                                        
python安装requests库,python3,requests安装,python的requests安装

                                     

                                
圆月山庄资源网 Design By www.vgjia.com
广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
圆月山庄资源网 Design By www.vgjia.com
www.vgjia.com 圆月山庄资源网
139,976互联网资源
144,792高清电影
21,817无损音乐
631,128技术资源

更新日志

友情链接

杰晶网络 DDR爱好者之家 桃源资源网 杰网资源 富贵资源网 南强小屋 铁雪资源网 幽灵资源网 万梅资源网 狼山资源网 白云岛资源网 昆仑资源网 相思资源网 明霞山资源网 内蒙古资源网 黑松山资源网 茶园资源网 饿虎岗资源网 大旗谷资源网 常春岛资源网 岱庙资源网 兴国资源网 快活林资源网 蝙蝠岛资源网 帝王谷资源网 白云城资源网 伏龙阁资源网 清风细雨楼 天枫庄资源网 圆月山庄资源网 无争山庄资源网 神水资源网 移花宫资源网 神剑山庄资源网 无为清净楼资源网 金钱帮资源网 丐帮资源网 华山资源网 极乐门资源网 小李飞刀资源网 凤求凰客栈 风云阁资源网 金狮镖局 鸳鸯亭资源网 千金楼资源网 更多链接