爬虫学习(一)——requests库

发布时间 2023-08-01 10:58:13作者: 麦麦旋

一、安装

cmd-->pip install requests

安装测试

>>> import requests
>>> r = requests.get("http://www.baidu.com")
>>> r.status_code
200
>>> r.text

 

二、Requests库的get()方法

r=requests.get(url)

返回一个包含服务器的资源的Response对象,构造一个向服务器请求资源的Request对象。

Response对象的属性

 

三、爬取网页的通用代码框架

“网络连接有风险,异常处理很重要”

 通用框架

 r.raise_for_status()在方法内部判断r.status_code是否等于200,不需要增加额外if语句,便于try-except异常处理

 

四、HTTP协议及Requests库方法

1.HTTP 超文本传输协议,是一个基于“请求与响应”模式的、无状态的应用层协议。

请求与响应:用户发出请求,服务器作出响应。无状态指的是第一次与第二次请求之间无关联。应用层协议指的是该协议工作在TCP协议之上。

HTTP协议采用URL作为定位网络资源的标识。URL:http://IP

 

资源来自中国大学MOOC——Python网络爬虫与信息提取