python中requests爬虫用法
时间: 2023-08-22 22:07:54 浏览: 96
在Python中,你可以使用`requests`库进行网络爬虫操作。`requests`是一个常用的HTTP库,提供了简单且易于使用的接口来发送HTTP请求和处理响应。
以下是一个简单的示例代码,演示了如何使用`requests`库进行基本的网络爬取:
```python
import requests
# 发送GET请求
response = requests.get('https://www.example.com')
# 获取响应内容
content = response.text
print(content)
# 发送POST请求
data = {'username': 'admin', 'password': '123456'}
response = requests.post('https://www.example.com/login', data=data)
# 获取JSON格式的响应
json_data = response.json()
print(json_data)
```
在这个示例中,我们首先通过`requests.get()`方法发送了一个GET请求,并将响应保存在`response`对象中。使用`response.text`属性可以获取响应的内容,并打印出来。
接下来,我们使用`requests.post()`方法发送了一个POST请求,并传递了表单数据。通过`response.json()`方法可以将响应解析为JSON格式,并将其打印出来。
`requests`库还提供了其他一些方法和功能,例如设置请求头、发送文件、处理Cookie等。你可以查阅官方文档或其他教程来深入了解更多的用法和功能。
请注意,在进行网络爬虫操作时,请遵守网站的使用规则和法律法规,确保你的爬虫行为合法且不侵犯他人的权益。
阅读全文