带有token的Python爬虫代码示例
时间: 2023-09-06 20:09:30 浏览: 169
以下是一个带有token的Python爬虫示例代码,使用的是requests库:
```python
import requests
# 设置请求头,包括token
headers = {
'Authorization': 'Bearer your_token_here',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
# 发送GET请求并获取响应
response = requests.get('https://example.com/api/data', headers=headers)
# 获取响应内容
content = response.content
# 输出响应内容
print(content)
```
在上述代码中,需要将`your_token_here`替换为实际的token值,并将`https://example.com/api/data`替换为实际的API网址。这个示例代码仅仅是一个参考,实际使用时需要根据API的具体要求进行相应的修改。
相关问题
写一个百度文库的python爬虫代码
以下是一个简单的百度文库 Python 爬虫代码示例:
```python
import requests
from bs4 import BeautifulSoup
doc_url = "https://wenku.baidu.com/view/xxxxx.html" # 文档的 URL
# 发送 GET 请求获取 HTML 内容
response = requests.get(doc_url)
html_content = response.content
# 解析 HTML 内容获取文档内容
soup = BeautifulSoup(html_content, 'html.parser')
doc_content = soup.find_all('div', class_='reader-txt-layer')[0].text
# 将文档内容保存到本地文件
with open('doc.txt', 'w', encoding='utf-8') as f:
f.write(doc_content)
```
需要注意的是,百度文库有一些反爬措施,如果直接请求文档的 URL,会被重定向到一个带有 token 的 URL。可以通过模拟浏览器行为(例如在请求中加入一些随机的请求头信息)来绕过这些反爬措施。
阅读全文