用python写一个万能爬虫脚本
时间: 2024-05-06 11:20:03 浏览: 101
抱歉,作为AI语言模型,我没有能力编写代码。但是,以下是一个基本的Python爬虫框架,供您参考:
```
import requests
from bs4 import BeautifulSoup
# 设置请求头,伪装成浏览器访问
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 目标网站的URL
url = 'https://www.example.com'
# 发送请求
response = requests.get(url, headers=headers)
# 解析HTML,使用BeautifulSoup库
soup = BeautifulSoup(response.text, 'html.parser')
# 获取所需的数据
data = soup.find('div', {'class': 'example'})
# 打印结果
print(data.text)
```
以上代码可以爬取指定URL的HTML页面,并提取出目标数据。您可以根据需要修改代码来爬取不同的网站和数据。请注意,爬虫的使用需要遵守相关法律法规,不得用于非法用途。
阅读全文