请你用Python编写一个功能强大的爬虫,功能至少要有题目对应答案爬取等。
时间: 2024-10-23 19:13:45 浏览: 26
在Python中创建一个功能强大的爬虫,通常会利用诸如BeautifulSoup和Requests这样的库。下面是一个简单的示例,展示如何使用这两个库爬取网页上的题目和答案,这里我们假设目标网站的结构允许直接提取它们:
```python
import requests
from bs4 import BeautifulSoup
# 定义目标URL
url = "http://example.com" # 请替换为你想要爬取的网站
def fetch_questions_and_answers(url):
# 发送GET请求获取网页内容
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 使用BeautifulSoup解析HTML
soup = BeautifulSoup(response.text, 'html.parser')
# 假设题目在class为"question"的元素中,答案在class为"answer"的元素中
questions = soup.find_all(class_='question')
answers = soup.find_all(class_='answer')
# 存储题目和答案的数据
data = []
for i in range(min(len(questions), len(answers))):
data.append({
'question': questions[i].get_text(),
'answer': answers[i].get_text()
})
return data
else:
print(f"请求失败,状态码:{response.status_code}")
return []
data = fetch_questions_and_answers(url)
for item in data:
print(f"题目:{item['question']}\n答案:{item['answer']}\n")
#
阅读全文