建立一个搜索爬取数据的模板
时间: 2023-10-08 16:08:28 浏览: 30
好的,以下是一个基本的搜索爬虫模板:
```python
import requests
from bs4 import BeautifulSoup
# 设置搜索关键字
search_term = "example"
# 设置搜索引擎URL
search_engine_url = "https://www.google.com/search?q="
# 发送请求并获取页面内容
response = requests.get(search_engine_url + search_term)
soup = BeautifulSoup(response.content, 'html.parser')
# 解析页面内容并提取数据
results = soup.find_all('div', class_='search-result')
for result in results:
title = result.find('h3').text
link = result.find('a')['href']
description = result.find('div', class_='description').text
# 输出数据
print(title)
print(link)
print(description)
print('\n')
```
你需要将`search_term`设置为你要搜索的关键字,将`search_engine_url`设置为你要使用的搜索引擎的URL。然后发送请求并获取页面内容,使用`BeautifulSoup`解析页面并提取数据。最后,你可以输出数据或将其保存到文件或数据库中,具体取决于你的需求。