帮我写一个可以实现关键词爬取的Python爬虫程序
时间: 2024-10-06 17:05:15 浏览: 28
写一个简单的python爬虫程序,爬取一下百度图片
要编写一个简单的Python爬虫程序来抓取网页上的关键词,我们可以使用如BeautifulSoup库配合requests库来解析HTML内容。以下是一个基本的示例,假设我们要从一个网页抓取标题(这通常包含关键词):
```python
import requests
from bs4 import BeautifulSoup
def keyword_scraper(url, target_keyword):
# 发送HTTP请求获取网页内容
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 使用BeautifulSoup解析HTML
soup = BeautifulSoup(response.text, 'html.parser')
# 查找包含目标关键词的元素(例如,假设标题标签通常是<h1>或<h2>)
titles = soup.find_all(['h1', 'h2'], text=lambda t: target_keyword in t.get_text())
# 打印或保存找到的结果
for title in titles:
print(f"Title containing '{target_keyword}': {title.get_text()}")
else:
print(f"Failed to fetch URL. Status code: {response.status_code}")
# 示例使用
keyword_scraper('https://example.com', '关键词')
阅读全文