请你用Python编写一个功能强大的爬虫,
时间: 2024-09-15 20:02:46 浏览: 32
在Python中,编写一个功能强大的爬虫通常需要使用一些专门的库,如`requests`, `BeautifulSoup` 或者 `Scrapy`框架。这里是一个基础的示例,展示如何使用`requests` 和 `BeautifulSoup` 来抓取网页内容:
```python
import requests
from bs4 import BeautifulSoup
# 定义要爬取的URL
url = "https://www.example.com"
# 发送GET请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 解析HTML内容
soup = BeautifulSoup(response.text, 'html.parser')
# 找到并提取你需要的信息(例如文章标题)
title = soup.find('h1', class_='article-title') # 根据实际结构调整此部分
# 输出或保存数据
print("Article Title:", title.text if title else "Not Found")
else:
print(f"Failed to fetch the page with status code: {response.status_code}")