python爬虫爬取中关村在线
时间: 2023-09-28 09:07:11 浏览: 167
你可以使用Python来编写爬虫程序,来爬取中关村在线的网页内容。以下是一个简单的示例代码,演示如何使用Python的 requests 和 BeautifulSoup 库来实现爬虫功能:
```python
import requests
from bs4 import BeautifulSoup
# 目标网址
url = 'http://www.zol.com.cn/'
# 发送GET请求获取网页内容
response = requests.get(url)
# 解析HTML内容
html = response.text
soup = BeautifulSoup(html, 'html.parser')
# 找到需要爬取的数据
# 这里以爬取新闻标题为例
news_titles = soup.find_all('h3', class_='news-title')
# 输出新闻标题
for title in news_titles:
print(title.text)
```
这是一个简单的示例,你可以根据需求自行修改和扩展。请确保你遵守网站的爬虫规则,并尊重相关法律法规。
阅读全文