python网络爬虫案例实战一两百行代码
时间: 2024-11-21 22:25:50 浏览: 25
Python网络爬虫案例通常会涉及使用requests库获取网页内容,然后解析HTML或XML数据,常常结合BeautifulSoup或lxml等库来提取所需信息。下面是一个简单的Python爬虫示例,用几百行代码抓取网站上的一些标题:
```python
import requests
from bs4 import BeautifulSoup
# 定义目标URL
url = 'https://www.example.com'
# 使用requests获取网页内容
response = requests.get(url)
html_content = response.text
# 使用BeautifulSoup解析HTML
soup = BeautifulSoup(html_content, 'html.parser')
# 找到所有的标题元素,这里假设是<h1>和<h2>
titles = soup.find_all(['h1', 'h2'])
# 提取并打印标题
for title in titles:
print(title.text.strip())
# 相关问题--
阅读全文