python爬虫实例代码300行
时间: 2023-09-12 15:01:11 浏览: 129
python爬虫的实例代码不一定非要300行,可以根据具体的需求和网站的结构来确定所需代码的行数。下面是一个简单的示例,仅用100行左右的代码:
```python
import requests
from bs4 import BeautifulSoup
# 定义目标URL
url = "http://example.com"
# 发送HTTP请求并获取页面内容
response = requests.get(url)
content = response.content
# 解析页面内容
soup = BeautifulSoup(content, "html.parser")
# 查找并打印出所有的链接
links = soup.find_all("a")
for link in links:
print(link.get("href"))
# 获取页面标题
title = soup.title.string
print("页面标题:" + title)
# 查找特定元素
target_element = soup.find("div", class_="target-class")
print(target_element.get_text())
# 提取特定数据
data = []
rows = soup.find_all("tr")
for row in rows:
cols = row.find_all("td")
row_data = [col.get_text() for col in cols]
data.append(row_data)
# 保存数据到文件
with open("data.csv", "w") as file:
for row_data in data:
file.write(",".join(row_data) + "\n")
```
实际上,爬虫的代码行数可以根据需求进行扩展,比如添加更多的网页解析逻辑、数据处理和存储等功能。这只是一个简单的例子,如果需要更复杂的爬虫功能,可能需要更多的代码行数。
阅读全文