Python网络爬虫简易代码
时间: 2024-10-29 08:16:44 浏览: 4
python通用爬虫代码(超简易版)
Python是一种非常适合编写网络爬虫的编程语言,因其简洁易读的语法和丰富的库支持。下面是一个非常基础的使用Python的requests和BeautifulSoup库来抓取网页内容的简单例子:
```python
import requests
from bs4 import BeautifulSoup
# 定义目标URL
url = 'https://www.example.com'
# 发送GET请求获取网页内容
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 解析HTML内容
soup = BeautifulSoup(response.text, 'html.parser')
# 找到特定标签,例如所有段落<p>
paragraphs = soup.find_all('p')
for paragraph in paragraphs:
print(paragraph.get_text()) # 输出段落文本
else:
print(f"请求失败,状态码:{response.status_code}")
阅读全文