p ython网络爬虫的代码
时间: 2024-11-04 11:11:28 浏览: 6
蜘蛛程序网络爬虫源代码.pdf
Python网络爬虫通常使用一些库来实现,如requests用于发送HTTP请求获取网页内容,BeautifulSoup或 lxml 用于解析HTML文档,以及像Scrapy这样的更强大的框架,它提供了更多的爬虫功能和结构。
下面是一个简单的Python网络爬虫代码示例,使用了`requests`和`BeautifulSoup`:
```python
import requests
from bs4 import BeautifulSoup
# 发送GET请求
url = 'https://www.example.com'
response = requests.get(url)
# 检查响应状态码
if response.status_code == 200:
# 解析HTML内容
soup = BeautifulSoup(response.text, 'html.parser')
# 找到特定元素(例如标题)
title = soup.find('title').text
print(f"抓取的网页标题: {title}")
else:
print("无法加载页面")
阅读全文