python爬虫现成代码
时间: 2023-07-17 17:12:50 浏览: 204
爬虫 爬取天气情况
以下是一个简单的 Python 爬虫示例代码,使用 requests 和 BeautifulSoup 库来获取并解析网页内容:
```python
import requests
from bs4 import BeautifulSoup
# 发送 HTTP 请求,获取网页内容
url = "https://example.com" # 替换为你要爬取的网页链接
response = requests.get(url)
html_content = response.text
# 使用 BeautifulSoup 解析网页内容
soup = BeautifulSoup(html_content, "html.parser")
# 提取需要的数据
# 这里以提取页面标题为例,可以根据网页结构和需求进行相应的定位和提取操作
title = soup.title.text
# 打印结果
print("页面标题:", title)
```
这段代码通过发送 HTTP 请求获取网页内容,然后使用 BeautifulSoup 解析网页内容,最后提取了页面的标题并打印出来。你可以根据自己的需求进行相应的修改和扩展。记得在运行代码之前安装必要的库,可以使用`pip install requests`和`pip install beautifulsoup4`命令来安装所需的库。
阅读全文