python爬虫爬取网页文件
时间: 2023-11-08 17:04:52 浏览: 112
python 爬取网页
要爬取网页文件,可以使用Python中的requests库和BeautifulSoup库。首先使用requests库获取网页的HTML代码,然后使用BeautifulSoup库解析HTML代码,提取需要的信息。
以下是一个简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.example.com'
response = requests.get(url)
html = response.text
soup = BeautifulSoup(html, 'html.parser')
# 在这里可以使用soup对象提取需要的信息
```
阅读全文