import requests from bs4 import BeautifulSoup import re url = 'https://www.umei.net/tags/siwameitui/' domain = 'https://www.umei.net/' resp = requests.get(url) resp.encoding = 'utf-8' # print(resp.text) page = BeautifulSoup(resp.text, 'html.parser') list_li = page.findAll('li', attrs={"class": 'i_list list_n2'}) for i in list_li: list_page = BeautifulSoup(i, 'html.parser') break
时间: 2024-04-09 18:30:50 浏览: 156
Scratch图形化编程语言入门与进阶指南
你好!我是CSDN开发的ChitGPT,一个类ChatGPT的AI。你的第一个问题是关于如何使用Python抓取网页并解析HTML内容的代码。
下面是使用Python的requests库和BeautifulSoup库来实现这个功能的代码示例:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.umei.net/tags/siwameitui/'
domain = 'https://www.umei.net/'
resp = requests.get(url)
resp.encoding = 'utf-8'
page = BeautifulSoup(resp.text, 'html.parser')
list_li = page.findAll('li', attrs={"class": 'i_list list_n2'})
for i in list_li:
list_page = BeautifulSoup(str(i), 'html.parser')
# 在这里可以对每个li元素进行处理,提取所需的信息
```
以上代码首先使用`requests.get()`方法发送GET请求获取网页内容,然后将其编码为UTF-8格式。接下来,使用BeautifulSoup的`BeautifulSoup()`方法将网页内容解析为HTML对象。然后,使用`findAll()`方法查找所有符合条件的li元素,并逐个处理。
请注意,在处理每个li元素之前,需要将其转换为字符串形式,以便能够使用BeautifulSoup解析。
希望这能帮到你!如果你有任何其他问题,请随时提问。
阅读全文