list1 = soup.find_all什么意思
时间: 2024-06-03 12:10:27 浏览: 168
。list1 = soup.find_all() 是 Beautiful Soup 中的一个方法,find_all() 方法用于查找网页中特定的 HTML 标签和属性,返回一个符合条件的元素列表。该方法可以传入三个参数,分别为标签名、属性和文本,在没有传入参数的情况下,find_all() 方法会查找所有标签和内容。返回的结果以列表的形式存储,可以通过遍历来进行操作。
相关问题
data = soup.find('div', {'class': 'report-list report-list__item'}).find_all('div')[1].find_all('table')[0].find_all('tr')[1:-1] AttributeError: 'NoneType' object has no attribute 'find_all'
这个错误提示通常是因为`find()`或`find_all()`方法没有找到指定的标签或属性,返回了`None`对象,而`None`对象并没有`find_all()`方法。
你可以在运行`find()`或`find_all()`方法之前,先判断一下对象是否为`None`,避免这个错误的发生。例如:
```
data_div = soup.find('div', {'class': 'report-list report-list__item'})
if data_div:
data_table = data_div.find_all('div')[1].find_all('table')[0]
if data_table:
data = data_table.find_all('tr')[1:-1]
```
这样就可以避免对`None`对象调用`find_all()`方法导致的错误。
import requests # 导入网页请求库 from bs4 import BeautifulSoup # 导入网页解析库 import pandas as pd import numpy as np import re import matplotlib.pyplot as plt from pylab import mpl danurl=[]; def get_danurl(surl): r=requests.get(surl) r.encoding='utf-8' demo=r.text soup=BeautifulSoup(demo,"html.parser") wangzhi=soup.find_all('a',string=re.compile('杭州市小客车增量指标竞价情况')) list3=' '.join('%s' %id for id in wangzhi) res_url=r'href="(.*?)"' alink = re.findall(res_url, list3, re.I | re.S | re.M) return alink def get_page(url): mydict={} r=requests.get(url) r.encoding='utf-8' demo=r.text #print(demo) soup=BeautifulSoup(demo,"html.parser") try: duan2=soup.find_all('p',class_="p")[0].text duan3=soup.find_all('p',class_="p")[2].text pattern3 = re.compile(r'(?<=个人)\d+.?\d*') gerenbj=pattern3.findall(duan2)[0] jingjiariqi=soup.find_all('p',class_="p")[0].text.split('。')[0] except IndexError: duan2=soup.find_all('p',class_="p")[2].text duan3=soup.find_all('p',class_="p")[4].text pattern3 = re.compile(r'(?<=个人)\d+.?\d*') gerenbj=pattern3.findall(duan2)[0] jingjiariqi=soup.find_all('p',class_="p")[2].text.split('。')[0] duan1=soup.find_all('p')[1].text pattern1 = re.compile(r'(?<=个人增量指标)\d+.?\d*') gerenzb=pattern1.findall(duan1)[0] pattern2 = re.compile(r'(?<=单位增量指标)\d+.?\d*') danweizb=pattern2.findall(duan1)[0] pattern4 = re.compile(r'(?<=单位)\d+.?\d*') danweibj=pattern4.findall(duan2)[0] pattern5 = re.compile(r'(?<=个人)\d+.?\d*') mingerencjj=pattern5.findall(duan3)[0] avegerencjj=pattern5.findall(duan3)[1] pattern6 = re.compile(r'(?<=单位)\d+.?\d*') mindanweicjj=pattern6.findall(duan3)[0] avedanweicjj=pattern6.findall(duan3)[1] pattern7 = re.compile(r'(?<=成交)\d+.?\d*') mingerencjs=pattern7.findall(duan3)[0] mindanweicjs=pattern7.findall(duan3)[1] 解释代码
这段代码是用来爬取杭州市小客车增量指标竞价情况的数据。首先导入了requests库和BeautifulSoup库,用于进行网页请求和解析。然后定义了一个函数`get_danurl`,用于获取竞价情况网页的链接。函数中首先发送一个GET请求获取网页内容,然后使用BeautifulSoup进行解析,找到所有包含"杭州市小客车增量指标竞价情况"文本的链接,并通过正则表达式提取出链接地址。接下来是`get_page`函数,用于获取具体页面的数据。函数中同样发送一个GET请求获取网页内容,并使用BeautifulSoup进行解析。然后通过一些规则提取出所需的数据,如个人增量指标、单位增量指标、个人竞价、单位竞价、个人成交、单位成交等。最后返回一个包含这些数据的字典。
阅读全文