lis = data.find('ul') AttributeError: 'NoneType' object has no attribute 'find'

时间: 2024-01-08 14:03:40 浏览: 27
根据提供的引用内容,出现了一个AttributeError: 'NoneType' object has no attribute 'find'的错误。这个错误通常发生在尝试在一个None对象上调用find()方法时。这意味着在这段代码中,data对象是None,而不是一个有效的对象。 为了解决这个问题,你可以检查一下data对象是否被正确地初始化或赋值。确保data对象是一个有效的对象,并且具有find()方法。 另外,你还可以使用条件语句来检查data对象是否为None,以避免出现这个错误。例如: ```python if data is not None: lis = data.find('ul') ``` 这样,只有当data对象不为None时,才会执行find()方法。
相关问题

selector = parsel.Selector(html_data) lis = selector.css('.list_item h2 a::attr(href)').getall() details = [] for li in lis: detail_url = 'https://travel.qunar.com'+ li detail_html = requests.get(detail_url).text只能输出最后一个域名的网站

根据您提供的代码,您将多个域名与一个网站合并的方式是将多个 detail_url 存储在一个列表中,然后对列表进行循环遍历,依次发送请求获取每个网站的 html 数据。 在循环中,您使用 `detail_url = 'https://travel.qunar.com'+ li` 将当前遍历到的 li 和 'https://travel.qunar.com' 进行拼接,从而获取完整的 detail_url。但是,您没有将获取到的每个网站的 html 数据存储在一个列表中,而是每次都将获取到的 html 数据赋值给了 detail_html 变量,因此最终 detail_html 只会保存最后一个网站的 html 数据。 为了解决这个问题,您可以将每个网站的 html 数据存储在一个列表中,然后在循环结束后对列表进行处理。修改后的代码如下: ```python selector = parsel.Selector(html_data) lis = selector.css('.list_item h2 a::attr(href)').getall() details = [] for li in lis: detail_url = 'https://travel.qunar.com' + li detail_html = requests.get(detail_url).text details.append(detail_html) # 对获取到的每个网站的 html 数据进行处理 for detail_html in details: # 处理代码 pass ``` 这样,每次获取到的网站的 html 数据都会被存储在 details 列表中,循环结束后可以对列表中的数据进行处理。

import requests import parsel import csv f = open('射击.csv', mode='w', encoding='utf-8-sig', newline='') csv_writer = csv.DictWriter(f, fieldnames=['游戏名字', '游戏地址']) csv_writer.writeheader() for page in range(1, 300): url = 'https://www.4399.com/flash_fl/4_1.htm'.format(page) headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36' } response = requests.get(url=url, headers=headers) response.encoding = response.apparent_encoding selector = parsel.Selector(response.text) lis = selector.css('#classic li') for li in lis: dit ={} data_url = li.css('a::attr(href)').get() new_url = 'http://www.4399.com' + data_url.replace('http://','/') dit['游戏地址'] = new_url title = li.css('img::attr(alt)').get() dit['游戏名字'] = title print(title, new_url) csv_writer.writerow(dit)怎么改成用xpath的

你可以将 `selector = parsel.Selector(response.text)` 改为 `selector = etree.HTML(response.text)`,然后使用 XPath 语法来解析 HTML 页面,下面是修改后的代码: ``` import requests from lxml import etree import csv f = open('射击.csv', mode='w', encoding='utf-8-sig', newline='') csv_writer = csv.DictWriter(f, fieldnames=['游戏名字', '游戏地址']) csv_writer.writeheader() for page in range(1, 300): url = 'https://www.4399.com/flash_fl/4_1.htm'.format(page) headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36' } response = requests.get(url=url, headers=headers) response.encoding = response.apparent_encoding selector = etree.HTML(response.text) lis = selector.xpath('//*[@id="classic"]/li') for li in lis: dit = {} data_url = li.xpath('a/@href')[0] new_url = 'http://www.4399.com' + data_url.replace('http://', '/') dit['游戏地址'] = new_url title = li.xpath('a/img/@alt')[0] dit['游戏名字'] = title print(title, new_url) csv_writer.writerow(dit) f.close() ``` 这里使用 XPath 语法,将 `lis` 变量中的值直接改为 `li`,然后在内部使用 XPath 表达式来获取游戏地址和游戏名称。

相关推荐

分析这段python代码,import requests import parsel import csv import time f = open('book.csv', mode='a', encoding='utf-8-sig', newline='') csv_writer = csv.DictWriter(f, fieldnames=[ '标题', '推荐', '评价', '作者', '出版日期', '出版社', '原价', '售价', '折扣', '电子书价格', '详情页', ]) csv_writer.writeheader() for page in range(1,26): print(f"----------------------------正在爬取第{page}页数据--------------------------------") time.sleep(2.5) url = f"http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-24hours-0-0-1-{page}" headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36 Edg/113.0.1774.57' } response = requests.get(url=url, headers=headers) # print(response.text) selector = parsel.Selector(response.text) lis = selector.css('ul.bang_list li') for li in lis: title = li.css('.name a::attr(title)').get() href = li.css('.name a::attr(href)').get() comment = li.css('.star a::text').get() recommend = li.css('.tuijian::text').get() author = li.css('div:nth-child(5) a:nth-child(1)::attr(title)').get() date = li.css('div:nth-child(6) span::text').get() press = li.css('div:nth-child(6) a::text').get() price_n = li.css('div.price p:nth-child(1) span.price_n::text').get() price_r = li.css('div.price p:nth-child(1) span.price_r::text').get() price_s = li.css('div.price p:nth-child(1) span.price_s::text').get() ebook = li.css('.price_e .price_n::text').get() dit = { '标题': title, '推荐': comment, '评价': recommend, '作者': author, '出版日期': date, '出版社': press, '原价': price_r, '售价': price_n, '折扣': price_s, '电子书价格': ebook, '详情页': href, } csv_writer.writerow(dit)

import requests import random import parsel visited_urls = set() # 保存已经访问过的链接 page = 1 while True: # 循环爬取 url = f'https://travel.qunar.com/travelbook/list.htm?page={page}&order=hot_heat' html_data = requests.get(url).text selector = parsel.Selector(html_data) lis = selector.css('.list_item h2 a::attr(href)').getall() # 遍历当前页面中的所有链接 for li in lis: detail_url = 'https://travel.qunar.com' + li if detail_url in visited_urls: # 如果链接已经访问过,则跳过 continue visited_urls.add(detail_url) # 将链接加入集合中 detail_html = requests.get(detail_url).text time.sleep(random.randint(3, 5)) detail_selector = parsel.Selector(detail_html) title = detail_selector.css('.b_crumb_cont *:nth-child(3)::text').get() comment = detail_selector.css('.title.white::text').get() view_count = detail_selector.css('.view_count::text').get() date = detail_selector.css('#js_mainleft > div.b_foreword > ul > li.f_item.when > p > span.data::text').get() days = detail_selector.css('#js_mainleft > div.b_foreword > ul > li.f_item.howlong > p > span.data::text').get() money = detail_selector.css('#js_mainleft > div.b_foreword > ul > li.f_item.howmuch > p > span.data::text').get() character = detail_selector.css('#js_mainleft > div.b_foreword > ul > li.f_item.who > p > span.data::text').get() play_list = detail_selector.css('#js_mainleft > div.b_foreword > ul > li.f_item.how > p > span.data > span::text').getall() for play in play_list: print(play) print(title, comment, view_count, date, days, money, character, play_list, detail_url) time.sleep(random.randint(3, 5)) # 判断是否需要继续爬取 if len(lis) == 0 or page >= 20: break page += 1这段代码怎么将爬取出来的所有数据保存到csv文件

from selenium import webdriver # 导入时间模块 import time # 导入元素定位功能 from selenium.webdriver.common.by import By # driver.find_element_by_css_selector() 4 一定会报错 弃用 3 # 导入数据请求模块 import requests # 数据解析模块 import parsel # 实例化一个浏览器对象 driver = webdriver.Chrome() # 打开浏览器的窗口 driver.get('https://www.jsyks.com/kmy-mnks') # 强制等待 time.sleep(2) # 最大化浏览器的窗口 driver.maximize_window() # 隐式等待 智能 driver.implicitly_wait(10) # elements 返回的是一个列表对象 lis = driver.find_elements(By.CSS_SELECTOR, '.Content>li') # print(len(lis)) # print(lis) for li in lis: time.sleep(0.2) # 优先考虑使用随机数 rid = li.get_attribute('c') # print(rid) url = f'https://tiba.jsyks.com/Post/{rid}.htm' # 获取到响应体对象的文本数据 response = requests.get(url=url).text # 转对象 selector = parsel.Selector(response) answer = selector.css('#question u::text').get() # print(answer) # 重新赋值 if answer == '对': answer = '正确' elif answer == '错': answer = '错误' # else: 不确定的情况 # print(answer) bs = li.find_elements(By.CSS_SELECTOR, 'B') for b in bs: # 获取选项的内容 choose = b.text # print('题目的选项是', choose) # print('正确答案是', answer) # 可能错题 # if answer in choose: # # 正确答案的点击操作 # b.click() if len(choose) > 2: choose = choose[0] if answer == choose: b.click() # 提交试卷 driver.find_element(By.CSS_SELECTOR, '.btnJJ').click() # 添加阻塞 input() # 关闭浏览器 driver.quit()

import time import csv import pandas as pd from selenium import webdriver from selenium.webdriver import Chrome,ChromeOptions from selenium.webdriver.common.by import By # driver_path = r'C:\Program Files\Google\Chrome\Application\chrome.exe' driver = webdriver.Chrome() driver.get('https://www.jd.com/') def drop_down(): for x in range(1,9,2): time.sleep(1) j = x /9 js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % j driver.execute_script(js) driver.find_element(By.CSS_SELECTOR,'#key').send_keys('燕麦') driver.find_element(By.CSS_SELECTOR,'.button').click() f = open(f'B:\京东商品数据.csv', mode='a', encoding='gbk', newline='') csv_writer = csv.DictWriter(f, fieldnames=[ '商品标题', '商品价格', '店铺名字', '标签', '商品详情页', ]) csv_writer.writeheader() 商品信息 = [] def get_shop(): time.sleep(10) # driver.implicitly_wait(10) drop_down() lis = driver.find_elements(By.CSS_SELECTOR,'#J_goodsList ul li') for li in lis: title = li.find_element(By.CSS_SELECTOR,'.p-name em').text.replace('\n', '') price = li.find_element(By.CSS_SELECTOR,'.p-price strong i').text shop_name = li.find_element(By.CSS_SELECTOR,'.J_im_icon a').text href = li.find_element(By.CSS_SELECTOR,'.p-img a').get_attribute('href') icons = li.find_elements(By.CSS_SELECTOR,'.p-icons i') icon = ','.join([i.text for i in icons]) dit = { '商品标题':title, '商品价格':price, '店铺名字':shop_name, '标签':icon, '商品详情页':href, } csv_writer.writerow(dit) # print(title,price,href,icon,sep=' | ') for page in range(1,3): time.sleep(1) drop_down() get_shop() driver.find_element(By.CSS_SELECTOR,'.pn-next').click() driver.quit() # data = csv.reader(open('B:\京东商品数据.csv'),delimiter=',') # sortedl = sorted(data,key=lambda x:(x[0],x[1]),reverse=True) # print('最贵的商品信息') # print(sortedl) # with open('B:\京东商品数据.csv','r',encoding='gbk') as f: # f_csv = csv.reader(f) # max_price = 0 # next(f_csv) # for row in f_csv: # if row[1].isdigit() and int(row[1]) > max_price: # max_price = int(row[1]) # print(max_price) with open('B:\京东商品数据.csv', 'r') as file: reader = csv.reader(file) header =next(reader) next(reader) max_price = float('-inf') for row in reader: num = float(row[1]) if num > max_price: max_price = num item = row[0] name_0= row[2] print(item,max_price,name_0)程序中出现ValueError: could not convert string to float: '商品价格'解决方法

最新推荐

recommend-type

ansys maxwell

ansys maxwell
recommend-type

matlab基于不确定性可达性优化的自主鲁棒操作.zip

matlab基于不确定性可达性优化的自主鲁棒操作.zip
recommend-type

zigbee-cluster-library-specification

最新的zigbee-cluster-library-specification说明文档。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

实现实时数据湖架构:Kafka与Hive集成

![实现实时数据湖架构:Kafka与Hive集成](https://img-blog.csdnimg.cn/img_convert/10eb2e6972b3b6086286fc64c0b3ee41.jpeg) # 1. 实时数据湖架构概述** 实时数据湖是一种现代数据管理架构,它允许企业以低延迟的方式收集、存储和处理大量数据。与传统数据仓库不同,实时数据湖不依赖于预先定义的模式,而是采用灵活的架构,可以处理各种数据类型和格式。这种架构为企业提供了以下优势: - **实时洞察:**实时数据湖允许企业访问最新的数据,从而做出更明智的决策。 - **数据民主化:**实时数据湖使各种利益相关者都可
recommend-type

2. 通过python绘制y=e-xsin(2πx)图像

可以使用matplotlib库来绘制这个函数的图像。以下是一段示例代码: ```python import numpy as np import matplotlib.pyplot as plt def func(x): return np.exp(-x) * np.sin(2 * np.pi * x) x = np.linspace(0, 5, 500) y = func(x) plt.plot(x, y) plt.xlabel('x') plt.ylabel('y') plt.title('y = e^{-x} sin(2πx)') plt.show() ``` 运行这段
recommend-type

JSBSim Reference Manual

JSBSim参考手册,其中包含JSBSim简介,JSBSim配置文件xml的编写语法,编程手册以及一些应用实例等。其中有部分内容还没有写完,估计有生之年很难看到完整版了,但是内容还是很有参考价值的。
recommend-type

"互动学习:行动中的多样性与论文攻读经历"

多样性她- 事实上SCI NCES你的时间表ECOLEDO C Tora SC和NCESPOUR l’Ingén学习互动,互动学习以行动为中心的强化学习学会互动,互动学习,以行动为中心的强化学习计算机科学博士论文于2021年9月28日在Villeneuve d'Asq公开支持马修·瑟林评审团主席法布里斯·勒菲弗尔阿维尼翁大学教授论文指导奥利维尔·皮耶昆谷歌研究教授:智囊团论文联合主任菲利普·普雷教授,大学。里尔/CRISTAL/因里亚报告员奥利维耶·西格德索邦大学报告员卢多维奇·德诺耶教授,Facebook /索邦大学审查员越南圣迈IMT Atlantic高级讲师邀请弗洛里安·斯特鲁布博士,Deepmind对于那些及时看到自己错误的人...3谢谢你首先,我要感谢我的两位博士生导师Olivier和Philippe。奥利维尔,"站在巨人的肩膀上"这句话对你来说完全有意义了。从科学上讲,你知道在这篇论文的(许多)错误中,你是我可以依
recommend-type

实现实时监控告警系统:Kafka与Grafana整合

![实现实时监控告警系统:Kafka与Grafana整合](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9BVldpY3ladXVDbEZpY1pLWmw2bUVaWXFUcEdLT1VDdkxRSmQxZXB5R1lxaWNlUjA2c0hFek5Qc3FyRktudFF1VDMxQVl3QTRXV2lhSWFRMEFRc0I1cW1ZOGcvNjQw?x-oss-process=image/format,png) # 1.1 Kafka集群架构 Kafka集群由多个称为代理的服务器组成,这
recommend-type

导入numpy库,创建两个包含9个随机数的3*3的矩阵,将两个矩阵分别打印出来,计算两个数组的点积并打印出来。(random.randn()、dot()函数)

可以的,以下是代码实现: ```python import numpy as np # 创建两个包含9个随机数的3*3的矩阵 matrix1 = np.random.randn(3, 3) matrix2 = np.random.randn(3, 3) # 打印两个矩阵 print("Matrix 1:\n", matrix1) print("Matrix 2:\n", matrix2) # 计算两个数组的点积并打印出来 dot_product = np.dot(matrix1, matrix2) print("Dot product:\n", dot_product) ``` 希望