掌握Google Earth Engine数据提取技巧

需积分: 9 1 下载量 181 浏览量 更新于2024-11-28 收藏 12KB ZIP 举报
知识点: 1. Google Earth Engine简介: Google Earth Engine是一个全球尺度的云计算平台,用于处理地球科学相关的海量空间数据。它包含历史卫星数据和地理信息数据集,并允许用户在云端进行数据分析和可视化。该平台特别适用于进行大规模的地表监测、气候变化研究、地理和环境分析等任务。 2. Jupyter Notebook的作用: Jupyter Notebook是一个开源的Web应用程序,允许创建和共享包含实时代码、方程式、可视化和解释性文本的文档。它广泛用于数据清洗和转换、统计建模、数据可视化、机器学习等众多领域。在Google Earth Engine中使用Jupyter Notebook能够方便用户交互式地执行代码并立即看到结果。 3. 数据提取: 数据提取是将特定信息从数据源中分离出来的过程。在Google Earth Engine的背景下,数据提取意味着从地球引擎庞大的数据集中提取出用户感兴趣的部分,如特定地区的卫星图像、时间序列数据等。数据提取的方法很多样,可以通过时间、空间、特定指标或其组合来过滤数据。 4. 使用Google Earth Engine进行数据提取的步骤: 用户首先需要在Google Earth Engine平台上注册账号,然后通过其API进行编程。可以使用JavaScript API或者Python API(EE Python API)进行数据提取,这需要用户具备一定的编程基础。 5. ee_data_extract: ee_data_extract是一个专门用于从Google Earth Engine中提取数据的工具或功能。尽管没有更多具体信息,我们可以推测该工具或功能可能是一个封装好的库或插件,它能够简化从Google Earth Engine提取数据的过程,可能包括特定的数据操作函数、预设的数据处理流程或者可视化结果的功能。 6. 压缩包子文件: 在上下文中,"压缩包子文件"可能是指一个包含ee_data_extract工具或功能的压缩包文件。通常,压缩文件可以用来打包多个文件,以便于传输和分发。这个压缩包可能包含了一些脚本文件、库文件或文档,它们是ee_data_extract功能的组成部分。 7. Jupyter Notebook与Google Earth Engine的整合: 在Jupyter Notebook中整合Google Earth Engine通常涉及到Google提供的专用工具和库。用户需要在Notebook中导入这些库,并使用它们提供的函数和接口来访问和操作Earth Engine中的数据。这包括初始化Earth Engine,执行数据查询、处理和可视化等操作。 8. 交互式笔记本的使用: 在Jupyter Notebook中,用户可以创建一个交互式笔记本,通过这个笔记本执行Python代码来与Google Earth Engine进行交互。用户能够直接在Notebook中编写代码,执行数据分析,并即时看到结果。这种实时反馈的方式极大地方便了用户在进行数据处理和探索性分析时的工作效率。 9. 交互式笔记本的访问方法: 用户若要访问交互式笔记本,通常需要通过特定的URL地址。这个地址可能是Google Earth Engine提供的一个在线服务,或者用户自己的服务器地址,通过这个链接用户可以打开在线的Jupyter Notebook环境,并开始使用ee_data_extract进行数据提取。 总结,Google Earth Engine是一个强大的工具,用于管理和分析地理空间数据,而Jupyter Notebook提供了一个优秀的交互式环境,让这些操作变得更加方便和可视化。ee_data_extract作为可能存在的一个工具或功能,旨在简化从Google Earth Engine中提取数据的过程,提高数据处理的效率。通过使用压缩包子文件和Jupyter Notebook的组合,用户能够更加便捷地进行学习、实验和展示自己的数据分析成果。

帮我把以下数据变成json格式:{ "switch_Cash": "Y", "pageMark": "add", "tx_date": "20230305", "cur_no": "1", "sfk_type": "03", "lease_type": "经营租赁", "change_rate": "0", "cap_name": "20220731SYZC000271", "lease_no": "20220731SYZC000271", "contract_key": "6980120220731001", "contract_name": "测试合同20220731-01", "bef_arch_area": "300", "bef_cash_rate: 2.38, "bill_type: 3, "bef_tax_rate: 5, "sfk_term: 4, "bef_tot_pay_time: 2, "bef_eve_amt: 22500, "exe_renew: N, "bef_renew_amt: 0, "bef_renew_eve_amt: 0, "bef_tot_pay_amt: 19047.62, "bef_unset_fin_exp: 221.39, "bef_contract_amt: 45000, "sige_date: 20220731, "bef_arch_position: 广州省佛山市宝芝林, "bef_effect_date: 20220801, "bef_mtr_date: 20240730, "bef_first_fk_date: 20220731,, "bef_renew_eft_date: , bef_renew_mtr_date: , aft_arch_area: 300, aft_bill_type: 3, aft_tax_rate: 5, aft_levy_rate: 5, aft_cash_rate: 2.38, aft_sfk_type: 03, aft_exe_renew: N, is_onchange: N, aft_sfk_term: 4, aft_contract_amt: 45000.00, aft_tot_pay_time: 2, aft_eve_amt: 22500, bef_renew_tot_pay_time: 0, max_term_seqn: 0, aft_effect_date: 20220801, aft_mtr_date: 20240730, aft_first_fk_date: 20220731, aft_renew_eft_date: , aft_renew_mtr_date: , bef_levy_rate: 5, cap_code: fjr0901, lease_no1: 20220731SYZC000271, aft_tot_pay_amt: 42857.14, aft_unset_fin_exp: 184.48999999999796, apply_amt: 23809.52, remark: test0609, change_valid_date: 20230609, cap_name_zh_: 测试资产-20230731-01, cur_no_zh_: 人民币, sfk_type_zh_: 周期性, flowable_: 1, flowable_targetNodeData: {"category":"CWSYS_69","isInput":"1","menuName":"使用权资产变更","pageNo":"cwsys_05_07"}, flowable_file_dataInfo: {"flowable_file_storeType":"undefined","flowable_file_split":false,"flowable_file_canDelete":true,"flowable_file_readOnly":false,"flowable_file_id":"FL-495eabb0-069c-11ee-9b92-59e9b66c35e6"}, cashList: [{"contract_no":"20220731HTXX000001","pay_date":"20220731","no":"20230201XJL000031","pay_amt":"25000.00","term_start_date":"20220801","create_trace_no":"16","tx_date":"0","trace_no":"0","term_end_date":"20230731","pay_sts":"未支付","version":"1","tax_rate":"0.00","term_seqn":"1","tax_amt":"1190.48","pay_sts_val":"0","id":"1","create_date":"20230201","levy_rate":"0.00"},{"contract_no":"20220731HTXX000001","pay_date":"20230731","no":"20230201XJL000032","pay_amt":"20000.00","term_start_date":"20230731","create_trace_no":"16","tx_date":"0","trace_no":"0","term_end_date":"20240730","pay_sts":"未支付","version":"1","tax_rate":"0.00","term_seqn":"2","tax_amt":"952.38","pay_sts_val":"0","id":"1","create_date":"20230201","levy_rate":"0.00"}] }

240 浏览量

解释代码 #加载数据 path_absolute_log = r"F:\数据处理比赛\BDC2023\处理数据log" paths_log_file = os.listdir(path_absolute_log) #获取绝对路径 def make_paths_absolute(paths_file): path_absolute = path_absolute_log paths_absolute_file = os.path.join(path_absolute,paths_file) return paths_absolute_file paths_absolute_log_file = list(map(make_paths_absolute,paths_log_file)) #对表格处理 path_absolute_log_file = r"F:\数据处理比赛\BDC2023\处理数据log\4ff8b802-0d87-11ee-af51-525400d4ffe4_log.csv" def form_data(path_absolute_log_file): data_log = pd.read_csv(path_absolute_log_file) data_log.insert(data_log.shape[1], 'id_score', np.nan) data_log.insert(data_log.shape[1], 'id', os.path.basename(path_absolute_log_file)[:-8]) data_log_message = data_log['message'] def jieba_data(data): data_log_jieba_message = [] data_log_jieba_message.append(','.join(jieba.cut_for_search(data))) print(data_log_jieba_message) return data_log_jieba_message data_log_jieba_message = data_log_message.map(jieba_data) def form_work(data): feature_words = ['bug','ERROR','WARNING','error','WARN','empty','错误','失败','未登录'] set_data = set(str(data)[2:-2].split(',')) set_feature_words = set(feature_words) set_mysql = set('mysql') score = [] if set_data.intersection(set_feature_words): score.append() if set_mysql.intersection(set_feature_words): score.append('LTE4MDK5Mzk2NjU1NiM1ODIONDC=') score = str(score)[2:-2] print(score) return score data_log['id_score'] = data_log_jieba_message.map(form_work) return data_log data_log = form_data(path_absolute_log_file)

136 浏览量