from requests_html import HTMLSession,HTMLSession有哪些函数方法
时间: 2023-03-31 09:03:25 浏览: 137
HTMLSession有以下常用函数方法:
1. get(url, params=None, **kwargs):发送GET请求,获取网页内容。
2. post(url, data=None, json=None, **kwargs):发送POST请求,提交表单数据。
3. html.render():渲染网页,执行JavaScript代码。
4. html.find(selector, first=False):查找网页中符合选择器的元素。
5. html.search(pattern):在网页中查找符合正则表达式的内容。
6. html.links:获取网页中所有链接。
7. html.absolute_links:获取网页中所有绝对链接。
8. html.html:获取网页的HTML源代码。
9. html.text:获取网页的纯文本内容。
10. html.session:获取当前会话对象。
相关问题
这些代码作用from datetime import datetime from requests_html import HTMLSession import re, time from openpyxl import load_workbook, Workbook import urllib3 # 解除警告 from dfohisa import link_mysql
这些代码的作用是导入一些 Python 模块和库,包括:
- datetime:用于处理日期和时间的模块。
- requests_html:用于发起 HTTP 请求和解析 HTML 的模块。
- re:用于正则表达式匹配的模块。
- time:用于处理时间的模块。
- openpyxl:用于读写 Excel 文件的模块。
- urllib3:用于发起 HTTP 请求的模块。
- dfohisa:一个自定义模块,可能包含数据库连接和操作的函数。
这些代码导入的模块和库可以帮助实现爬虫、数据处理和数据库操作等功能。
from requests_html import HTMLSession session = HTMLSession() import time import csv import os def save_data(lists,name): file_name = f'{name}.csv' if not os.path.exists(file_name): open(file_name, 'w', encoding='utf_8_sig', newline='') with open(file_name, 'r', encoding='utf_8_sig') as f: res = csv.reader(f) res = [i for i in res] f1 = open(file_name, 'w', encoding='utf_8_sig', newline='') w = csv.writer(f1) # if len(res) == 0: # w.writerow(title) w.writerows(res) w.writerows(lists)是什么意思
这段代码是一个用于保存数据到CSV文件的函数 `save_data()`。它接受两个参数,一个是列表 `lists`,另一个是文件名 `name`。
首先,函数根据给定的文件名创建一个CSV文件,如果文件不存在的话。然后,它使用`open()`函数打开这个CSV文件,并使用`csv.reader(f)`读取文件中的内容。将读取到的内容存储在变量 `res` 中,这个变量是一个包含了CSV文件中每一行数据的列表。
接着,函数再次使用`open()`函数打开同一个CSV文件,并使用`csv.writer(f1)`创建一个写入器对象 `w`,用于将数据写入到CSV文件中。然后,代码通过调用`w.writerows(res)`将之前读取到的数据写入到CSV文件中。接着,通过调用`w.writerows(lists)`将参数中传递进来的列表 `lists` 中的数据写入到CSV文件中。
总体来说,这段代码的作用是将之前读取到的数据和新的数据一起写入到CSV文件中。如果CSV文件不存在,则会先创建一个空的CSV文件。在写入新的数据之前,会先将之前的数据读取出来并写入到新的CSV文件中。最终,新的数据和之前的数据都会被保存在同一个CSV文件中。
阅读全文