re.findall('[]', data) 读取中文字符串
时间: 2024-01-22 09:01:48 浏览: 17
如果要读取中文字符串,需要指定字符串的编码方式。如果是在 Python3 中,一般情况下中文字符串都是以 Unicode 编码保存的,可以直接读取,不需要指定编码方式。如果你有一个以其他编码方式保存的中文字符串,例如 GBK 或者 UTF-8,可以在打开文件时指定编码方式,例如:
```
with open('data.txt', encoding='gbk') as f:
data = f.read()
re.findall('正则表达式', data)
```
其中 `gbk` 是字符串的编码方式,需要根据实际情况进行调整。
相关问题
File "D:\code-python\pythonerweima\2.py", line 23, in <module> wc.generate(words) File "C:\Users\hcx\AppData\Local\Programs\Python\Python310\lib\site-packages\wordcloud\wordcloud.py", line 639, in generate return self.generate_from_text(text) File "C:\Users\hcx\AppData\Local\Programs\Python\Python310\lib\site-packages\wordcloud\wordcloud.py", line 620, in generate_from_text words = self.process_text(text) File "C:\Users\hcx\AppData\Local\Programs\Python\Python310\lib\site-packages\wordcloud\wordcloud.py", line 582, in process_text words = re.findall(regexp, text, flags) File "C:\Users\hcx\AppData\Local\Programs\Python\Python310\lib\re.py", line 240, in findall return _compile(pattern, flags).findall(string) TypeError: expected string or bytes-like object
这个错误是由于您传递给 `WordCloud.generate()` 方法的参数不是字符串或字节对象。这个方法只接受字符串或字节对象作为输入。请检查您的代码,确保您正在传递一个字符串或字节对象给 `generate()` 方法。如果您的参数是一个文件名或文件对象,请使用 `open()` 函数打开文件并读取其内容,然后将内容作为字符串传递给 `generate()` 方法。如果您的参数是一个列表或其他可迭代对象,请使用 `join()` 方法将其转换为一个字符串。
# -- coding: utf-8 -- import urllib.request import re def getNovertContent(): url = 'http://www.quannovel.com/read/640/' req = urllib.request.Request(url) req.add_header('User-Agent', ' Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36') data = urllib.request.urlopen(req).read().decode('gbk') str1 = str(data) # 将网页数据转换为字符串 reg = r'<li><a href="(.*?)" title=".*?">(.*?)</a><li>' reg = re.compile(reg) urls = reg.findall(str1) for url in urls: novel_url = url[0] novel_title = url[1] chapt = urllib.request.urlopen(novel_url).read() chapt_html = chapt.decode('gbk') reg = r'</script> (.*?)</script type="text/javascript">' reg = re.compile(reg, re.S) chapt_content = reg.findall(chapt_html) chapt_content = chapt_content[0].replace( " ", "") chapt_content = chapt_content.replace("<br />", "") print("正在保存 %s" % novel_title) with open("{}.txt".format(novel_title), 'w', encoding='utf-8') as f: f.write(chapt_content) getNovertContent()
这段代码是用Python编写的,其功能是从一个小说网站上爬取小说的章节内容,并保存为txt文件。具体的实现过程如下:
1. 首先导入了两个Python标准库urllib和re。其中,urllib库用于进行网络请求和数据下载,re库用于进行正则表达式匹配。
2. 定义了一个名为getNovertContent()的函数,该函数中包含以下步骤:
a. 设置了要爬取的小说网站的URL地址,并构建了一个请求对象req,其中添加了一个User-Agent参数,用于模拟浏览器发起请求。
b. 调用urllib.request.urlopen()方法发送请求,并读取响应数据。这里将响应数据解码为gbk编码格式的字符串。
c. 使用正则表达式匹配章节URL和章节标题,并将它们保存到一个列表urls中。
d. 循环遍历urls列表,依次访问每个章节的URL,获取章节的HTML代码,并使用正则表达式匹配出章节正文内容。
e. 对章节正文内容进行一些处理,去掉空格和换行符等无用字符,并将处理后的内容保存到一个以章节标题命名的txt文件中。
f. 最后输出一条正在保存的提示信息,以便用户了解当前爬取进度。
3. 调用getNovertContent()函数,开始执行爬取任务。