python读入txt再进行分词

可以使用Python的内置模块`codecs`来读取txt文件，并使用第三方库`jieba`进行分词。下面是示例代码：

import codecs
import jieba

# 读取txt文件
with codecs.open('input.txt', 'r', 'utf-8') as file:
    text = file.read()

# 分词
seg_list = jieba.cut(text)

# 打印分词结果
print("分词结果: " + "/ ".join(seg_list))

请确保已经安装了`jieba`库，可以使用`pip install jieba`命令进行安装。

将你的文本文件命名为`input.txt`，并放置在与Python脚本相同的目录下。运行上述代码，它将读取文本文件并输出分词结果。

相关问题

根据我的需求返回函数代码（python语言）：从指定文件夹批量读入txt文件，使用结巴库分词处理后再批量写入对应的新txt文件中。

以下是根据您的需求编写的Python函数代码：

import os
import jieba

def batch_process_files(input_folder, output_folder):
    """
    批量处理指定文件夹中的txt文件，使用结巴库分词处理后再写入对应的新txt文件中

    Args:
    input_folder: str, 指定文件夹路径，该文件夹中应只包含需要处理的txt文件
    output_folder: str, 指定输出文件夹路径，用于存储分词后的txt文件

    Returns:
    None
    """
    if not os.path.exists(output_folder):
        os.makedirs(output_folder)

    for filename in os.listdir(input_folder):
        if filename.endswith('.txt'):
            with open(os.path.join(input_folder, filename), 'r', encoding='utf-8') as f:
                content = f.read()

            words = jieba.cut(content)

            output_filename = os.path.join(output_folder, filename)
            with open(output_filename, 'w', encoding='utf-8') as f:
                f.write(' '.join(words))

使用方法：

调用 `batch_process_files(input_folder, output_folder)` 函数，其中 `input_folder` 为包含待处理文本的文件夹路径，`output_folder` 为存储分词后文本的文件夹路径。该函数会按照指定的路径批量处理文本，将分词后的结果存储在指定的输出文件夹中。

使用Python编写程序，附件（沉默的羔羊.txt）是《沉默的羔羊》中文版内容，请读入文件内容，进行分词后（采用第三方库jieba进行分词）输出长度大于2且出现次数最多的单词。如果存在多个单词出现频率一致，请输出按照Unicode排序后最大的单词。

首先，你需要安装jieba分词库，可以使用pip进行安装：

pip install jieba

然后，我们可以使用以下Python代码来实现你的需求：

import jieba
from collections import Counter

# 读取文件内容
with open("沉默的羔羊.txt", 'r', encoding='utf-8') as file:
    text = file.read()

# 使用jieba进行分词
words = jieba.lcut(text)

# 过滤掉长度小于等于2的单词
filtered_words = [word for word in words if len(word) > 2]

# 统计单词频率
word_count = Counter(filtered_words)

# 找到出现频率最高的单词
most_common_words = word_count.most_common()

# 如果有多个单词频率相同，我们按照Unicode编码从大到小排序
sorted_most_common_words = sorted(most_common_words, key=lambda x: (x[1], -ord(x[0])), reverse=True)

# 输出结果
for word, freq in sorted_most_common_words:
    print(f"{word}: {freq}")

这段代码会先读取文件内容，然后使用jieba对文本进行分词，并过滤掉长度小于等于2的单词。接着计算每个单词的出现频率，并找出出现次数最多的一组（如果有多个）。最后，对于频率相同的单词，它们会被按照Unicode码点值从大到小排序。