自然语言处理计算文件中中英文的熵用python编写代码

以下是一个简单的Python程序，用于计算文件中的中英文熵。

import math
import re

def read_file(file_path):
    with open(file_path, 'r', encoding='utf-8') as f:
        return f.read()

def calc_entropy(text):
    # 统计字符出现次数
    char_counts = {}
    for c in text:
        if c not in char_counts:
            char_counts[c] = 1
        else:
            char_counts[c] += 1

    # 计算熵
    entropy = 0
    total_count = sum(char_counts.values())
    for count in char_counts.values():
        p = count / total_count
        entropy -= p * math.log2(p)

    return entropy

def filter_chinese(text):
    pattern = re.compile('[\u4e00-\u9fa5]')
    return ''.join(pattern.findall(text))

def filter_english(text):
    pattern = re.compile('[a-zA-Z]')
    return ''.join(pattern.findall(text))

file_path = 'example.txt'
text = read_file(file_path)
chinese_text = filter_chinese(text)
english_text = filter_english(text)

chinese_entropy = calc_entropy(chinese_text)
english_entropy = calc_entropy(english_text)

print('中文熵:', chinese_entropy)
print('英文熵:', english_entropy)

该程序首先读取指定文件中的所有文本，然后将其分别过滤为中文和英文字符，并分别计算它们的熵。计算熵的方法是先统计每个字符的出现次数，然后根据出现次数计算概率，最后使用信息熵公式计算熵值。