用Python写一个程序，要求：首先定义 N-Gram 函数，使用正则表达式对语料进行特殊符号清洗，并按空格分割成多个 Token。然后，循环遍历这些 Token，每次取 n 个连续的 Token，就是 N-Gram:

好的，您可以跟我说话，我会尽力回答您的问题。关于您的问题，我可以给您提供一个 Python 代码示例，用于实现 N-Gram 函数：

import re
  
def n_gram(tokens, n):
    # Special character cleaning using regex
    tokens = [re.sub(r'[^\w\s]', '', token) for token in tokens]
    # Splitting into n-grams
    return [tuple(tokens[i:i+n]) for i in range(len(tokens)-n+1)]

使用该函数，您只需要将语料库中的文本分割为 Token（可以通过空格分割），并将它们传递给该函数进行处理。例如，如果我们有以下文本：

text = "This is a sample text for N-gram function"
tokens = text.split()

我们可以使用以下代码执行 bigram 和 trigram 操作：

bigrams = n_gram(tokens, 2)
trigrams = n_gram(tokens, 3)

这将把文本分成 bigram 和 trigram，并返回一个包含这些 N-Gram 的元组的列表。

相关问题

用python编写一个复杂点的程序。能够实现，获取文件路径，进行N-gram特征码的提取，且能输出特征码。补充：文件路径要求绝对路径。

好的，以下是一个可以实现你要求的 Python 程序：

import os

# 获取文件路径
file_path = input("请输入文件的绝对路径：")

# 判断文件是否存在
if not os.path.isfile(file_path):
    print("文件不存在！")
    exit()

# 读取文件内容
with open(file_path, "r", encoding="utf-8") as f:
    text = f.read()

# 定义 N-gram 特征码的提取函数
def extract_ngrams(text, n):
    # 将文本转换为小写字母
    text = text.lower()
    # 去除标点符号和空格
    text = "".join(char for char in text if char.isalnum())
    # 生成 N-gram 特征码列表
    ngrams = []
    for i in range(len(text) - n + 1):
        ngrams.append(text[i:i+n])
    return ngrams

# 提取 3-gram 特征码
ngrams = extract_ngrams(text, 3)

# 输出特征码
print(ngrams)

运行程序后，程序会要求你输入文件的绝对路径，输入后程序会读取文件内容，并使用 `extract_ngrams` 函数提取 3-gram 特征码，并将结果输出。请注意，程序会将文件内容转换为小写字母，并去除标点符号和空格，以避免特征码受到这些因素的影响。

写一段python代码n-gram

以下是一个简单的示例，演示了如何使用n-gram模型来生成文本：

import random

# 构建n-gram模型
def build_ngram_model(corpus, n):
    ngram_model = {}
    for sentence in corpus:
        words = sentence.split()
        for i in range(len(words)-n+1):
            ngram = ' '.join(words[i:i+n-1])
            next_word = words[i+n-1]
            if ngram in ngram_model:
                ngram_model[ngram].append(next_word)
            else:
                ngram_model[ngram] = [next_word]
    return ngram_model

# 根据n-gram模型生成文本
def generate_text(ngram_model, n, length):
    current_ngram = random.choice(list(ngram_model.keys()))
    generated_text = current_ngram
    for _ in range(length-n+1):
        if current_ngram in ngram_model:
            next_word = random.choice(ngram_model[current_ngram])
            generated_text += ' ' + next_word
            current_ngram = ' '.join(generated_text.split()[-n+1:])
        else:
            break
    return generated_text

# 示例用法
corpus = [
    "I am happy",
    "You are sad",
    "He is angry",
    "She is tired"
]
ngram_model = build_ngram_model(corpus, 2)
generated_text = generate_text(ngram_model, 2, 10)
print(generated_text)

这段代码首先定义了一个`build_ngram_model`函数，用于构建n-gram模型。然后定义了一个`generate_text`函数，用于根据n-gram模型生成文本。最后，给出了一个示例用法，使用一个简单的语料库构建了一个2-gram模型，并生成了一段长度为10的文本。