提取 BIO 标记的词语特征代码

以下是提取 BIO 标记的词语特征的示例代码：

def extract_features(tokens):
    """
    Extract features from a list of tokens with BIO tagging.

    Args:
        tokens (List[Tuple[str, str]]): a list of tokens with BIO tagging.

    Returns:
        List[Dict[str, Union[str, bool]]]: a list of feature dictionaries.
    """
    features = []
    for i, (token, bio_tag) in enumerate(tokens):
        feature_dict = {
            "token": token,
            "is_first": i == 0,
            "is_last": i == len(tokens) - 1,
            "is_digit": token.isdigit(),
            "is_upper": token.isupper(),
            "is_lower": token.islower(),
            "is_title": token.istitle(),
            "is_punctuation": token in string.punctuation,
            "bio_tag": bio_tag
        }
        features.append(feature_dict)

    return features

该函数接受一个由元组构成的列表，每个元组表示一个单词和其 BIO 标记。该函数将从每个单词中提取一组特征，并将其存储在一个字典中。这些特征包括单词本身、该单词是否是第一个或最后一个单词、该单词是否是数字、大写字母、小写字母、首字母大写、标点符号以及其 BIO 标记。函数返回一个包含所有特征字典的列表。