pandas里面set_axis()参数讲解

pandas中的set_axis()方法用于更改轴标签，其参数如下：

1. labels：新的轴标签，可以是一个列表或一个pandas索引对象。

2. axis：指定要更改标签的轴，可以是0或1，0表示行轴，1表示列轴，默认为0。

3. inplace：是否在原DataFrame或Series上进行操作，若为True，则直接修改原数据，否则生成一个新的DataFrame或Series，默认为False。

示例：

import pandas as pd

df = pd.DataFrame({'A': [1, 2, 3], 'B': [4, 5, 6]})
print(df)
#    A  B
# 0  1  4
# 1  2  5
# 2  3  6

# 修改列标签
df = df.set_axis(['C', 'D'], axis=1, inplace=False)
print(df)
#    C  D
# 0  1  4
# 1  2  5
# 2  3  6

# 修改行标签
df = df.set_axis([10, 11, 12], axis=0, inplace=False)
print(df)
#     C  D
# 10  1  4
# 11  2  5
# 12  3  6

相关问题

讲解一下上述代码的每一行代码

好的，下面对上述代码的每一行进行逐行讲解：

from transformers import BertTokenizer, BertModel
import numpy as np
import pandas as pd
import jieba

这几行代码主要是引入需要使用的Python库，包括Hugging Face Transformers库中的BertTokenizer和BertModel，NumPy库，Pandas库和jieba库。

tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
model = BertModel.from_pretrained('bert-base-chinese', output_hidden_states=True)

这两行代码使用BertTokenizer.from_pretrained和BertModel.from_pretrained方法加载了预训练的BERT模型和tokenizer。我们使用的是bert-base-chinese模型，它是一个中文预训练模型，能够对中文文本进行处理。

seed_words = ["身份证", "手机号码", "地址", "信用卡", "密码", "账号", "银行卡", "个人信息"]

这行代码定义了一个种子词列表，这些词汇将作为隐私风险词的初始集合。

data = pd.read_csv('weibo_data.csv')

这行代码使用pd.read_csv方法加载了微博用户文本语料数据，我们将数据保存在名为weibo_data.csv的csv文件中。

data['text'] = data['text'].apply(lambda x: jieba.lcut(x))
data['text'] = data['text'].apply(lambda x: ' '.join(x))

这两行代码对微博用户文本语料进行了预处理，使用jieba库中的lcut方法对每条微博进行分词处理，然后将分好的词汇拼接成字符串并保存在data['text']列中。

embeddings = []
for text in data['text']:
    inputs = tokenizer(text, return_tensors='pt', padding=True, truncation=True)
    with torch.no_grad():
        outputs = model(**inputs)
        hidden_states = outputs[2]
        token_vecs = hidden_states[-2][0]
        embeddings.append(token_vecs.numpy())

这段代码计算了微博文本语料中每个中文词汇与已有种子词的余弦相似度，得到相关性矩阵。具体而言，我们首先对data['text']中的每条微博文本使用tokenizer将其转化为BERT模型所需的输入格式，然后使用模型计算出每个词汇的词向量。我们使用模型的倒数第二层隐藏状态来表示每个词汇的词向量，然后将所有词汇的词向量保存在embeddings列表中。

embeddings = np.concatenate(embeddings, axis=0)
seed_embeddings = []
for word in seed_words:
    inputs = tokenizer(word, return_tensors='pt')
    with torch.no_grad():
        outputs = model(**inputs)
        hidden_states = outputs[2]
        token_vecs = hidden_states[-2][0]
        seed_embeddings.append(token_vecs.numpy())
seed_embeddings = np.concatenate(seed_embeddings, axis=0)
cosine_sim = np.dot(embeddings, seed_embeddings.T) / (np.linalg.norm(embeddings, axis=1)[:, None] * np.linalg.norm(seed_embeddings, axis=1))

这段代码继续计算了微博文本语料中每个中文词汇与已有种子词的余弦相似度，得到相关性矩阵。我们首先使用NumPy库中的concatenate方法将embeddings列表中的所有词汇的词向量连接成一个大矩阵，然后对每个种子词使用同样的步骤计算出其对应的词向量并保存在seed_embeddings列表中。最后，我们使用NumPy库中的dot方法计算相关性矩阵，并使用NumPy库中的linalg.norm方法计算每个词汇的词向量的范数。注意到这里我们使用了矩阵的广播机制，即使用[:, None]来将一维数组转化为二维数组，这样可以避免矩阵维度不匹配的问题。

threshold = 0.85
related_words = []
for i, text in enumerate(data['text']):
    related_indices = np.argwhere(cosine_sim[i] >= threshold).flatten()
    related_words += [tokenizer.convert_ids_to_tokens(inputs['input_ids'][0, j].item()) for j in related_indices]
privacy_words = list(set([word for word in related_words if len(word) > 1]))

这段代码确定了关联度阈值，然后根据阈值筛选出相关隐私风险词，并进行去重处理，得到最终的隐私词库。具体而言，我们首先定义了关联度阈值为0.85。然后，对于data['text']中的每条微博文本，我们找到其中与种子词相关度大于等于阈值的词汇，并将这些词汇保存在related_words列表中。注意到这里我们使用了enumerate方法来同时遍历data['text']和cosine_sim矩阵，然后使用NumPy库中的argwhere方法找到相关度大于等于阈值的词汇在cosine_sim矩阵中对应的位置，最后使用convert_ids_to_tokens方法将这些位置对应的词汇转化为原始文本中的词汇。最后，我们对related_words进行了去重处理，并将去重后的隐私词汇保存在privacy_words列表中。

print(privacy_words)

这行代码打印出最终得到的隐私词汇列表。