把文本数据转换成数字数据，并查看前 10 行

好的，您可以使用以下代码将文本数据转换为数字数据并查看前 10 行：

import pandas as pd
from transformers import AutoTokenizer

# 加载tokenizer
tokenizer = AutoTokenizer.from_pretrained("bert-base-chinese")

# 读取文本数据
data = pd.read_csv("text_data.csv")

# 将文本数据转换为数字数据
input_ids = []
for text in data["text"]:
    encoded_text = tokenizer.encode(text, max_length=512, truncation=True)
    input_ids.append(encoded_text)

# 查看前10行数字数据
print(input_ids[:10])

请将 `text_data.csv` 替换为您自己的文本数据文件名。