NER的mask怎么写
时间: 2023-11-11 13:53:09 浏览: 32
NER的mask可以根据论文中提到的grid_mask2d来进行编写。在论文中,grid_mask2d是一个形状为\[B, L, L\]的张量,其中B表示批次大小,L表示序列长度。这个张量用于指示哪些位置需要计算loss,哪些位置是padding的。具体地,grid_mask2d中的元素为1表示对应位置是有效的,需要计算loss;而元素为0表示对应位置是padding的,不需要计算loss。因此,编写NER的mask时,可以参考grid_mask2d的形式,根据实际情况将需要计算loss的位置标记为1,将padding的位置标记为0。这样,模型在计算loss时就会忽略padding位置的预测结果,只计算有效位置的loss。
#### 引用[.reference_title]
- *1* *2* [NER任务最新SOTA模型W2NER](https://blog.csdn.net/HUSTHY/article/details/123870372)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
- *3* [Transformer课程 第8课 NER案例模型训练及预测](https://blog.csdn.net/duan_zhihua/article/details/121663087)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]