![](https://csdnimg.cn/release/download_crawler_static/18269880/bg1.jpg)
收稿日期:20180930;修回日期:20181203 基金项目:国家自然科学基金资助项目(61862058,61762078);甘肃省青年基金资助项
目(1606RJYA269);西北师范大学青年教师科研能力提升计划项目(NWNULKQN145,NWNULKQN1620)
作者简介:李晓红(1978),女,甘肃兰州人,副教授,硕士,主要研究方向为数据挖掘、机器学习(xiaohongli@nwnu.edu.cn);孔文文(1998),
女,本科生;马癱垠(1997),女,硕士研究生;马慧芳(1981),女,教授,博士,主要研究方向为机器学习、数据挖掘.
利用词项语义共现和社团划分发现微博热点事件
李晓红,孔文文,马癱垠,马慧芳
(西北师范大学 计算机科学与工程学院,兰州 730070)
摘 要:针对传统词项之间语义关系抽取难以适用于微博,导致发现微博热点事件不敏感的问题,提出一种基
于词项语义共现和社团划分的方法发现热点事件。首先利用热度定义对微博数据进行初次筛选,通过构建共现
词项图来模拟词项间的语义相关性,并结合修改的 TFIDF公式计算词项间的语义相关度;借助社区划分和模块
度的概念对词项图进行划分,完成词项聚类,进而获得热点事件。实验结果表明,与同类方法相比,该方法的准
确率较高,发现的热点事件与实时事件基本保持一致,具有较好的热点识别效果。
关键词:热度;亲密度;语义相关性;热点事件;共现图;模块度
中图分类号:TP391 文献标志码:A 文章编号:10013695(2020)05011133604
doi:10.19734/j.issn.10013695.2018.09.0800
Microbloghottopicdetectionusinglexicalsemantic
cooccurrenceandcommunitypartition
LiXiaohong,KongWenwen,MaYuyin,MaHuifang
(CollegeofComputerScience&Engineering,NorthwestNormalUniversity,Lanzhou730070,China)
Abstract:Duetothedifficultytoapplytraditionalmethodthatextractedsemanticrelationsbetweentermstomicroblog,which
madehoteventdetectionnotsensitive,thispaperproposedanewmethodbasedonsemanticcooccurrenceoftermsandcom
munitypartitiontofindhotevents.First,itutilizedthedefinedhotnesstofiltermicroblogdatainitially,thencombinedTF
IDFformulawithsemanticrelationshipsbetweenitemscalculatedbycomputingaffinityscorebetweentwoadjacentnodeson
graphtoharvestsemanticrelevancy.Next
,itintroducedtheideaofcommunitypartitiontodesignthealgorithmforwordclus
tering,whichobtainedaseriesofmicrobloghoteventsfinally.Experimentalresultsshowtheeffectivenessoftheproposed
method.Comparedwiththekindredmethods
,thismethodhasahigheraccuracy,andthefoundhoteventisconsistentwith
therealtimeeventbasically.
Keywords:hotdegree;affinityscore;semanticrelatedness;hotevent;cooccurrencegraph;modularity
0 引言
微博作为一种新兴的传播载体,已经成为民众表达舆情的
重要窗口,它以简短快捷、内容丰富、用户草根化、传播速度快
等特点成为了热点事件产生和讨论的重要场所,尤其是微博用
户的关注、转发和评论等行为通常会助推微博事件的传播。随
着微博信息大量有价值的数据被淹没,用户想找到自己感兴趣
的话题变得力不从心,如何从海量微博数据中挖掘出有价值的
信息成为了计算机领域的研究热点;同时,微博热点事件发现
作为网络舆情监控的重要分支,也受到了国内外学者的关注,
具有重要的研究意义。
目前,针对微博热点事件发现的研究已有不少成果,主要
可分为以下两类:
a)以文本为中心的方法
[1]
。先进行文本聚类,再在类中
抽取出突发特征,从而识别突发事件。比如,陈羽中等人
[2]
提
出 TCMLPA聚类算法对微博的热点词语进行聚类,同时考虑
聚类的时效从而获得热点话题,并且提高了热点发现的精度。
文献[3,4]分别致力于不同的聚类算法,如 KSC聚类算法、
SEPPM模型,对网络热点事件进行发现和提取,取得了一定的
成效。但是一方面由于微博内容的简短,造成严重的数据稀疏
问题;另一方面,微博含有很多噪声数据,聚类后识别突发词的
效率就会比较低下。
b)以突发特征为中心的方法。先抽取突发特征并对其进
行分组,然后使用突发特征组进行突发事件 的 识别。Fu等
人
[5]
基于语言和主题模型,通过相邻时间间隔之间的情绪分
布语言模型的差异来发现微博热门话题;Yang等人
[6]
使用基
于时间窗的分析方法来检测突发特征,然后使用相似度传播
AP算法对突发特征进行聚类。类似地,贺敏等人
[7]
对关键词
定义加权公式并引入滑动窗口,以实时监控热点事件的发生;
刘业政等人
[8]
提出利用单个话题构建表征话题属性的热度曲
线,然后对热度曲线进行分类建模,最后在分类模型上使用加
权投票规则来预测新话题是否会发展成为热门话题。上述几
种方法在检测突发事件时只是理论上提高了事件发现的性能,
但在实际应用中并不能得到很好的话题发现效果,其最根本原
因是事件发现过程中话题会随时间变化产生话题漂移现象。
为了提高微博热点事件检测的准确性并降低复杂度,本文
提出了一种基于特征词语义相关性和社团结构的微博热点事
件发现算法(
usinglexicalsemanticcooccurrenceandcommunity
structuretofindmicrobloghotevent,LSCaCS)。具体地,通过构
建无向带权词项图获取词项之间潜在的语义关系并计算语义
强度,然后利用社团发现和模块度思想在图上完成词的聚类,
实现热点词与热点事件的对应。算法流程如图 1所示。
第 37卷第 5期
2020年 5月
计 算 机 应 用 研 究
ApplicationResearchofComputers
Vol.37No.5
May2020