在2013年的BDTC(Big Data Technology Conference,大数据技术大会)上,中国移动研究院的专家徐萌作为中国移动通信研究院云计算系统部大数据产品开发室的技术经理,分享了题为《中国移动大数据领域应用实践》的演讲。中国移动作为全球最大的电信运营商之一,其网络规模庞大,拥有超过7亿3千万的用户,占中国大陆市场65%的份额,且在全球移动通信领域具有显著影响力,如与奥运会合作、入选道琼斯指数DJSI和全球品牌排行榜等。
随着移动互联网的飞速发展,中国移动用户的流量激增,呈现出手机数据化和宽带化的趋势。据GSMA的数据,移动互联网的通信功能占比已经从早期的80:20转变为更加侧重于数据服务。全球移动互联网用户数量已经超过固定互联网用户的三倍,移动数据流量占比不断攀升,到了2012年底,这一比例超过了13%。在中国大陆,截至2013年6月,手机网民已达到4.6亿,移动互联网接入流量同比增长迅速。
然而,中国移动在大数据处理上面临一些挑战。首先,处理结构化数据的能力相对较低,非结构化数据的处理效率不高。传统的解决方案通常依赖昂贵的小型机和磁盘阵列,或者专用一体机,这导致硬件平台兼容性差,不易在不同代际或厂商的硬件环境中部署。此外,扩展性成为另一个问题,PB级以上的数据量使得可供选择的高扩展性解决方案较少,容易形成数据绑定。
为了应对这些挑战,中国移动正在寻求新的策略。他们强调利用消费级硬件,以常态化的故障率设计系统,不依赖高性能和高可靠性的硬件,同时保持系统的稳定性和性能。这种做法有助于降低硬件成本,提高平台的兼容性和扩展性。徐萌的演讲可能探讨了如何采用通用硬件平台,如Hadoop等开源技术,来构建一个能够处理结构化和非结构化数据混合分析的分布式系统,以及如何通过流处理技术(Stream)和多数据源集成(Multipledatasources)来满足大规模数据处理的需求。
徐萌的演讲还可能涉及了ETL(Extract, Transform, Load)过程,即数据抽取、转换和加载,这对于将异构数据整合到数据仓库(DW)和分析环境中至关重要。此外,她可能讨论了如何通过集群技术(Cluster)优化大数据处理性能,并可能提到如何利用数据挖掘和机器学习等分析工具进行深度业务洞察。
徐萌的演讲为中国移动的大数据应用实践提供了深入的视角,展示了在面对海量移动数据挑战时,中国移动是如何寻求创新技术、提升数据处理能力,以及如何利用大数据推动业务增长和优化用户体验的。