没有合适的资源?快使用搜索试试~ 我知道了~
首页大数据独角兽Palantir之核心技术探秘
大数据独角兽Palantir之核心技术探秘
5星 · 超过95%的资源 17 下载量 32 浏览量
更新于2023-05-03
评论 1
收藏 2.66MB PDF 举报
Palantir(中文名帕兰提尔,源于《指环王》中可穿越时空、洞悉世间一切的水晶球Palantír)被誉为硅谷最神秘的大数据独角兽企业,短短几年内跻身百亿俱乐部,成为全球估值排名第四的初创公司。它的主要客户只在美剧和好莱坞里出现,如美国联邦调查局(FBI)、美国中央情报局(CIA)、美国国家安全局(NSA)、美国军队和各级反恐机构,当然还有如JPMorgan这样的华尔街金融大鳄等等。关于Palantir的传奇故事很多,CIA通过他家的大数据技术追踪到本拉登;创始人AlexKarp师从德国的JürgenHabermas(研究西方马克思主义)获得哲学博士,热衷中国气功和太极;帮多家银行揭露旁氏骗局
资源详情
资源评论
资源推荐
大数据独角兽大数据独角兽Palantir之核心技术探秘之核心技术探秘
1.Palantir源起:B2B大数据和企业级Google。
Palantir(中文名帕兰提尔,源于《指环王》中可穿越时空、洞悉世间一切的水晶球Palantír)被誉为硅谷最神秘的大数据独角
兽企业,短短几年内跻身百亿俱乐部,成为全球估值排名第四的初创公司。它的主要客户只在美剧和好莱坞里出现,如美国联
邦调查局(FBI)、美国中央情报局(CIA)、美国国家安全局(NSA)、美国军队和各级反恐机构,当然还有如JPMorgan这
样的华尔街金融大鳄等等。关于Palantir的传奇故事很多,CIA通过他家的大数据技术追踪到本拉登;创始人Alex Karp师从德
国的Jürgen Habermas(研究西方马克思主义)获得哲学博士,热衷中国气功和太极;帮多家银行揭露旁氏骗局挽回数十亿损
失,帮助摩根大通解决欺诈交易和黑客攻击问题,每年节约数亿美元;公司创始人和投资人(号称“硅谷黑帮”)由海军陆战队
员随时保护以防不测;产品只卖美国及其盟友国;与棱镜门有说不清楚的关系等…这些花边新闻不是本文的关注点,本文重点
从大数据技术角度来揭密Palantir的B2B大数据王国。
如果说谷歌是互联网大数据的霸主(我在前文《从Tensorflow看谷歌的云端人工智能战略》有详细解读),那么Palantir的目
标就是未来企业级大数据霸主,做企业和政府领域的Google。为什么这样讲?从技术角度来分析,这是大数据发展的必然趋
势,互联网上的数据多半是UGC用户产生内容,或是如电商平台这种某细分领域的独立生态数据,而真正的大数据金矿还在
众多大型企业和政府机构的服务器集群中沉睡。比如一个国家的情报部门和各部、各局信息中心,无不是掌握着成千上万关键
领域的大数据,包括各种业务数据、监控数据、DNA样本、语音视频图片、地图时空数据等(当然前提是信息化程度及其发
达,就像我们的税务系统一样,而不是房产登记系统),面对如此海量、多源、异构而且高关联性、复杂性、动态性大数据,
如果没有快速的大数据分析技术和工具支持,那只能是望数兴叹。而Palantir的大数据技术和产品就是专门针对大型企业和政
府机构需求而生(与互联网公司的大数据技术有较大不同),其官方主页上的自我定位也很准确:“Palantir’s mission is to
solve themost important problemsfor the world’smost important institutions.”。企业级大数据玩家当然政府和金融是最具数权
的两个领域,所以Palantir研发的平台级大数据产品只有两个版本:Palantir Gotham(服务政府事务,警务、军队、各级军事
安全客户)和Palantir Metropolis(服务金融、法律及其它客户)。如果说谷歌、亚马逊、Facebook等互联网巨头整合的是
B2C大数据,那么Palantir整合的就是B2B大数据,多数企业和政府机构对大数据的应用还处于起步和探索阶段,互联网下或
关键领域内网、专网中结合私有云技术的B2B大数据分析是大数据时代发展的必然,而且应用潜力和价值更为巨大,谷歌旗下
DeepMind公司开始跟大型医院和卫生部门合作就是最好的注解,互联网巨头以其已有的大数据技术优势,其业务触角正在向
传统行业延伸。
图1. Palantir官方主页的服务宗旨
2.Palantir产品技术体系:军事、金融和警务大数据案例分析
网上有个段子,虽然真假不能确认,但却能从中看出Palantir的发迹史:“美国911之后,CIA等部门忙于调查各种线索。
Stanford的几个教授以公开的海量信息为输入,利用大数据处理技术建立关于人物关系的网络,最后锁定了一批疑似人,并迅
速将结果发布出去,使得CIA等部门大为震惊,因为教授们的结果与CIA花人力物力大量侦查和审讯的结果很近似,让CIA们
误以为教授们有牵连,迅速飞到Stanford找教授们问话。从此,“人脑+电脑“来分析复杂问题并辅助反恐成为可能”,Palantir正
是在这一大背景下诞生和发迹的。目前Palantir有两大核心产品,Palantir Gotham和Palantir Metropolis,前者主要服务于国防
安全和政府管理领域,后者主要服务于金融领域。两大产品体系下辖十多种解决方案,如反欺诈(Anti Fraud)、网络安全
(Cyber Security)、国防安全(Defense)、内部威胁(Insider Threat)、危机应对(Crisis Response)、保险分析
(Insurance Analytics)、案例管理(Case Management)、疾病控制(Disease Response)、智能化决策(Intelligence)
等。两个产品线的核心技术是服务客户整理、分析、利用不同来源的结构化和非结构化数据,创造一种人脑决策和计算机智能
共生的大数据分析环境及工具系统,人脑和大数据分析互补,提升客户的决策洞察力。Palantir在大数据江湖上最传奇的战
绩,一是帮多家银行追回纳斯达克前主席麦道夫庞氏骗局的数十亿美金,二是帮助奥巴马政府追捕到本拉登。下面我们以军
事、金融、警务三个方面的案例来对其产品的服务内容和技术体系进行初步探索和分析:
(1)以军事国防解决方案为例。其核心目标是将多个军事情报领域的海量数据进行融合和关联分析,转化为可操作的决策指
挥能力,多情报领域数据的集成和融合是要解决的关键问题,包括非结构化和结构化数据流,如链接图,电子表格,电话,文
档,网络数据,传感器数据,甚至动态视频、图像等。Palantir提供了一个基于本体映射的全量多模态数据融合和协同挖掘分
析大数据支撑框架,可以对在地理、空间上分散的人、装备、环境、事件等进行大规模实时关联和因果分析,以指导复杂战场
环境下的军事行动。这些大数据技术已被美国军方广泛运用于战场态势分析和预测,如定位伊拉克战场可能存在的炸弹或地雷
位置,帮助美军在巴格达规划一条被袭概率最小的路径,或者分析亚丁湾海盗活动的热点区域。这些分析整合了美军等多方原
本孤立的数据源(如军事情报部门和陆海空、海军陆战队等组织机构的数据),通过Palantir基于本体的大数据融合技术,无
缝整合多源异构数据和进行分析模型协同,包括各类数据模型、安全模型和本体对象的管理,其全量数据分析和知识管理能跟
踪每一个数据和模型的读,写和编辑、保存,以积累战场空间的决策知识。基于通用的大数据融合和可视化分析平台,使指挥
人员和调度人员能在单一系统内解决所有问题,包括敌人的活动情报分析(情报报告,事件行为等),关联分析(背景、关
联、跟踪、反应等)和预判决策等功能。下面几个图(图2-4)是Palantir 为美国军队提供的软件功能界面,从其中的功能和
数据元素我们可以看出Palantir 的大数据分析技术已经深入美国核心情报军事机构,帮助其实现作战打击链的全局决策支持,
从分析情报、打击目标,再将军事行动中获得的新情报与现有大数据进行融合更新,极大提高了情报分析和指挥决策能力。
图2. 国防部和海军的一个联席分析功能界面,对其舰船、飞机、情报文本和相关战场环境资源做了融合和关联,在统一视图
里面进行管控,技术实现上把上述现实资源通过本体论映射为各类事件、实体、对象及其关系。
图3. 阿富汗战场的融合分析功能界面,对各个区域的各类事件(武装袭击、爆炸、绑架等)进行了大规模关联分析,通过大
规模数据可视化钻取和查询,可以找出事件之间的因果关系链。
剩余10页未读,继续阅读
weixin_38628243
- 粉丝: 1
- 资源: 908
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- RTL8188FU-Linux-v5.7.4.2-36687.20200602.tar(20765).gz
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
- SPC统计方法基础知识.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论5