开放数据价值:TalkingData冯博分享数据科学合作平台实践与挑战
需积分: 1 69 浏览量
更新于2024-07-19
1
收藏 925KB PDF 举报
【T112017-教育生态与人才培养分会场】"OpenDataOpenValue - 数据科学合作研究平台的探索与实践"是由冯博·TalkingData在2017年9月14日进行的一次主题演讲。此次演讲聚焦于数据科学领域的合作研究平台,旨在解决数据科学研究中遇到的关键问题,并探讨如何通过SmartDataLab来推动教育生态和人才培养。
在演讲中,冯博首先提到了数据科学研究面临的主要挑战,如数据共享与数据安全之间的平衡,特别是数据租用模式下的问题,包括数据所有权、隐私保护和安全性。SmartDataLab通过设计数据整合隔离层,如HDFS、S3和本地数据库,提供了一种安全的数据共享方式,确保数据在隔离的状态下实现只读共享。
容器化作为一种技术趋势被讨论,虽然它有助于简化实验环境的管理,但同时也存在一些问题和容器平台化的必要性。SmartDataLab通过动态资源管理,包括集群、计算层和应用层的划分,实现了对计算资源的高效利用,如NativeCloud和PublicCloud的结合。
协作和交流是SmartDataLab平台的重要环节,它提供了教程、成果展示、代码分享、项目管理和竞赛系统,使得参与者能够方便地进行知识共享、项目协作和成果评判。例如,竞赛系统支持教师或管理者发布比赛,学生提交结果并接受评判,从而培养团队协作和竞争意识。
AutoModel是平台的一个关键功能,它通过自动化模型选择和优化,帮助用户快速找到算法内部最优解,并通过与sklearn、Weka等工具的集成,实现多种算法的比较和最佳模型的选择。其背后原理涉及高斯过程预测和复杂的算法评估机制,如Top5比较和重复运行以确保最佳结果。
SmartDataLab还与国内多家知名高校和大数据公司合作,举办夏令营等活动,汇集了大量数据分析师和数据科学家,服务于广泛的用户群体。该平台经历了两次版本迭代,第一版在6月31日发布,第二版则在10月下旬推出,显示出持续的发展和改进。
这次演讲深入探讨了如何通过SmartDataLab这样的数据科学合作研究平台,提升教育生态的效率,培养新一代的数据科学人才,并解决实际工作中遇到的技术挑战,推动数据科学领域的前沿研究和应用发展。
2018-04-02 上传
2022-07-06 上传
2023-06-08 上传
2023-05-29 上传
2023-06-08 上传
2023-07-28 上传
2023-05-24 上传
2023-09-04 上传
2023-05-05 上传
![](https://profile-avatar.csdnimg.cn/770a580b26244dc7b05822b3424a9c38_weixin_38323715.jpg!1)
程序员老大爷
- 粉丝: 3
- 资源: 66
最新资源
- 多模态联合稀疏表示在视频目标跟踪中的应用
- Kubernetes资源管控与Gardener开源软件实践解析
- MPI集群监控与负载平衡策略
- 自动化PHP安全漏洞检测:静态代码分析与数据流方法
- 青苔数据CEO程永:技术生态与阿里云开放创新
- 制造业转型: HyperX引领企业上云策略
- 赵维五分享:航空工业电子采购上云实战与运维策略
- 单片机控制的LED点阵显示屏设计及其实现
- 驻云科技李俊涛:AI驱动的云上服务新趋势与挑战
- 6LoWPAN物联网边界路由器:设计与实现
- 猩便利工程师仲小玉:Terraform云资源管理最佳实践与团队协作
- 类差分度改进的互信息特征选择提升文本分类性能
- VERITAS与阿里云合作的混合云转型与数据保护方案
- 云制造中的生产线仿真模型设计与虚拟化研究
- 汪洋在PostgresChina2018分享:高可用 PostgreSQL 工具与架构设计
- 2018 PostgresChina大会:阿里云时空引擎Ganos在PostgreSQL中的创新应用与多模型存储