探探的分布式存储实践:tantan数据库设计与优化
"探探分布式存储的实践(gocn.vip).pdf" 是一份关于分布式存储系统的实践分享,主要探讨了探探公司在面临大数据量、快速数据增长等挑战时,如何设计和选择合适的存储解决方案。文件中提到了tanTan(探探)这款应用的核心功能,以及在构建分布式存储系统时考虑的关键因素,包括业务需求、数据特性、架构设计、SQL支持、高可用性、扩展性、定制化、存储成本和容灾能力。 为何需要tantanDB (ttdb)? 面对如探探这样的社交应用,其业务特性决定了对存储系统的需求。大数据量和快速的数据增长需要高效的数据处理能力;低时延则要求系统具备快速响应用户请求的能力。数据特性方面,由于社交网络的聚集性,数据往往呈现分区和集群分布,这要求存储系统能有效处理这些特性。 tantanDB (ttdb)是什么? tantanDB 是一个为解决上述问题而设计的分布式存储系统。它支持SQL,提供SQL执行和优化,包括列裁剪、谓词下推、聚合下推和topN下推等优化策略。系统采用两种执行模型:Volcano模式和向量化模式,以适应不同的查询场景。数据分片是tantanDB的核心机制,用于水平扩展和负载均衡。此外,系统还具备动态扩容能力,以及高可用性和故障恢复机制,如通过中心化或无中心化的故障检测和恢复策略来确保服务的稳定性。 在架构设计上,tantanDB考虑了分布式、可用性、扩展性和定制化需求,同时对比了NoSQL和NewSQL的优缺点。NoSQL方案可能在SQL支持和存储成本上有优势,但定制化程度较低;而NewSQL在提供强一致性和ACID属性的同时,可能带来较高的延迟和成本。 为何选择Golang? Golang作为开发语言,因为其较低的学习成本、开发效率、丰富的标准库,以及原生支持并发(Goroutines)和垃圾回收(GC)而被选用。然而,使用Goroutines需要注意内存管理和潜在的goroutine泄漏问题,可以通过context、超时、channel和select等工具进行管理,并利用goleak库进行监控。此外,减少对象分配也是优化性能的重要手段。 tantanDB是针对探探业务需求设计的分布式存储系统,它以SQL支持为核心,采用Golang作为开发语言,通过各种优化策略和高可用机制,实现了在大数据量环境下的高效、稳定运行。
![](https://csdnimg.cn/release/download_crawler_static/17060493/bg7.jpg)
![](https://csdnimg.cn/release/download_crawler_static/17060493/bg8.jpg)
剩余36页未读,继续阅读
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![doc](https://img-home.csdnimg.cn/images/20210720083327.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![ppt](https://img-home.csdnimg.cn/images/20210720083527.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://profile-avatar.csdnimg.cn/edddea7e13ba457eb7406c05ea36af8e_xudongtiankong.jpg!1)
- 粉丝: 4
- 资源: 38
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- 多模态联合稀疏表示在视频目标跟踪中的应用
- Kubernetes资源管控与Gardener开源软件实践解析
- MPI集群监控与负载平衡策略
- 自动化PHP安全漏洞检测:静态代码分析与数据流方法
- 青苔数据CEO程永:技术生态与阿里云开放创新
- 制造业转型: HyperX引领企业上云策略
- 赵维五分享:航空工业电子采购上云实战与运维策略
- 单片机控制的LED点阵显示屏设计及其实现
- 驻云科技李俊涛:AI驱动的云上服务新趋势与挑战
- 6LoWPAN物联网边界路由器:设计与实现
- 猩便利工程师仲小玉:Terraform云资源管理最佳实践与团队协作
- 类差分度改进的互信息特征选择提升文本分类性能
- VERITAS与阿里云合作的混合云转型与数据保护方案
- 云制造中的生产线仿真模型设计与虚拟化研究
- 汪洋在PostgresChina2018分享:高可用 PostgreSQL 工具与架构设计
- 2018 PostgresChina大会:阿里云时空引擎Ganos在PostgreSQL中的创新应用与多模型存储
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)