底层业务决定了数仓的哪些东西
时间: 2024-01-10 12:05:15 浏览: 10
底层业务决定了数仓的以下几个方面:
1. 数据源:底层业务的数据源决定了数仓的数据来源。不同的业务会有不同的数据来源和数据类型,因此需要考虑如何从不同的数据源中获取和处理数据。
2. 数据结构:底层业务的数据结构决定了数仓的数据模型和数据架构。需要根据业务数据的特点,设计合理的数据模型和数据架构,使得数据能够被高效地存储、管理和查询。
3. 数据清洗:底层业务的数据质量决定了数仓数据清洗的难度和复杂度。需要针对不同的数据源和数据类型,设计合理的数据清洗流程和算法,以保证数仓中的数据质量。
4. 数据仓库设计:底层业务的数据处理需求决定了数仓的设计。需要考虑如何对不同的业务数据进行统一的处理,如何实现不同的数据分析和挖掘需求,以及如何实现数据的可视化和报表展示等。
相关问题
字节跳动的底层数仓分层架构
我了解到,字节跳动的底层数仓分层架构主要分为以下几层:
1. 数据源层:负责数据的采集、初步清洗及存储。
2. 数据加工层:对数据进行清洗、切分、加密、压缩以及转化格式等操作,并将加工后的数据存储到数据仓库中。
3. 数据仓库层:负责存储加工后的数据,并根据业务需求设计相应的数据模型,提供给上层应用程序使用。
4. 数据计算层:根据业务需求进行数据计算、分析以及挖掘,并提供相应的结果给上层应用程序使用。
5. 数据应用层:将数据计算层的结果与业务需求结合,提供相应的应用服务和数据产品。
grpc底层传输协议有哪些
gRPC底层传输协议有以下几种:
1. HTTP/2:gRPC默认使用HTTP/2作为传输协议。HTTP/2是一种二进制协议,它可以在单个连接上多路复用多个请求和响应,从而提高了网络的利用率和性能。
2. TCP/IP:gRPC还可以使用TCP/IP作为传输协议。TCP/IP是一种面向连接的协议,它提供了可靠的数据传输和错误检测机制,但是它的性能不如HTTP/2。
3. QUIC:gRPC也可以使用QUIC作为传输协议。QUIC是一种基于UDP的协议,它提供了更快的连接建立和更低的延迟,但是它的可靠性和稳定性还不够成熟。
总体来说,HTTP/2是gRPC默认的传输协议,它具有更好的性能和稳定性,而TCP/IP和QUIC则是一些特殊场景下的选择。