没有合适的资源？快使用搜索试试~ 我知道了~

首页大数据资料之ClickHouse.pdf

大数据资料之ClickHouse.pdf

ClickHouse

列式存储、

需积分: 50 671 浏览量更新于2023-03-03 评论收藏 196KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

试读

23页

ClickHouse概述、安装、数据类型、表引擎、SQL语法。相对比较简洁汇总的一个文档，适合于入门学习整理。

资源详情

资源评论

资源推荐

大数据技术之 ClickHouse

第 1 章 ClickHouse 概述

1.1 什么是 ClickHouse

ClickHouse 是俄罗斯的 Yandex 于 2016 年开源的列式存储数据库（ DBMS ），主要

用于在线分析处理查询（ OLAP ），能够使用 SQL 查询实时生成分析数据报告。

1.2 什么是列式存储

以下面的表为例：

Id Name Age

1 张三 18

2 李四 22

3 王五 34

采用行式存储时，数据在磁盘上的组织结构为：

1 张三 18 2 李四 22 3 王五 34

好处是想查某个人所有的属性时，可以通过一次磁盘查找加顺序读取就可以。但是当想查所

有人的年龄时，需要不停的查找，或者全表扫描才行，遍历的很多数据都是不需要的。

而采用列式存储时，数据在磁盘上的组织结构为：

1 2 3 张三李四王五 18 22 34

这时想查所有人的年龄只需把年龄那一列拿出来就可以了

1.3 安装前的准备

1.3.1 CentOS 取消打开文件数限制

在/etc/security/limits.conf 、/etc/security/limits.d/90-nproc.conf 这 2 个文件的末

尾加入一下内容：

[root@hadoop102 software]# vim /etc/security/limits.conf

在文件末尾添加：

* soft nofile 65536

* hard nofile 65536

* soft nproc 131072

* hard nproc 131072

[root@hadoop102 software]# vim /etc/security/limits.d/90-nproc.conf

在文件末尾添加：

* soft nofile 65536

* hard nofile 65536

* soft nproc 131072

* hard nproc 131072

重启服务器之后生效，用 ulimit -n 或者 ulimit -a 查看设置结果

[root@hadoop102 ~]# ulimit -n

65536

1.3.2 CentOS 取消 SELINUX

修改 /etc/selinux/config 中的 SELINUX=disabled 后重启

[root@hadoop102 ~]# vim /etc/selinux/config

SELINUX=disabled

1.3.3 关闭防火墙

[root@hadoop102 ~]# service iptables stop

[root@hadoop102 ~]# service ip6tables stop

ip6tables ：将 chains 设置为 ACCEPT 策略： filter [ 确定 ]

ip6tables ：清除防火墙规则： [确定 ]

：正在卸载模块： [确定 ]

1.3.4 安装依赖

[root@hadoop102 ~]# yum install -y libtool

[root@hadoop102 ~]# yum install -y *unixODBC*

第 2 章安装

2.1 网址

官网： https://clickhouse.yandex/

下载地址： http://repo.red-soft.biz/repos/clickhouse/stable/el6/

2.2 单机模式

2.2.1 上传 5 个文件到 /opt/software/

[root@hadoop102 software]# ls

clickhouse-client-1.1.54236-4.el6.x86_64.rpm

clickhouse-server-1.1.54236-4.el6.x86_64.rpm

clickhouse-compressor-1.1.54236-4.el6.x86_64.rpm

clickhouse-server-common-1.1.54236-4.el6.x86_64.rpm

clickhouse-debuginfo-1.1.54236-4.el6.x86_64.rpm

2.2.2 分别安装这 5 个 rpm 文件

[root@hadoop102 software]# rpm -ivh *.rpm

Preparing...

########################################### [100%]

1:clickhouse-server-

commo########################################### [ 20%]

2:clickhouse-server

########################################### [ 40%]

3:clickhouse-client

########################################### [ 60%]

4:clickhouse-debuginfo

########################################### [ 80%]

5:clickhouse-compressor

########################################### [100%]

2.2.3 启动 ClickServer

前台启动：

[root@hadoop102 software]# clickhouse-server --config-file=/etc/clickhouse-

server/config.xml

后台启动：

[root@hadoop102 software]# nohup clickhouse-server --config-

file=/etc/clickhouse-server/config.xml >null 2>&1 &

[1] 2696

2.2.4 使用 client 连接 server

[root@hadoop102 software]# clickhouse-client

ClickHouse client version 1.1.54236.

Connecting to localhost:9000.

Connected to ClickHouse server version 1.1.54236.

2.3 分布式集群安装

2.3.1 在 hadoop103 ，hadoop104 上面执行之前的所有步骤

2.3.2 三台机器修改配置文件 config.xml

[root@hadoop102 ~]# vim /etc/clickhouse-server/config.xml

<listen_host>::</listen_host>

[root@hadoop103 ~]# vim /etc/clickhouse-server/config.xml

<listen_host>::</listen_host>

[root@hadoop104 ~]# vim /etc/clickhouse-server/config.xml

<listen_host>::</listen_host>

2.3.3 在三台机器的 etc 目录下新建 metrika.xml 文件

[root@hadoop102 ~]# vim /etc/metrika.xml

添加如下内容：

<clickhouse_remote_servers>

<perftest_3shards_1replicas>

<shard>

<internal_replication>true</internal_replication>

<host>hadoop102</host>

</replica>

</shard>

<shard>

<internal_replication>true</internal_replication>

<host>hadoop103</host>

</replica>

</shard>

<shard>

<internal_replication>true</internal_replication>

<host>hadoop104</host>

</replica>

</shard>

</perftest_3shards_1replicas>

</clickhouse_remote_servers>

<zookeeper-servers>

<host>hadoop102</host>

</node>

剩余22页未读，继续阅读

6. ClickHouse最佳实践新浪.pdf

联通大数据有限公司产品白皮书.pdf

### 回答1：《联通大数据有限公司产品白皮书.pdf》是联通大数据有限公司推出的一份产品白皮书，介绍了该公司的产品及相关信息。以下是对该白皮书的回答：《联通大数据有限公司产品白皮书.pdf》详尽地介绍了联通大数据有限公司的产品及解决方案。该白皮书首先对大数据的概念和应用进行了解释，指出了大数据在当前社会发展中的重要性和应用前景。接着，白皮书从联通大数据有限公司的角度出发，介绍了该公司所提供

清华大学大数据课程第6.3讲-graphx-204104600

清华大学大数据课程第6.3讲主要介绍了GraphX的相关知识。GraphX是由Spark提供的图计算引擎，能够高效地处理大规模的图计算问题。GraphX支持Pregel API和图操作API，并且能够轻松地与Spark SQL等其他Spark组件进行集成。在解决图计算问题时，GraphX采用了图分区技术，将大规模的图数据进行划分，实现了数据的并行处理，提高了图计算的效率。同时，GraphX还引

张勇-基于知识图谱的健康医疗大数据融合技术及应用.pdf

### 回答1：《张勇-基于知识图谱的健康医疗大数据融合技术及应用.pdf》是一篇关于利用知识图谱技术在健康医疗大数据融合方面的应用的研究论文。知识图谱是一种基于图数据库的数据模型，用于描述实体和实体之间的关系，可以将海量的医疗数据和知识进行有效地整合和管理，为健康医疗领域的决策和研究提供支持。该论文介绍了基于知识图谱的健康医疗数据融合的基本原理和方法。首先，通过数据抽取、标注和清洗等方式，

5. ClickHouse大数据集群应用_腾讯网媒事业部.pdf

ClickHouse技术分享及实践资料合集（6份）.zip

ClickHouse技术分享及实践资料合集（6份），供大家学习参考： 1. ClickHouse Meetup （2021）（5页）.pptx 2. Yandex ClickHouse Features 2021（22页）.pdf 3. ClickHouse在腾讯音乐敏捷数据分析中的实践和思考（29...

大数据治理标准体系.docx

大数据治理标准体系是指为大数据治理制定的一套规范和标准的体系。这个体系主要包括数据治理的目标、原则、流程和要求等方面。首先，大数据治理的目标是确保数据的质量、安全和合规性。通过制定标准化的流程和要求，使得数据在采集、存储、处理和使用的过程中能够得到有效的保护和管理，保障数据的准确性和可靠性，保护用户和组织的隐私和权益。其次，大数据治理的原则是全面性、一致性、及时性和透明性。全面性指各个环节

大数据学习工作总结.docx

学习大数据的笔记，涉及工作中遇到的各种场景以及解决方案等。会对初步学习大数据入门的同事会有帮助。同时还有一些pathon、操作系统基本知识

大数据整体平台标书.docx

某文库里标价40RMB的一份完整的大数据方案，520页的Word文档标书，值得一看

为什么大数据需要数据湖？.pdf

东莞市大数据协会-区块链与云计算、大数据、物联网、人工智能等前沿技术之间的相互作用.pdf

05_实时数仓_ClickHouse_V2.0.pdf

infiniDB与clickhouse对比.pdf

1、infiniDB会使用所有CPU，而clickhouse最多使用10个。 2、clickhouse在大数据量的时候，处理速度还是比较令人满意的。 3、clickhouse在导入数据的时候，查询会被卡住，而infiniDB不会。 4、infiniDB性能更好。

不埋雷的探长

粉丝: 1189
资源: 35

上传资源快速赚钱

我的内容管理收起

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

会员权益专享

大数据资料之ClickHouse.pdf

评论0

会员权益专享

最新资源

大数据资料之ClickHouse.pdf

评论0

GITC 大数据

尚硅谷大数据技术之scala.docx

尚硅谷大数据技术之cm安装.pdf

ClickHouse数据库使用指南.docx

6. ClickHouse最佳实践新浪.pdf

联通大数据有限公司产品白皮书.pdf

清华大学大数据课程第6.3讲-graphx-204104600

张勇-基于知识图谱的健康医疗大数据融合技术及应用.pdf

5. ClickHouse大数据集群应用_腾讯网媒事业部.pdf

ClickHouse技术分享及实践资料合集（6份）.zip

大数据治理标准体系.docx

大数据学习工作总结.docx

大数据整体平台标书.docx

为什么大数据需要数据湖？.pdf

05_实时数仓_ClickHouse_V2.0.pdf

infiniDB与clickhouse对比.pdf

会员权益专享

最新资源