实验手册----搜狗搜索日志分析系统
目 录
一、数据预处理（Linux 环境） .............................................................................................................................................. 3
1. 查看数据 ..................................................................................................................................................... 3
2. 数据扩展 ..................................................................................................................................................... 3
3. 数据过滤 ..................................................................................................................................................... 3
二、基于 Hive 构建日志数据的数据仓库 .............................................................................................................................. 4
1. 基本操作 ..................................................................................................................................................... 4
2. 创建分区表（按照年、月、天、小时分区） ......................................................................................... 5
3. 查询结果 ..................................................................................................................................................... 6
四、实现数据分析需求一：条数统计 ................................................................................................................................... 6
五、实现数据分析需求二：关键词分析 ............................................................................................................................... 7
1. 查询关键词长度统计 ................................................................................................................................. 7
2. 查询频度排名（频度最高的前 50 词） ................................................................................................... 7
六、实现数据分析需求三：UID 分析 ................................................................................................................................... 7
1. UID 的查询次数分布（查询 1 次的 UID 个数，...查询 N 次的 UID 个数） ....................................... 7
2.UID 平均查询次数 ................................................................................................................................... 7
3. 查询次数大于 2 次的用户总数 ......................................................................................................... 7
4.查询次数大于 2 次的用户占比 .............................................................................................................. 7
4. 查询次数大于 2 次的数据展示 ......................................................................................................... 8
七、实现数据分析需求四：用户行为分析 ........................................................................................................................... 8
1. 点击次数与 Rank 之间的关系分析 ........................................................................................................... 8
2. 直接输入 URL 作为查询词的比例 ............................................................................................................. 8
3. 独立用户行为分析 ..................................................................................................................................... 9
八、实现数据分析需求五：实时数据 ................................................................................................................................. 10
九、使用 Sqoop 将数据导入 MySQL..................................................................................................................................... 10
十、HBase Shell 操作命令实验 ............................................................................................................................................. 11
十一、使用 Sqoop 将数据导入 HBase .................................................................................................................................. 12
十二、HBase Java API 访问统计数据 .................................................................................................................................... 13
1. 操作要求 ...................................................................................................................................................13
2. 数据准备 ...................................................................................................................................................13
3. 数据导入 ...................................................................................................................................................14
十三、Mahout 聚类操作实验 ............................................................................................................................................... 14
1. 数据描述 ...................................................................................................................................................14
2. 准备数据 ...................................................................................................................................................15
3. 运行聚类程序 ...........................................................................................................................................15
评论0