HiveSQL面试题解析：用户累计访问次数统计

"HiveSQL面试练习题" 在面试中，HiveSQL是大数据领域常见的考察点，特别是对于处理大规模数据的公司来说。本练习题主要涉及Hive的基础操作，包括创建数据库、数据表，以及对数据进行聚合计算，特别是窗口函数的应用。下面将详细解析这些知识点。 首先，创建数据库和数据表是Hive操作的基础。在Hive中，创建数据库的语句是`CREATE DATABASE test_sql;`，然后通过`USE test_sql;`切换到新创建的数据库中。接着，创建名为`test1`的数据表，表结构包含用户ID（userId）、访问日期（visitDate）和访问次数（visitCount）。数据表的定义使用了`ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t"`，表明字段之间是以制表符分隔的。 在数据插入部分，使用`INSERT INTO TABLE`语句向`test1`表中添加了8条记录，这些记录展示了不同用户在不同日期的访问次数。 在计算累计访问次数时，我们需要用到Hive的聚合函数和窗口函数。`SUBSTR('xxx',a,b)`函数用于提取字符串的一部分，例如从下标a开始到下标b的子串。`REGEXP_REPLACE('xxx','/','-')`则是将字符串'xxx'中所有的'/'字符替换为'-'。`DATE_FORMAT('2021-11-23','yyyy-MM')`则用于格式化日期，将'2021-11-23'转换为'2021-11'的格式。 关键的计算部分，我们先通过`SELECT`语句进行分组，按照用户ID（userId）和处理过的访问日期（visitMonth，即去掉了日期中的'/'并格式化为'yyyy-MM'）进行聚合，计算出每个用户每月的访问次数（sum1）。这里使用了`GROUP BY`和`SUM(visitCount)`来实现这个功能。 然后，我们需要计算每个用户的累计访问次数，这涉及到窗口函数`SUM(sum1) OVER (PARTITION BY userId ORDER BY visitMonth ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW)`。这部分的含义是在每个用户的所有记录中，按照日期排序，计算从第一个记录到当前记录的访问次数之和，也就是累计访问次数。最后，`ORDER BY user`语句用于按用户ID排序结果。 通过以上步骤，我们可以得到每个用户每个月的累计访问次数，这对于分析用户行为、绘制用户活动趋势图等场景非常有用。在面试中，理解并能正确使用这些HiveSQL语句是展现数据分析和处理能力的重要方式。