招商银行信用卡中心2019IT笔试：大数据与编程挑战

"招商银行信用卡中心2019秋招IT笔试大数据方向（二）" 在本次笔试中，主要涉及了数据库管理、编程语言基础、大数据处理框架Spark以及相关的系统管理与运维知识。以下是这些知识点的详细说明： 1. 数据库外键约束的删除规则： 在关系数据库中，外键约束用于保持数据的一致性和完整性。当尝试删除被从表引用的主表记录时，应修改从表的外键约束的“删除规则”。正确的选项是： - 不执行任何操作：不进行任何处理，可能导致数据不一致。 - 设置Null：允许外键字段变为NULL，但不是所有数据库系统都支持。 - 级联：删除主表记录时，会自动删除从表中引用该记录的所有相关行。 - 设置默认值：删除主表记录时，将从表中的外键字段设置为默认值。这通常与问题的上下文不符。 2. Python编程： 代码段涉及函数参数传递和列表操作。 - 第一段代码中，`fun(a)`内部的`a=2`不会改变外部`a`的值，因此`print(a)`依然输出1。 - 第二段代码中，`a.append(1)`是在列表上进行操作，这会直接影响到外部的`a`，所以`print(a)`输出[2, 1]。 3. Spark的Join类型： Spark支持多种JOIN操作，包括： - innerjoin：内连接，返回两个表中存在匹配的记录。 - leftouterjoin：左连接，返回左表所有记录，右表匹配的记录，右表无匹配则为NULL。 - rightouterjoin：右连接，返回右表所有记录，左表匹配的记录，左表无匹配则为NULL。 - fullouterjoin：全连接，返回两个表中所有记录，无匹配则为NULL。 4. 文件操作与字符串查找： 要在文件`a.txt`中查找字符串'str'，正确的命令是： ``` grep 'str' a.txt ``` 5. OLAP技术核心： OLAP（在线分析处理）的核心是多维分析，它支持用户从多个角度和层次对数据进行快速、灵活的深入分析。 6. 数据库事务特性： 数据库事务必须满足ACID属性： - 原子性（Atomicity）：事务中的所有操作要么全部成功，要么全部失败。 - 一致性（Consistency）：事务完成后，数据库保持一致性状态。 - 隔离性（Isolation）：事务执行过程中，其他事务不能访问其数据，直到事务完成。 - 持久性（Durability）：事务一旦提交，其结果将永久保存。 7. Vertica数据库系统： Vertica是一种高性能的关系型数据库，特点包括列式存储、分布式计算和优化的数据处理。以下说法正确的是： - Vertica基于列式存储，适合分析查询。 - Vertica的不同节点之间不共享存储，每个节点有自己的数据副本。 - Vertica中的表可以有或没有Projection，Projection有助于优化查询性能。 8. Spark参数配置： Spark的`spark.ui.port`参数用于指定Spark UI的端口号。在运行时生效的方式是： - 使用`spark-submit --conf spark.ui.port=14040`提交任务时指定。 9. 大数据生态体系： - Hadoop MapReduce主要用于批量处理，不适合实时或低延迟计算。 - MapReduce、Spark、Flink和Storm都可以在YARN上调度资源。 - Flink和Spark的流式计算本质不同，Flink更接近实时处理，而Spark Streaming是微批处理。 - SparkStreaming虽然支持秒级延迟，但吞吐量通常低于Storm。 10. 循环次数计算： 整型变量`i`初始值为700，每次循环将`i`除以2，直到`i`小于等于1。因此，循环执行次数为： 700 -> 350 -> 175 -> 87 -> 43 -> 21 -> 10 -> 5 -> 2 -> 1，共10次。 11. Spark Stage的Task数量： Spark中Stage的Task数量由RDD的分区（Partition）数量决定，每个Partition对应一个Task。 以上知识点涵盖了数据库管理、编程基础、大数据处理和系统管理等多个方面，这些都是IT专业人员，尤其是大数据方向的求职者需要掌握的基础知识。