面试官问HDFS的读写流程怎么回答

HDFS的读写流程可以简单地概括为以下几个步骤：

1. 写流程：

（1）客户端向NameNode请求写入一个文件，NameNode返回一组DataNodes列表，客户端从中选取一个DataNode作为写入目标节点。

（2）客户端向选定的DataNode发送一个写入请求，并将数据分成若干个数据块（默认大小为64MB）。

（3）DataNode接收到数据块后，先将数据块暂存到本地磁盘上的临时文件中，然后向客户端返回一个确认消息。

（4）客户端收到确认消息后，向DataNode发送一个指令，要求将临时文件中的数据块移动到正式的数据块文件中，同时通知NameNode该数据块已经写入完毕。

2. 读流程：

（1）客户端向NameNode请求读取一个文件，NameNode返回一组包含该文件所有数据块位置信息的DataNodes列表。

（2）客户端从该列表中选择一个DataNode作为读取目标节点，并向该节点发送一个读取请求。

（3）DataNode接收到读取请求后，将对应数据块从磁盘读取到内存中，并将数据块传输到客户端。

（4）如果该数据块被其他客户端进行修改，则DataNode会先将修改后的数据块传输给该客户端，然后再读取原始数据块并传输给本客户端。

以上是简要的HDFS读写流程，其中还涉及到数据块的复制、心跳检测等细节问题，具体的实现方式可以根据具体情况进行调整和优化。

相关问题

面试官问 hdfs的读写流程 怎么回答呢

HDFS的读写流程大致如下：

1. 客户端向NameNode请求要读取或写入某个文件的数据块信息；
2. NameNode返回对应数据块的DataNode列表，客户端根据距离、负载等因素选择其中一个DataNode作为目标节点；
3. 客户端直接与目标DataNode建立连接进行数据读写，如果目标DataNode故障，则选择备份节点进行操作；
4. 在写入数据时，客户端将数据分成若干个数据块，每个数据块默认大小为128MB，然后将数据块发送给DataNode，DataNode接收到数据后将数据块存储到本地磁盘上；
5. 在读取数据时，客户端向目标DataNode发送读取请求，DataNode读取本地磁盘上的数据块并返回给客户端。

需要注意的是，HDFS的读写流程还有很多细节和优化，比如数据块的复制、DataNode的心跳检测、读取数据时的预读等等。

java大数据面试题

在Java大数据面试中，面试官可能会关注以下几个主题：

1. **Hadoop生态系统**: 题目可能涉及Hadoop MapReduce模型、HDFS（分布式文件系统）、YARN（资源管理器），以及Hive、Pig等数据处理工具的原理和使用场景。

2. **Spark框架**: 了解Spark的工作原理、RDD（弹性分布式数据集）、DataFrame和DStream的区别，以及Spark SQL和Spark Streaming的能力。

3. **NoSQL数据库**: MongoDB、Cassandra或HBase的选择，它们的数据模型，以及如何在大规模数据下进行读写优化。

4. **分布式计算技术**: 如Apache Storm或Flink的实际应用，实时流处理的概念和实践。

5. **内存计算框架**: 如Tachyon、HBase MemStore的理解，以及其在大数据处理中的作用。

6. **面试者对大数据存储、压缩和序列化技术的熟悉度**，如Snappy、BZip2或Kryo。

7. **性能优化及监控**: 能够讨论如何通过调整配置、日志分析和监控工具（如Ganglia、Prometheus）来提高系统的稳定性和效率。