pycharm连接伪分布式hdfs

### 配置 PyCharm 连接到伪分布式 HDFS

为了使 PyCharm 能够连接到本地运行的伪分布式 HDFS 环境，需完成几个关键配置。

#### 1. 安装必要的插件
通过 PyCharm 的插件市场安装支持 HDFS 浏览器功能的相关插件[^3]。这允许开发者直接在 IDE 内管理 HDFS 文件系统中的文件和目录。

File -> Settings -> Plugins

搜索并安装 `Hadoop Integration` 或其他适用于操作 HDFS 的插件。

#### 2. 设置 Hadoop 环境变量
确保已经正确设置了 Hadoop 环境变量，在 `hadoop-env.sh` 文件中指定 Java 和 Hadoop 版本路径[^2]：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_INSTALL=/home/master/bighomework/hadoop-2.7.7

这些环境变量对于后续步骤至关重要，因为它们定义了 Hadoop 及其依赖项的位置。

#### 3. 启动 HDFS 服务
启动 NameNode 和 DataNode 来初始化 HDFS 文件系统的实例[^1]:

cd /home/master/bighomework/hadoop-2.7.7/sbin/
start-dfs.sh

此命令会启动所有必需的服务来创建一个可用的 HDFS 实例。

#### 4. 创建 PyCharm 项目并与 HDFS 关联
打开 PyCharm 并新建或导入现有 Python 项目。接着按照如下方式关联 HDFS:

- 使用已安装好的插件提供的界面选项去建立新的远程服务器连接；
- 输入目标主机 IP 地址（如果是同一台机器，则为 localhost），端口号默认情况下是 9870 (Web UI) 或者 8020 (RPC)，具体取决于版本差异；
- 提供正确的用户名和其他认证信息以便成功登录至 HDFS；

一旦上述设置完成后，应该能够在 PyCharm 中看到所挂载的 HDFS 目录结构，并可以像处理本地文件一样对其进行读写操作。