python hadoop api

Python提供了hadoop api来操作HDFS、MapReduce等，主要是通过`hadoop`包来实现。以下是使用Python hadoop api操作HDFS的示例代码：

from hadoop.fs import HdfsClient

client = HdfsClient(host='your_hdfs_host', port=your_hdfs_port)
client.makedirs('/path/on/hdfs')
client.upload('/path/on/hdfs/file.txt', '/path/on/local/file.txt')
client.download('/path/on/hdfs/file.txt', '/path/on/local/file.txt')
client.delete('/path/on/hdfs/file.txt')

其中，`your_hdfs_host`和`your_hdfs_port`需要替换为实际的HDFS主机和端口，`/path/on/hdfs`是HDFS上的目录路径，`/path/on/local`是本地目录路径。`makedirs`方法用于创建目录，`upload`方法用于上传文件，`download`方法用于下载文件，`delete`方法用于删除文件。

使用Python hadoop api操作MapReduce的示例代码如下：

from hadoop.mapred import JobConf, StreamingJob

conf = JobConf()
conf.set('mapreduce.job.inputformat.class', 'org.apache.hadoop.mapreduce.lib.input.TextInputFormat')
conf.set('mapreduce.job.outputformat.class', 'org.apache.hadoop.mapreduce.lib.output.TextOutputFormat')
conf.set('mapreduce.job.name', 'word_count')
conf.set_mapper('python mapper.py')
conf.set_reducer('python reducer.py')
job = StreamingJob(args=['/path/on/hdfs/input', '/path/on/hdfs/output'], conf=conf)
job.run()

其中，`/path/on/hdfs/input`是输入路径，`/path/on/hdfs/output`是输出路径，`mapper.py`和`reducer.py`是Map和Reduce函数的实现。`JobConf`用于配置MapReduce作业，`StreamingJob`用于运行MapReduce作业。

需要注意的是，使用Python hadoop api操作HDFS和MapReduce需要先安装`hadoop`包和相关的依赖库。