在ARM v8与中标麒麟v10上编译Python3.7用的pyarrow

"这篇文章主要介绍了如何在基于ARM v8架构的系统上，特别是中标麒麟（NeoKylin）操作系统v10版本中，编译并安装Python 3.7下的pyarrow库。由于pyarrow官方版本不支持ARM架构，因此需要手动编译其源代码以及依赖的Apache Arrow库。以下是一个详细步骤的指南。" 在ARM架构上编译pyarrow和Apache Arrow的过程相对复杂，因为官方可能并未提供预编译的适用于ARM平台的二进制包。下面的步骤将帮助你在中标麒麟v10环境下完成这一任务： 1. 首先，你需要下载Apache Arrow的源代码，这里使用的是0.14.0版本。通过`unzip apache-arrow-0.14.0.zip`命令解压缩下载的ZIP文件。 2. 进入解压后的目录，例如`cd arrow-apache-arrow-0.14.0/`。 3. 接下来，在cpp子目录下运行`cmake`命令，配置编译选项。这里使用了`cmake`的一系列参数，例如指定Python可执行文件路径为`/opt/software/Python3/bin/python3.6`，关闭对CUDA、FLIGHT、GANDIVA、DATASET、ORC、PARQUET、PLASMA、S3、HDFS、TensorFlow的支持，以及设定Boost和Parquet库的共享方式等。`cmake`的完整参数列表在描述中给出。 4. 执行`make -j4`开始编译， `-j4` 参数表示使用4个线程并行编译，可以根据实际硬件条件调整线程数。 5. 编译成功后，运行`make install`进行安装，这将把编译好的库文件安装到系统默认的位置，如`/usr/local/lib`或`/usr/local/lib64`。 6. 设置环境变量`ARROW_HOME`和`LD_LIBRARY_PATH`，确保系统能找到编译好的库文件。这些环境变量的设置在步骤5之后进行。 7. 完成Apache Arrow的编译和安装后，进入Python目录，即`cd arrow-apache-arrow-0.14.0/python`。 8. 使用`python3 setup.py build_ext --inplace`命令来编译Python绑定，并将其安装到当前目录。 9. 最后，通过`python3 setup.py install`将pyarrow安装到系统Python环境中。 10. 安装完成后，你可以通过`python3`启动Python解释器，尝试导入`pyarrow`模块，如果无任何错误提示，说明编译和安装过程顺利完成。 这个过程涉及的知识点包括： - ARM架构：ARM是Advanced RISC Machines的缩写，是一种广泛用于移动设备和嵌入式系统的处理器架构。 - 中标麒麟操作系统：中国自主研发的Linux发行版，主要用于政府和企业的服务器及桌面系统。 - Apache Arrow：一个跨平台的开源数据层，用于加速大数据处理和分析。 - Python 3.7：Python编程语言的一个版本，用于编写pyarrow的Python接口。 - CMake：一个跨平台的构建系统，用于管理软件项目的构建过程。 - 编译选项：在CMake中，可以通过各种选项控制编译过程，例如选择要编译的组件、指定依赖项的位置等。 - 环境变量：如`ARROW_HOME`和`LD_LIBRARY_PATH`，用于指示系统查找库文件的路径。 - Python模块安装：使用`setup.py`脚本进行Python模块的构建和安装。 在进行此类操作时，需要注意硬件兼容性、库的依赖关系、环境变量设置以及正确配置编译选项，以确保所有组件能正常工作。由于涉及到编译，所以需要一定的开发经验和对操作系统、编译工具的了解。