使用Spark从中国S3 AWS下载数据并解决常见问题

pycharm，spark2.3.0_bin_hadoop2.7，hadoop2.7.3（版本不要搞错，否则浪费很多时间）
一、利用s3a连接中国cn-north-1下载数据：
s3a python代码如下：
import pyspark
import os
from pyspark import  SparkContext

os.environ['PYSPARK_SUBMIT_ARGS'] = "--packages=org.apache.hadoop:hadoop-aws:2.7.3," \
                                    "com.amazonaws:aws-java-sdk:1.7.4 " \
                                    "pyspark-shell"
access_id =”***“ 
access_key = “***“


#spark = pyspark.sql.SparkSession.builder.master('local').getOrCreate()
#sc = spark.sparkContext
sc = SparkContext()
hadoop_conf = sc._jsc.hadoopConfiguration()
hadoop_conf.set("fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
hadoop_conf.set("fs.s3a.access.key", access_id)
hadoop_conf.set("fs.s3a.secret.key", access_key)
hadoop_conf.set("fs.s3a.endpoint", "s3.cn-north-1.amazonaws.com.cn")
sql = pyspark.SQLContext(sc)
df = sql.read.csv("s3a://myBucket/MyFilePattern"")
print(df.count())


二、利用s3n连接下载(如果secretkey中有/，好像也连不上，提示Permision Dennied错误）
将上述代码中设置改为
hadoop_conf.set("fs.s3n.awsAccessKeyId", "BLABLA")(**注意fs.s3n.后面与s3a不同**）