hadoop連線Amazon s3時，core-site.xml檔案該怎麼配置？

文章目錄

• 1. 注意
• 2. s3的配置模板
• 3. s3n的配置模板
• 4. s3a的配置模板
• 5. 必須要新增的配置
• 5.1 配置 endpoint
• 5.2 禁用ssl

1. 注意

具體配置要求如下：
1.首先，要確認自己使用的是 s3 服務介面，還是s3n、s3a，然後在下面三個模板中選擇一個新增到你的 core-site.xml 檔案中去。
2.記得修改成自己的 secret key 與 access key

2. s3的配置模板

<property>
    <name>fs.s3.access.key</name>
    <value>AD219WWP7J246X6M88D2</value>
</property>
<property>
    <name>fs.s3.secret.key</name>
    <value>DhK8SZdmAVwwDDYh0KXbUPQelIejl7snZOwPNlNh</value>
</property>
 

<property>
    <name>fs.s3.impl</name>
    <value>org.apache.hadoop.fs.s3.S3FileSystem</value>
</property>

3. s3n的配置模板

<property>
    <name>fs.s3n.access.key</name>
    <value>access.key</value>
</property>
<property>
    <
 
name>fs.s3n.secret.key</name>
   <value>secret.key</value>
</property>
<property>
    <name>fs.s3n.impl</name>
    <value>org.apache.hadoop.fs.s3native.NativeS3FileSystem</value>
</property>

4. s3a的配置模板

<property>
    <name>fs.s3a.access.key</name>
    <value>access.key</value>
</property>
<property>
    <name>fs.s3a.secret.key</name>
    <value>secret.key</value>
</property>
<property>
    <name>fs.s3a.impl</name>
    <value>org.apache.hadoop.fs.s3a.S3AFileSystem</value>
</property>

5. 必須要新增的配置

5.1 配置 endpoint

似乎只有s3a才支援配置endopint！s3沒試過、s3n版本太舊了，hadoop強制要我改成s3a才可以連線。

<property>
    <name>fs.s3a.endpoint</name>
    <value>endpoint:port</value>
</property>

5.2 禁用ssl

<property>
  <name>fs.s3a.connection.ssl.enabled</name>
  <value>false</value>
</property>