1. 程式人生 > >pyspark 連接mysql數據庫

pyspark 連接mysql數據庫

use amp jar clas localhost orm connector jdbc name

  1:載mysql-connector 放入 jars下

2:在spark-env.sh中 配置EXTRA_SPARK_CLASSPATH環境變量

  export EXTRA_SPARK_CLASSPATH=/home/fly/spark-2.1.1-bin-hadoop2.7/jars/

df = sqlContext.read.format("jdbc").options(url="jdbc:mysql://localhost:3306?user=root&useSSL=false", dbtable="db.tablename").load()

  df.show()

pyspark 連接mysql數據庫