1、讀取：

• sparkDF = spark.read.csv(path)
• sparkDF = spark.read.text(path)

2、打印：

sparkDF.show()【這是pandas中沒有的】：打印內容

sparkDF.head()：打印前面的內容

sparkDF.describe()：統計信息

sparkDF.printSchema()：打印schema，列的屬性信息打印出來【這是pandas中沒有的】

sparkDF.columns：將列名打印出來

3、選擇列

【select函數，原pandas中沒有】

sparkDF.select(‘列名1‘,‘列名2‘).show()：選擇dataframe的兩列數據顯示出來

sparkDF.select ( sparkDF[‘列名1‘]+1 , ‘列名2‘ ).show()：直接對列1進行操作（值+1）打印出來

4、篩選列：

filter【類似pandas中dataframe的采用列名來篩選功能】

sparkDF.filter ( sparkDF[‘value‘] == 100 ).show()：將value這一列值為100的行篩選出來

5、計算不重復值以及統計dataframe的行數

distinct()函數：將重復值去除

sparkDF.count()：統計dataframe中有多少行

將評分為100的電影數量統計出來：

（3）pyspark中的dataframe的觀察操作