2. 程式人生 > >基於SparkSQL的網站日誌分析實戰

基於SparkSQL的網站日誌分析實戰

阿新 • • 發佈：2018-11-11

基於SparkSQL的網站日誌分析實戰

使用者行為日誌概述

          使用者行為日誌：使用者每次訪問網站時所有的行為資料（訪問、瀏覽、搜尋、點選...）
                                   使用者行為軌跡、流量日誌
為什麼要記錄使用者訪問行為日誌
網站頁面的訪問量
網站的黏性
推薦
           2.使用者行為日誌生成渠道

Nginx
Ajax
3.使用者行為日誌內容

日誌資料內容：
1）訪問的系統屬性： 作業系統、瀏覽器等等
2）訪問特徵：點選的url、從哪個url跳轉過來的(referer)、頁面上的停留時間等
3）訪問資訊：session_id、訪問ip(訪問城市)等
日誌資訊如下所示：
2013-05-19 13:00:00     http://www.taobao.com/17/?tracker_u=1624169&type=1      B58W48U4WKZCJ5D1T3Z9ZY88RU7QA7B1        http://hao.360.cn/      1.196.34.243   
4.使用者行為日誌分析的意義
網站的眼睛（訪問者來自什麼地方，找什麼東西，那些頁面最受歡迎，訪問者的入口地址是什麼等）
網站的神經（網站佈局是否合理，導航層次是否清晰，功能是否存在問題，轉換路徑是否靠譜）
網站的大腦（如何分析目標，如何分配廣告預算(廣告推廣)）
離線資料處理架構

資料處理流程
1）資料採集
Flume： web日誌寫入到HDFS


2）資料清洗
髒資料
Spark、Hive、MapReduce 或者是其他的一些分散式計算框架  
清洗完之後的資料可以存放在HDFS(Hive/Spark SQL)


3）資料處理
按照我們的需要進行相應業務的統計和分析
Spark、Hive、MapReduce 或者是其他的一些分散式計算框架


4）處理結果入庫
結果可以存放到RDBMS、NoSQL


5）資料的視覺化
通過圖形化展示的方式展現出來：餅圖、柱狀圖、地圖、折線圖
ECharts、HUE、Zeppelin
離線資料處理架構

專案需求

需求一：統計imooc主站最受歡迎的課程/手記的Top N訪問次數
需求二：按地市統計imooc主站最受歡迎的Top N課程
（1）.根據IP地址提取出城市資訊
（2）.視窗函式在Spark SQL中的使用
按流量統計imooc主站最受歡迎的Top N課程
功能實現

          網站主站日誌介紹
訪問時間
訪問URL
訪問過程耗費流量
訪問IP地址
資料清洗
原始日誌
 10.100.0.1 - - [10/Nov/2016:00:01:02 +0800] "HEAD / HTTP/1.1" 301 0 "117.121.101.40" "-" - "curl/7.19.7 (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.16.2.3 Basic ECC zlib/1.2.3 libidn/1.18 libssh2/1.4.2" "-" - - - 0.000
 第一次清洗後（訪問時間 主站URL耗費的流量ip地址）
2017-05-11 15:07:17     http://www.imooc.com/video/14322        245     202.96.134.133
2017-05-11 06:52:31     http://www.imooc.com/article/17891      535     222.129.235.182
2017-05-11 18:46:43     http://www.imooc.com/article/17898      807     218.75.35.226
程式碼實現參見gitee地址【https://gitee.com/robei/SparkSQLProject/blob/master/src/main/scala/com/imooc/log/SparkStatFormatJob.scala】
第二次資料清洗
輸入：訪問時間、訪問URL、耗費的流量、訪問IP地址資訊
輸出：URL、cmsType(video/article)、cmsId(編號)、流量、ip、城市資訊、訪問時間、天
程式碼實現參見gitee地址【https://gitee.com/robei/SparkSQLProject/blob/master/src/main/scala/com/imooc/log/SparkStatCleanJob.scala】

根據ip地址解析城市資訊

使用github上已有的開源專案
1）git clone https://github.com/wzhe06/ipdatabase.git
2）編譯下載的專案：mvn clean package -DskipTests
3）安裝jar包到自己的maven倉庫
mvn install:install-file -Dfile=~/source/ipdatabase/target/ipdatabase-1.0-SNAPSHOT.jar -DgroupId=com.ggstar -DartifactId=ipdatabase -Dversion=1.0 -Dpackaging=jar

資料清洗儲存到目標地址（） 

【https://gitee.com/robei/SparkSQLProject/blob/e60788c9e0f3c2ffc446d9aa8acaa5a66ac006fc/src/main/scala/com/imooc/log/SparkStatCleanJob.scala】
需求一的實現：統計主站最受歡迎的課程/手記的Top N訪問次數
/**
    * 需求一：主站最受歡迎的TopN課程統計
    *
    * @param spark
    * @param cleanDF
    */
  def videoAccessTopNStat(spark: SparkSession, cleanDF: DataFrame, day:String): Unit = {
 
    //------------------使用DataFrame API完成統計操作--------------------------------------------
    /* import spark.implicits._
     val videoAccessTopNDF = cleanDF.filter($"day" === day && $"cmsType" === "video")
       .groupBy("day","cmsId").agg(count("cmsId").as("times")).orderBy($"times".desc)*/
 
    //    videoAccessTopNDF.printSchema()
    /**
      * root
      * |-- day: string (nullable = true)
      * |-- cmsId: long (nullable = true)
      * |-- times: long (nullable = false)
      */
 
    //    videoAccessTopNDF.show(10,false)
    /**
      * +--------+-----+------+
      * |day     |cmsId|times |
      * +--------+-----+------+
      * |20170511|14540|111027|
      * |20170511|4000 |55734 |
      * |20170511|14704|55701 |
      * |20170511|14390|55683 |
      * |20170511|14623|55621 |
      * |20170511|4600 |55501 |
      * |20170511|4500 |55366 |
      * |20170511|14322|55102 |
      * +--------+-----+------+
      */
 
    //-------------------------使用SQL API完成操作-------------------------
    cleanDF.createOrReplaceTempView("access_logs")
    //建立臨時表 access_logs
    val videoAccessTopNDF = spark.sql("select day,cmsId,count(1) as times from access_logs" +
      " where day="+day+" and cmsType='video'" +
      " group by day,cmsId order by times desc")
 
    videoAccessTopNDF.show(10, false)
    /**
      * +--------+-----+------+
      * |day     |cmsId|times |
      * +--------+-----+------+
      * |20170511|14540|111027|
      * |20170511|4000 |55734 |
      * |20170511|14704|55701 |
      * |20170511|14390|55683 |
      * |20170511|14623|55621 |
      * |20170511|4600 |55501 |
      * |20170511|4500 |55366 |
      * |20170511|14322|55102 |
      * +--------+-----+------+
      */
    //-------------------將統計結果寫入資料庫-------------------
    try {
      videoAccessTopNDF.foreachPartition(partitionOfRecords => {
        val list = new ListBuffer[DayVideoAccessStat]
 
        partitionOfRecords.foreach(info => {
          val day = info.getAs[String]("day")
          val cmsId = info.getAs[Long]("cmsId")
          val times = info.getAs[Long]("times")
 
          list.append(DayVideoAccessStat(day, cmsId, times))
        })
        StatDAO.insertDayVideoAccessTopN(list)
      })
    }catch {
      case e:Exception => e.printStackTrace()
    }
    /**
      * 在mysql中建立day_video_access_topn_stat，主站最受歡迎的Top N課程
      *  create table day_video_access_topn_stat (
      *      day varchar(8) not null,
      *      cms_id bigint(10) not null,
      *      times bigint(10) not null,
      *      primary key (day, cms_id)
      *  );
      */
  }
需求二：按地市統計主站最受歡迎的Top N課程
/**
    * 需求二：按地市統計主站最受歡迎的Top N課程
    * @param spark
    * @param cleanDF
    */
  def cityAccessTopSata(spark: SparkSession, cleanDF: DataFrame, day:String): Unit = {
    //------------------使用DataFrame API完成統計操作--------------------------------------------
     import spark.implicits._
 
     val cityAccessTopNDF = cleanDF.filter($"day" === day && $"cmsType" === "video")
       .groupBy("day","city","cmsId").agg(count("cmsId").as("times")).orderBy($"times".desc)
 
//    cityAccessTopNDF.printSchema()
    /**
      * root
      *    |-- day: string (nullable = true)
      *    |-- city: string (nullable = true)
      *    |-- cmsId: long (nullable = true)
      *    |-- times: long (nullable = false)
      */
 
//    cityAccessTopNDF.show(false)
    /**
      *  +--------+----+-----+-----+
      *  |day     |city|cmsId|times|
      *  +--------+----+-----+-----+
      *  |20170511|浙江省 |14540|22435|
      *  |20170511|北京市 |14540|22270|
      *  |20170511|安徽省 |14540|22149|
      *  |20170511|廣東省 |14540|22115|
      *  |20170511|上海市 |14540|22058|
      *  |20170511|北京市 |4600 |11271|
      *  |20170511|安徽省 |14390|11229|
      *  |20170511|廣東省 |14623|11226|
      *  |20170511|上海市 |14704|11219|
      *  |20170511|廣東省 |14704|11216|
      *  |20170511|廣東省 |4600 |11215|
      *  |20170511|上海市 |4000 |11182|
      *  |20170511|北京市 |14390|11175|
      *  |20170511|廣東省 |4000 |11169|
      *  |20170511|上海市 |4500 |11167|
      *  |20170511|安徽省 |14704|11162|
      *  |20170511|北京市 |4000 |11156|
      *  |20170511|浙江省 |14322|11151|
      *  |20170511|上海市 |14623|11149|
      *  |20170511|廣東省 |4500 |11136|
      *  +--------+----+-----+-----+
      */
    //-----------Window函式在Spark SQL中的使用--------------------
    val cityTop3DF = cityAccessTopNDF.select(
      cityAccessTopNDF("day"),
      cityAccessTopNDF("city"),
      cityAccessTopNDF("cmsId"),
      cityAccessTopNDF("times"),
      row_number().over(Window.partitionBy(cityAccessTopNDF("city"))
        .orderBy(cityAccessTopNDF("times").desc)).as("times_rank")
    ).filter("times_rank <= 3").orderBy($"city".desc,$"times_rank".asc)
 
    cityTop3DF.show(false)//展示每個地市的Top3
    /**
      *    +--------+----+-----+-----+----------+
      *    |day     |city|cmsId|times|times_rank|
      *    +--------+----+-----+-----+----------+
      *    |20170511|浙江省 |14540|22435|1         |
      *    |20170511|浙江省 |14322|11151|2         |
      *    |20170511|浙江省 |14390|11110|3         |
      *    |20170511|廣東省 |14540|22115|1         |
      *    |20170511|廣東省 |14623|11226|2         |
      *    |20170511|廣東省 |14704|11216|3         |
      *    |20170511|安徽省 |14540|22149|1         |
      *    |20170511|安徽省 |14390|11229|2         |
      *    |20170511|安徽省 |14704|11162|3         |
      *    |20170511|北京市 |14540|22270|1         |
      *    |20170511|北京市 |4600 |11271|2         |
      *    |20170511|北京市 |14390|11175|3         |
      *    |20170511|上海市 |14540|22058|1         |
      *    |20170511|上海市 |14704|11219|2         |
      *    |20170511|上海市 |4000 |11182|3         |
      *    +--------+----+-----+-----+----------+
      */
    //-------------------將統計結果寫入資料庫-------------------
    try {
      cityTop3DF.foreachPartition(partitionOfRecords => {
        val list = new ListBuffer[DayCityVideoAccessStat]
 
        partitionOfRecords.foreach(info => {
          val day = info.getAs[String]("day")
          val cmsId = info.getAs[Long]("cmsId")
          val city = info.getAs[String]("city")
          val times = info.getAs[Long]("times")
          val timesRank = info.getAs[Int]("times_rank")
 
          list.append(DayCityVideoAccessStat(day, cmsId,city, times,timesRank))
        })
        StatDAO.insertDayCityVideoAccessTopN(list)
      })
    }catch {
      case e:Exception => e.printStackTrace()
    }
    /**
      *   create table day_video_city_access_topn_stat (
      *      day varchar(8) not null,
      *      cms_id bigint(10) not null,
      *      city varchar(20) not null,
      *      times bigint(10) not null,
      *      times_rank int not null,
      *      primary key (day, cms_id, city)
      *   );
      */
  }
需求三：按照流量統計主站最受歡迎的Top N課程
 /**
    * 需求三：按照流量統計主站最受歡迎的Top N課程
    * @param spark
    * @param cleanDF
    */
  def videoTraffsTopStat(spark: SparkSession, cleanDF: DataFrame, day:String): Unit = {
    //------------------使用DataFrame API完成統計操作--------------------------------------------
    import spark.implicits._
 
    val trafficsTopNDF = cleanDF.filter($"day" === day && $"cmsType" === "video")
      .groupBy("day","cmsId").agg(sum("traffic").as("traffics")).orderBy($"traffics".desc)
 
     trafficsTopNDF.show()
    /**
      *  +--------+-----+--------+
      *  |     day|cmsId|traffics|
      *  +--------+-----+--------+
      *  |20170511|14540|55454898|
      *  |20170511|14390|27895139|
      *  |20170511| 4500|27877433|
      *  |20170511| 4000|27847261|
      *  |20170511|14623|27822312|
      *  |20170511| 4600|27777838|
      *  |20170511|14704|27737876|
      *  |20170511|14322|27592386|
      *  +--------+-----+--------+
      */
    //-------------------將統計結果寫入資料庫-------------------
    try {
      trafficsTopNDF.foreachPartition(partitionOfRecords => {
        val list = new ListBuffer[DayVideoTrafficsStat]
 
        partitionOfRecords.foreach(info => {
          val day = info.getAs[String]("day")
          val cmsId = info.getAs[Long]("cmsId")
          val traffics = info.getAs[Long]("traffics")
 
          list.append(DayVideoTrafficsStat(day, cmsId,traffics))
        })
        StatDAO.insertDayVideoTrafficsTopN(list)
      })
    }catch {
      case e:Exception => e.printStackTrace()
    }
    /**
      *  create table day_video_traffics_topn_stat (
      *      day varchar(8) not null,
      *      cms_id bigint(10) not null,
      *      traffics bigint(20) not null,
      *      primary key (day, cms_id)
      *   );
      */
  }
【https://gitee.com/robei/SparkSQLProject】
 

相關推薦

基於SparkSql的日誌分析實戰

目錄 需求分析 資料清洗 調優點 日誌資料內容 訪問系統屬性，作業系統，瀏覽器 訪問特徵，點選的url,從那個url跳轉過來的，頁面的停留時間 訪問資訊，session_id,訪問ip(訪問城市) 使用者行為日誌分

基於SparkSQL的網站日誌分析實戰

基於SparkSQL的網站日誌分析實戰 使用者行為日誌概述           使用者行為日誌：使用者每次訪問網站時所有的行為資料（訪問、瀏覽、搜尋、點選...）   &n

Spark SQL 筆記(10)——實戰網站日誌分析（1）

1 使用者行為日誌介紹 1.1 行為日誌生成方法 Nginx Ajax 1.2 日誌內容 訪問的系統屬性：作業系統、瀏覽器 訪問特徵：點選的 url、從哪個url 跳轉過來的（referer）、頁

Spark SQL 筆記(11)——實戰網站日誌分析（2）統計結果入庫

1 統計結果入庫 使用 DataFrame API 完成統計分析 使用 SQL API 完成統計分析 將結果寫入 MySQL 資料庫 1.1 調優點 分割槽欄位的資料型別的調整 https://

Spark SQL 筆記(15)——實戰網站日誌分析（5）資料視覺化

1 常見的視覺化框架 echarts highcharts d3.js HUE Zeppelin 2 建立 Web 專案 下載Echarts的檔案放到此目錄 http://echarts.bai

sparkStreaming結合sparkSql進行日誌分析

pass mysql foreach eat instance dataframe sel park array package testimport java.util.Propertiesimport org.apache.spark.SparkConfimport o

.NET基於Eleasticsearch搭建日誌系統實戰演練(公開版)

問題： 動手 控制 arch 推送 平臺 記錄 插件 解決 一、需求背景介紹 1.1、需求描述 大家都知道C/S架構模式的客戶端應用程序(比如：WinForm桌面應用、WPF、移動App應用程序、控制臺應用程序、Windows服務等等)的日誌記錄都存儲在本地客戶端中

網站日誌分析對網站優化有什麼幫助

網站日誌能給seo帶來很多意想不到的資料情況，通過分析這些資料可以使優化變得更為主動。網站日誌對蜘蛛和訪客的瀏覽情況的提供了詳細資料。通過分析相關參考資料，可以對蜘蛛行為及網站有更清晰的認識，並且能夠提供相應優化方案。 從不同角度分析可以得出不同結論，比如從蜘蛛行為角度，我們可以看出蜘蛛的瀏覽行為，包括蜘蛛

網站日誌分析對網站優化有什麽幫助

屏蔽 robots 分析 網站構架 ref 效率 打開速度慢 參考 質量 網站日誌能給seo帶來很多意想不到的數據情況，通過分析這些數據可以使優化變得更為主動。網站日誌對蜘蛛和訪客的瀏覽情況的提供了詳細數據。通過分析相關參考數據，可以對蜘蛛行為及網站有更清晰的認識，並且能夠

大資料技術學習筆記之Hadoop框架基礎3-網站日誌分析及MapReduce過程詳解

一、回顧     -》Hadoop啟動方式         -》單個程序             sbin/h

mapReduce：網站日誌分析專案案例：資料清洗

一、資料情況分析 1.1 資料情況回顧 　　該論壇資料有兩部分： 　　（1）歷史資料約56GB，統計到2012-05-29。這也說明，在2012-05-29之前，日誌檔案都在一個檔案裡邊，採用了追加寫入的方式。 　　（2）自2013-05-30起，每天生成一個數據檔案

Hadoop學習筆記—20.網站日誌分析專案案例（三）統計分析

網站日誌分析專案案例（三）統計分析：當前頁面一、藉助Hive進行統計1.1 準備工作：建立分割槽表　　為了能夠藉助Hive進行統計分析，首先我們需要將清洗後的資料存入Hive中，那麼我們需要先建立一張表。這裡我們選擇分割槽表，以日期作為分割槽的指標，建表語句如下：（這裡關鍵之

（2）Storm實時日誌分析實戰--Topology的設計

需求 日誌資料樣例： 215.187.202.215 - - [1481945172991] “GET/IBEIfeng.gif?order_id=1&orderTime=148194

Hadoop學習筆記—20.網站日誌分析專案案例（一）專案介紹

網站日誌分析專案案例（一）專案介紹：當前頁面一、專案背景與資料情況1.1 專案來源　　本次要實踐的資料日誌來源於國內某技術學習論壇，該論壇由某培訓機構主辦，匯聚了眾多技術學習者，每天都有人發帖、回帖，如圖1所示。圖1 專案來源網站-技術學習論壇　　本次實踐的目的就在於通過對該

Hadoop學習筆記—20.網站日誌分析專案案例（二）資料清洗

網站日誌分析專案案例（二）資料清洗：當前頁面一、資料情況分析1.1 資料情況回顧　　該論壇資料有兩部分：　　（1）歷史資料約56GB，統計到2012-05-29。這也說明，在2012-05-29之前，日誌檔案都在一個檔案裡邊，採用了追加寫入的方式。　　（2）自2013-05-

Python開源專案介紹：網站日誌分析工具

CodingGo技術社群自由的程式設計學習平臺 日誌分析 日誌分析在web系統中故障排查、效能分析方面有著非常重要的作用。該工具的側重點不是通常的PV，UV等展示，而是在指定時間段內提供細粒度（最小分鐘級別，即一分鐘內的日誌做抽象和彙總）的異常定位和效能分析。 環境安裝

（1）Storm實時日誌分析實戰--專案準備

流程圖 Flume收集Nginx的日誌，然後存在Kafka佇列中，由storm讀取Kafka中的日誌資訊，經過相關處理後，儲存到HBase和MySQL中 安裝步驟Kafka 從官網下載安

使用hadoop平臺進行小型網站日誌分析

0.上傳日誌檔案到linux中，通過flume將檔案收集到hdfs中。 執行命令/home/cloud/flume/bin/flume-ng agent -n a4 -c conf -f /home/cloud/flume/conf/a4.conf -Dflume.roo

【阿里雲網站日誌分析實踐】通過Log Service日誌服務匯入MaxCompute分析

使用非常簡單。使用者只需要完成2步配置即可以把日誌服務Logstore的日誌資料遷移到MaxCompute中。 避免重複收集工作。由於日誌服務的日誌收集過程已經完成不同機器上的日誌集中化，無需重複在不同機器上收集一遍日誌資料後再匯入到MaxCompute。 充分複用日誌服務內的日誌分類管理工作。使用者可讓

5分鐘搭建網站實時分析：Grafana+日誌服務實戰

阿里雲日誌服務是針對日誌類資料一站式服務，使用者只需要將精力集中在分析上，過程中資料採集、對接各種儲存計算、資料索引和查詢等瑣碎工作等都可以交給服務。2017年9月日誌服務加強日誌實時分析功能（LogSearch/Analytics），可以使用查詢+SQL92語法對日誌進行實時分析。 在結果分析視覺化上，除