一、基於nginx+lua完成商品詳情頁訪問流量實時上報kafka的開發

在nginx這一層，接收到訪問請求的時候，就把請求的流量上報傳送給kafka

這樣的話，storm才能去消費kafka中的實時的訪問日誌，然後去進行快取熱資料的統計

用得技術方案非常簡單，從lua指令碼直接建立一個kafka producer，傳送資料到kafka

wget https://github.com/doujiang24/lua-resty-kafka/archive/master.zip

yum install -y unzip

unzip lua-resty-kafka-master.zip

cp -rf /usr/local/lua-resty-kafka-master/lib/resty /usr/hello/lualib

nginx -s reload

local cjson = require("cjson"
 
)  
local producer = require("resty.kafka.producer")  

local broker_list = {  
    { host = "192.168.31.187", port = 9092 },  
    { host = "192.168.31.19", port = 9092 },  
    { host = "192.168.31.227", port = 9092 }
}

local log_json = {}  
log_json["headers"] = ngx.req.get_headers()  
log_json["uri_args"
 
] = ngx.req.get_uri_args()  
log_json["body"] = ngx.req.read_body()  
log_json["http_version"] = ngx.req.http_version()  
log_json["method"] =ngx.req.get_method() 
log_json["raw_reader"] = ngx.req.raw_header()  
log_json["body_data"] = ngx.req.get_body_data()  

local message = cjson.encode(log_json);  
 


local productId = ngx.req.get_uri_args()["productId"]

local async_producer = producer:new(broker_list, { producer_type = "async" })   
local ok, err = async_producer:send("access-log", productId, message)  

if not ok then  
    ngx.log(ngx.ERR, "kafka send err:", err)  
    return  
end

兩臺機器上都這樣做，才能統一上報流量到kafka

bin/kafka-topics.sh --zookeeper 192.168.31.187:2181,192.168.31.19:2181,192.168.31.227:2181 --topic access-log --replication-factor 1 --partitions 1 --create

bin/kafka-console-consumer.sh --zookeeper 192.168.31.187:2181,192.168.31.19:2181,192.168.31.227:2181 --topic access-log --from-beginning

（1）kafka在187上的節點死掉了，可能是虛擬機器的問題，殺掉程序，重新啟動一下

nohup bin/kafka-server-start.sh config/server.properties &

（2）需要在nginx.conf中，http部分，加入resolver 8.8.8.8;

（3）需要在kafka中加入advertised.host.name = 192.168.31.187，重啟三個kafka程序

（4）需要啟動eshop-cache快取服務，因為nginx中的本地快取可能不在了

二、基於storm+kafka完成商品訪問次數實時統計拓撲的開發

maven構建出的一些問題，直接從maven中央倉庫可能下載不到jar包，自己去百度一下jar，下載下來

根據錯誤提示，拷貝到maven本地倉庫對應的目錄中去，然後手工安裝一下

1、kafka consumer spout

單獨的執行緒消費，寫入佇列

nextTuple，每次都是判斷佇列有沒有資料，有的話再去獲取併發射出去，不能阻塞

2、日誌解析bolt

3、商品訪問次數統計bolt

基於LRUMap完成統計

三、基於storm完成LRUMap中topn熱門商品列表的演算法講解與編寫

topn list生成演算法講解

1、storm task啟動的時候，基於分散式鎖將自己的taskid累加到一個znode中

2、開啟一個單獨的後臺執行緒，每隔1分鐘算出top3熱門商品list

3、每個storm task將自己統計出的熱資料list寫入自己對應的znode中

4、task初始化

5、熱門商品list儲存

四、基於雙重zookeeper分散式鎖完成分散式並行快取預熱的程式碼開發

1、服務啟動的時候，進行快取預熱

2、從zk中讀取taskid列表

3、依次遍歷每個taskid，嘗試獲取分散式鎖，如果獲取不到，快速報錯，不要等待，因為說明已經有其他服務例項在預熱了

4、直接嘗試獲取下一個taskid的分散式鎖

5、即使獲取到了分散式鎖，也要檢查一下這個taskid的預熱狀態，如果已經被預熱過了，就不再預熱了

6、執行預熱操作，遍歷productid列表，查詢資料，然後寫ehcache和redis