2. 程式人生 > >基於PySpark的網路服務異常檢測系統 (四) Mysql與SparkSQL對接同步資料 kmeans演算法計算預測異常

基於PySpark的網路服務異常檢測系統 (四) Mysql與SparkSQL對接同步資料 kmeans演算法計算預測異常

阿新 • • 發佈：2018-12-15
def get_current_timestamp(): 2 """ 3 獲取當前時間戳 4 :return: 5 """ 6 return int(time.time()) * 1000 7 8 9 def convert_datetime_to_timestamp(dtime): 10 """ 11 把datetime轉換為時間戳 12 :param datetime: 13 :return: 14 """ 15 timestamp = time.mktime(dtime.timetuple())
16 return int(timestamp) * 1000 17 18 19 def get_cache_cat_data(start_time, end_time, force=False): 20 """ 21 獲取指定時間段的cat資料 22 :param start_time: 23 :param end_time: 24 :return: 25 """ 26 key = 'GET_CAT_RES_DATA_{0}_TO_{1}'.format( 27 start_time, end_time 28 )
29 content = cache.get(key) 30 if force or not content: 31 content = get_cat_res_data(start_time, end_time) 32 if content: 33 cache.set(key, content, timeout=CACHE_TIMEOUT_DEFAULT) 34 35 return content 36 37 38 def add_normal_cat_data(data): 39 """ 40 構建資料model 用yield每次返回1000條資料
41 :param data 42 :return: 43 """ 44 tmp_cat_normal_models = [] 45 46 for cat_data in data: 47 response_time = cat_data.get('response_time') 48 request_count = cat_data.get('request_count') or 1 49 fail_count = cat_data.get('fail_count') or 1 50 cat_data['id'] = str(uuid4()) 51 if response_time < 1.2 and (fail_count / request_count) < 0.2: 52 cat_obj = CatNormalResource( 53 **cat_data 54 ) 55 tmp_cat_normal_models.append(cat_obj) 56 57 if len(tmp_cat_normal_models) >= 1000: 58 yield tmp_cat_normal_models 59 tmp_cat_normal_models = [] 60 61 yield tmp_cat_normal_models 62 63 64 @celery_app.task 65 def insert_normal_cat_data(data): 66 """ 67 使用非同步，每次用bulk 批量插入 1000條資料 68 :param data: 69 :return: 70 """ 71 try: 72 for i in add_normal_cat_data(data): 73 CatNormalResource.objects.bulk_create(i) 74 except Exception as e: 75 print(e) 76 raise RsError('插入資料庫失敗') 77 78 79 def insert_normal_cat_job(): 80 """ 81 定時匯入前一天的正常資料 82 :return: 83 """ 84 logger.info('insert_normal_cat_job ....') 85 dt_time = datetime.datetime.now() + datetime.timedelta(days=-1) 86 start_time = convert_datetime_to_timestamp(dt_time) 87 end_time = get_current_timestamp() 88 data = get_cache_cat_data(start_time, end_time) 89 insert_normal_cat_data.delay(data)

相關推薦

基於PySpark的網路服務異常檢測系統 (四) Mysql與SparkSQL對接同步資料 kmeans演算法計算預測異常

def get_current_timestamp(): 2 """ 3 獲取當前時間戳 4 :return: 5 """ 6 return int(time.time()) * 1000 7 8 9 def convert_datetime_to_

Redis 學習筆記四 Mysql 與Redis的同步實踐

一、測試環境在Ubuntu kylin 14.04 64bit 已經安裝Mysql、Redis、php、lib_mysqludf_json.so、Gearman。 點選這裡檢視測試資料庫及表參考 本文也有些基本操作，在之前文章裡有介紹。 1、安裝

基於時間序列的異常檢測系統的實現思路之一

技術方案：Spark、kafka、opentsdb、Yahoo的egads 模型靜態訓練：採用兩種演算法進行模型的訓練：指數移動平均和HotWinters，模型一天訓練一次，即每天0點開始訓練，每天凌晨0:5分根據訓練好的模型進行異常檢測，具體包括點的預測以及點的異常檢測；

基於神經網路的目標檢測論文之目標檢測系統：實時路況檢測系統的設計與實現

注：本文源自本人的碩士畢業論文，未經許可，嚴禁轉載！ 原文請參考知網：知網地址 第五章 實時路況檢測系統的設計與實現 物體識別技術被廣泛應用於人們的生產生活中。隨著深度學習與雲端計算的飛速發展，帶動了物體識別技術產生質的飛躍。高解析度影象和檢測的實時性要求越來越

基於snort、barnyard2和base的 網路入侵檢測系統的部署與應用

# 1、專案分析 ### 1.1、專案背景 伴隨著網際網路產業的不迅猛發展，新興技術層數不窮，網際網路通訊技術逐漸成為了各行各業不可替代的基礎設施，越來越多的業務都是依靠網際網路來得以實現。隨著我國科技產業的飛速發展，很多過去無法想象的事物變成了現實，由計算機衍生的人工智慧等一系列高新技術，以不可阻擋的勢

Kafka+Flink 實現準實時異常檢測系統

1.背景介紹異常檢測可以定義為“基於行動者（人或機器）的行為是否正常作出決策”，這項技術可以應用於非常多的行業中，比如金融場景中做交易檢測、貸款檢測；工業場景中做生產線預警；安防場景做***檢測等等。 根據業務要求的不同，流計算在其中扮演著不同的角色：既可以做線上的欺詐檢測，也可以做決策後近實時的結果分析、

基於深度學習的視訊檢測（四） yolo-v2和darkflow

yolo-v1 核心思想：從R-CNN到Fast R-CNN一直採用的思路是proposal+分類 （proposal 提供位置資訊， 分類提供類別資訊）精度已經很高，但是速度還不行。 YOLO提供了另一種更為直接的思路： 直接在輸出層迴歸bounding b

基於神經網路的目標檢測論文之神經網路基礎：神經網路的優化方法

注：本文源自本人的碩士畢業論文，未經許可，嚴禁轉載！ 原文請參考知網：知網地址 本章節有部分公式無法顯示，詳見原版論文 2.4 神經網路的優化方法 2.4.1 過擬合與規範化 物理學家費米曾說過，如果有四個引數，我可以模擬一頭大象，而如果有五個引數，我還能讓他卷

Machine Learning第九講【異常檢測】-- （二）建立一個異常檢測系統

一、Developing and Evaluating an Anomaly Detection System（異常檢測系統的衡量指標） 對於某一演算法，我們可以通過藉助某些數字指標來衡量演算法的好壞，仍舊以飛機引擎的例子來說： 假設有10000個正常的引擎，20個有瑕疵的引擎（異常）

機器學習第九周（二）--構建異常檢測系統

異常檢測系統的開發與評估 前面內容中，我們已經提到了使用實數評估法的重要性。這樣做的想法是，當你在用某個學習演算法來開發一個具體的機器學習應用時，你常常需要做出很多決定，比如說選擇用什麼樣的特徵等等。而如果你找到某種評估演算法的方式，比如直接返回

[吳恩達機器學習筆記]15非監督學習異常檢測4-6構建與評價異常檢測系統

15.異常檢測 Anomaly detection 覺得有用的話,歡迎一起討論相互學習~Follow Me 15.4開發和評價一個異常檢測系統 Developing and Evaluati

《基於SpringCloud微服務架構廣告系統設計與實現》筆記

img span 設計與實現 微服務 課程 png 1-1 分享圖片 bubuko 1-1 課程導學 什麽是廣告系統？ 2-1 廣告系統概覽 2-2 廣告系統架構 2-3 準備工作與系統目錄結構 《基於SpringCl

基於MFC的學生成績管理系統的設計與實現

1、技術介紹MFC是微軟基礎類庫的簡稱，是微軟公司實現的一個C++類庫，主要封裝了大部分的WINDOWS API函式，並且包含一個應用程式框架，以減少應用程式開發人員工作量。VC++是微軟公司開發的C/C++的整合開發環境，所謂整合開發環境，就是說利用它你可以編輯，編譯，除錯，而不是使用多種工具輪換操作，靈活

基於 UML的新聞釋出管理系統的分析與設計——論文隨筆（十一）

一、基本資訊 標題：基於 UML的新聞釋出管理系統的分析與設計 時間：2017-09 出版源：科技廣場 領域分類：系統架構和設計 二、研究背景 問題定義：許多高校已有的新聞管理系統只是簡單的靜態網頁，內容比較單調。隨著網路和手機通訊的快速發展，靜態的網站頁面已經難以滿足人們的需要；另外，隨著各種資訊的爆

基於SSH框架的電子新聞系統的設計與實現——論文隨筆（十二）

一、基本資訊 標題：基於SSH框架的電子新聞系統的設計與實現 時間：2015-05 出版源：電子科技大學 領域分類：系統架構和設計 二、研究背景 問題定義：新聞資訊採編和釋出的及時性和準確性較差，難以保證新聞的時效性，進而導致新聞資訊難以有效共享、缺乏高效統一控制。此外，隨著高校規模的擴大、高校合併，由

基於UML的高校教務管理系統的設計與實現

一、基本資訊 標題：基於UML的高校教務管理系統的設計與實現 時間：2018 出版源：南昌航空大學 領域分類：教育資訊化；教務管理系統；UML；SSH；Oracle 二、研究背景 問題定義：高校教務管理系統的設計與實現 難點：想出新的資料錄入方式，採用面向物件的分析方法和設計思路來逐步實現一個較為完善的

[原始碼和文件分享]基於C++的學生選課管理系統的設計與實現

一 需求分析 系統新增課程：將一門課程加入到系統資料中。課程提交重複時給出提示資訊 系統刪除課程：以課程編號為索引刪除課程。系統無此課程時給出提示 課程新增學生：把學生的姓名、學號等資訊加入到課程中。學號重複時給出提示資訊 課程刪除學生：以學號為索引從課程中

[原始碼和文件分享]基於C++的民航訂票系統的設計與實現

一、需求分析 設計一個民航管理系統，使更廣大的使用者群體可以藉助這個平臺訂飛機票。 C++作為一個面向物件的語言，利用多型性和封裝性可以更好地表達出這些功能，相比 JAVA 等語言，C++具STL，可以表達更強的封裝性。 二、程式的主要功能 登入和註冊使用者，管理員的登入

基於ssm的質檢業務管理系統的設計與實現

**基於ssm的質檢業務管理系統的設計與實現** 基於ssm的質檢業務管理系統的設計與實現mysql資料庫建立語句 基於ssm的質檢業務管理系統的設計與實現oracle資料庫建立語句 基於ssm的質檢業務管理系統的設計與實現sqlserver資料庫建立語句 基於ss

基於ssm的大學生活管理系統的設計與開

**基於ssm的大學生活管理系統的設計與開** 基於ssm的大學生活管理系統的設計與開發要求mysql資料庫建立語句 基於ssm的大學生活管理系統的設計與開發要求oracle資料庫建立語句 基於ssm的大學生活管理系統的設計與開發要求sqlserver資料庫建立語句