1. 程式人生 > >伺服器面對大量資料上傳處理思想

伺服器面對大量資料上傳處理思想

同樣是一個面試問題,面對大量裝置同時傳入資料如何處理,記錄下來。

當大量裝置連線伺服器,大量資料上傳到伺服器,伺服器要如何提高處理能力,來處理這些資料,資料來源為裝置資料。

伺服器處理資料可以從已下幾個方面考慮,

1.排佇列處理機制。資料湧入伺服器,但還是能夠區分先後順序,按照資料傳輸時序將資料摘要排入佇列,然後伺服器按佇列依次進行處理。

2.資料分類機制。資料分類和優先順序處理一起使用,將資料按照不同的型別進行分類,例如,可以將裝置狀態分為一類資料,將監控資料分為一類資料,將操作員正常操作裝置資料分為一類,將操作員非法操作裝置分為一類等,將不同的型別,按照其重要程度,放入不同的優先順序佇列中,按照優先順序佇列依次去處理。

3.資料分流機制。對資料進行分層,分流管理,多級伺服器進行區分,例如可以按如下進行區分,裝置-學校伺服器-市級伺服器-省級伺服器-中央伺服器,這樣分級分下來,每一層的資料同時訪問量並不是很大。

伺服器從以上方面可以考慮,上位機裝置也可以進行優化,做好資料定義,可以分擔伺服器的壓力,可以從以下幾個方面來考慮。

1.閒時機制。上位機的資料非必要情況不採用實時資料傳輸,可以在本地儲存資料,等待閒時上傳。

2.分包機制。例如資料來源做兩種情況拆分,一種為資料量小於1M的小資料,一種為資料量大於1M的大資料。對大資料進行切片分包,分包進行傳輸,此操作需要伺服器進行相應的處理,實際上是伺服器降低了大資料處理優先順序。

3.摘要機制。對於大資料的傳輸,可以制定合適的摘要資料,在大資料傳輸之前,先傳輸其摘要,通過伺服器對摘要的判定,抉擇該資料是否進行傳輸,從而提升其通訊效率。

以我一個專案的為例,某一城市軌交,一天客流大約在30萬左右,節日期間會達到40萬左右,僅交易資料量在客流*2+15萬的量級,在早晚高峰期會達到2/3的流量,在沒有采用分流的情況下,我們的伺服器處理能力無壓力,不會出現阻塞。

相關推薦

伺服器面對大量資料處理思想

同樣是一個面試問題,面對大量裝置同時傳入資料如何處理,記錄下來。 當大量裝置連線伺服器,大量資料上傳到伺服器,伺服器要如何提高處理能力,來處理這些資料,資料來源為裝置資料。 伺服器處理資料可以從已下幾個方面考慮, 1.排佇列處理機制。資料湧入伺服器,但還是能夠區分先後順

破解微信資料庫 並查詢資料伺服器

            Cursor c1 = db.rawQuery("select * from rcontact where username not like 'gh_%' and verifyFlag<>24 and verifyFlag<>29 and verifyFlag

資料環境下整合R語言的資料探勘平臺 之介紹、資料資料處理

這個整合R語言的資料探勘平臺是當時為中國軟體杯比賽做的一個系統,由於時間太緊,當時開發只用了一週的時間,不過前前後後用了大半年來學習和熟悉R語言,深深感覺到R語言真的是資料分析的一個利器,內建的各種分析包大大簡化了資料分析的過程,只需要傳參呼叫即可,再也不需要讀

base64圖片處理方式

adb 信息 als 上傳圖片 上傳 文件 chang exist match 前臺傳圖片的base64格式,後臺處理方式//處理圖片信息 返回對應的路徑public function uploadBaseIma($imgArr){ $result = array()

ThinkPHP 文件處理

不可 info 字段名 文件內容 sta span comm array 無法 //上傳文件 public function uploadFile(){ $upload = new \Think\Upload(); $savena

webupload外掛中,單個檔案處理

上傳外掛如何使用,我這裡就不多說了,網上大把教程。今天我要講的是如何限制上傳一個檔案,以及當檔案選擇錯誤是,再重新選擇檔案導致的問題。 預設給上傳外掛支援多檔案上傳,但是我們有很多需求是之上傳單個檔案,下面就來一起學習學習吧! 外掛html <div class="form-g

Android 資料圖片的時候同時圖片名,拍照時間之類的)

// 上傳檔案public void upload(File file) {try {// post請求需要攜帶的引數AjaxParams params = new AjaxParams();// 將檔案放入引數中LoginInfo loginInfo = new LoginInfo();login

微信pc端和手機處理

一.原因   在微信通過電腦版和瀏覽器登入時,呼叫了微信上傳的介面,wx.getLocalImgData或返回失敗。   沒辦法,只有處理當電腦上傳時,使用ajaxuploadfile上傳。 二.方法 function upload_weixin_pic(e) { e=e||{};

IOS 圖片處理 圖片壓縮 圖片處理

提到從攝像頭/相簿獲取圖片是面向終端使用者的,由使用者去瀏覽並選擇圖片為程式使用。在這裡,我們需要過UIImagePickerController類來和使用者互動。 使用UIImagePickerController和使用者互動,我們需要實現2個協議<UIImagePicker

【針對putty】ubuntu伺服器系統下檔案,解壓等常用的一些命令

ubuntu系統下常用的命令 window下上傳檔案至ubuntu系統 ubuntu下的解壓和壓縮 Tomcat的啟動和停止命令 mysql命令 注:這裡針對的是putty!! window下上傳檔案至ubuntu系統

Spring cloud 後臺 download(下載) Excel, 查詢資料到微軟 Azure 返回下載連結

1.所需 jar 包: <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> <version>3.

關於python在爬蟲scrapy框架,使用happybase方法連結hbase進行資料操作

如果有叢集先將hbase的叢集啟起來 python程式碼如下 import happybase import MySQLdb #pipelines.py檔案裡面類 覆蓋原有類 Pachong_qcwyPipeline class Pachong_qcwyPipelin

gps資料防止android系統休眠

最近在做關於android手機端gps定時定位的功能,需要每隔幾秒鐘將gps定位獲取的經緯度上傳至後臺,但是發現某些手機在螢幕黑屏,進入休眠狀態後,後臺就沒有收到定位資訊了,後來通過網上查詢資料,發現一旦手機在休眠的時候,手機的cpu也休眠了,建立的執行緒也會sleep,所以為了讓手機螢幕黑屏之後,上傳執

阿里雲輕量應用伺服器 怎麼控制怎麼檔案怎麼安裝JDK和Tomcat完成JavaWeb的部署

你是否遇到過這些問題,自己的javaweb專案本地執行一切正常,但是一轉移到阿里伺服器之類的.就出現以下問題. 1 jsp無法解析java類  2 Only a type can be imported. 

Selenium自動化測試---檔案處理

在UI測試時,經常碰到上傳檔案功能,一般情況下可採用兩種方法進行模擬,第一種普通上傳,即直接傳檔案路徑;第二種外掛上傳,採用AutoIt方法。 1)普通上傳檔案 普通的上傳是將本地檔案的路徑傳到input標籤中,所以可以直接使用send_keys()來實現 #上傳檔案的html程式碼

Django基礎(17): 如何處理檔案,檔案格式驗證及Ajax檔案示範(附GitHub原始碼)

小編我今天要寫篇值得大家收藏的文章。我將重點解釋Django上傳處理檔案中需要考慮的重要事項,並提供一般檔案上傳及Ajax檔案上傳的示範(附GitHub原始碼)。如果你的專案需要用到檔案上傳,你可以從GitHub獲取原始碼,簡化你的開發。 Django檔案上傳需要考

java springboot 大檔案分片處理

這裡只寫後端的程式碼,基本的思想就是,前端將檔案分片,然後每次訪問上傳介面的時候,向後端傳入引數:當前為第幾塊問價,和分片總數 下面直接貼程式碼吧,一些難懂的我大部分都加上註釋了: 上傳檔案實體類: /** * 檔案傳輸物件 * @ApiModel和@ApiModelProperty及C

[轉]python3之paramiko模組(基於ssh連線進行遠端登入伺服器執行命令和下載檔案的功能)

轉自:https://www.cnblogs.com/zhangxinqi/p/8372774.html 閱讀目錄 1、paramiko模組介紹 2、paramiko的使用方法 回到頂部 1、pa

寶塔-PHP-伺服器-資料庫-FTP-檔案 問題集

簡介:    今天分享一下自己寫的筆記,最近部署伺服器所遇到的各種問題,比較典型的問題都寫在了筆記裡面,現在我把筆記分享給出來,希望可以給大家一點幫助~ 問題目錄: 1.寶塔設定 伺服器 本地資料庫、RDS雲資料庫 連線不上 2.寶塔設定 伺服器 FTP無法連線

MAC使用rz和sz實現和伺服器之前的檔案和下載

開發人員在開發時有時會遇到需要在本機和開發機之間傳檔案的問題。雖然Mac下的scp命令可以完成檔案的上傳和下載功能,但如果開發機的登陸需要經過跳板機時,scp命令就沒有辦法正常使用了。 Window上可以用rx,sz命令上傳,下載檔案,Mac下也可以。下面介紹一下Mac O