1. 程式人生 > >說說這些年做的雲計算和大數據項目

說說這些年做的雲計算和大數據項目

秘密 car 說了 轉換 世紀 是把 天然 pen 順序

入行十幾年了,做了不少分布計算、並行計算、內存計算、海量數據處理的項目。依照如今的分類,這些都屬於雲計算/大數據範疇。今天說說我做過的當中三個項目。僅僅三個。
第一個是我們接到的視頻分享站點的視頻轉碼的訂單。站點名字就不說了,有替人宣傳嫌疑。他們情況是這樣,視頻站點的內容用MP4格式在網頁上播放,可是上傳的格式多種多樣,我們必須把這些視頻統一轉換成MP4格式,視頻轉碼的工作想必大家都在自己的電腦上試過,通常一個100M左右的視頻轉碼須要20分鐘以上(CPU是Pentium IV)。為了提高轉碼效率,讓用戶以接近實時得到結果。必須在收完視頻後。馬上將一個視頻拆分成多個單元,分散到多臺計算機上進行轉碼。然後回收全部轉碼視頻,依照順序再次組合成一個新視頻。我預計如今視頻站點都是這個套路。我們這個團隊最早是做流媒體起家的,工作沒什麽難度,輕車熟路。非常快就完畢了。

僅僅要機器足夠多,視頻差點兒相同能夠以接近實時的狀態完畢轉碼。

後來又再一次改進。從用戶上傳視頻開始馬上進行轉碼。收到一段轉一段,用戶的視頻上傳完畢。我們的轉碼工作也完畢。用戶能夠馬上看到自己上傳的轉碼後視頻,基本上是零延時,而且穩定性、效率都高於對方提出的要求。做完這個。合作方老板非常愜意,接著又給了一個CDN的項目。如今我們仍保持著合作的關系。
第二個有點玄乎。項目能夠寫一篇論文,題目是《關於空中移動目標執行軌跡和落點的問題》。這個項目是XXX發下來的,實質就是炮彈打導彈,大概是想看看能不能打著,論證技術可行性。當時人還在某單位。由於研究領域和空氣動力學毫不相關,所以這方面的知識基本屬於文盲,知道的也就是那麽幾個有限的名詞和數學公式。可是這正好符合XXX的要求,不須要我們懂這些高深的理論,他們派人和我們合作這個項目。我們的工作就是把非常多傳感器(他們沒明說。可是地球人都明確這東西應該是雷達)接收的數據,包含當前多少公裏範圍內的空氣的風速、風向、地表的曲面率。還有其他一些指標在收集後(這些瞬間產生的三維數據的數據量非常大),分散到一大堆計算機上去執行(測試時準備了100個節點),而且要非常快計算出結果(必須比空中運動的目標快)。這事實上和如今的SPARK、STORM做的工作非常象。要依賴大內存、高性能CPU、和快速網絡,跳過硬盤這個瓶頸。才幹得以實現快速計算。這個項目花了非常長時間,主要是與合作方的溝通改進。然後是再溝通再改進,循環往復。周而復始。

後來最終完畢了。據說做了試驗,可行性非常高,上面領導非常愜意,還擺了慶功酒。

反正我沒見著也沒喝著。事實上他們怎麽計算的,我到最後也沒有搞明確,問過一次,說是秘密。
第三個和兩桶油的頁巖氣有關。

當時的情況是在四川涪陵(這個地方產榨菜)發現了大面積的天然氣。

依照自然規律,油氣是共生的,所以兩桶油想通過採集頁巖樣本,分析這個地區地下有沒有石油資源。假設有。是不是具有開採價值。

這套程序原本已經是有的。艾克森.美孚石油公司開發的,跑在CARY-1向量機上。

那套機器是上世紀七八十年代的超級計算機,在當時已經不能滿足須要,屬於進博物館之列。並且有些數據分析理論已經過時。須要調整。

兩桶油最不愜意的還是速度太慢。計算一次要幾小時幾天才幹出結果。

這一次又是合作,兩桶油出熟悉採油的技術專家。我們出並行計算的碼農,前前後後合作弄了大半年,算是完畢了。這次我們用了新的並行算法。效率提高了一大截。和上次炮彈打導彈一樣,整個項目靜悄悄開始。靜悄悄結束,後面怎麽樣就不知道了。

說說這些年做的雲計算和大數據項目