1. 程式人生 > >挨踢部落坐診第三期:Python在大數據處理上的優勢分析

挨踢部落坐診第三期:Python在大數據處理上的優勢分析

技術坐診

挨踢部落是為核心開發者提供深度技術交流,解決開發需求,資源共享的服務社群。基於此社群,我們邀請了業界技術大咖對開發需求進行一對一突破,解除開發過程中的絆腳石。以最專業、最高效的答復為開發者解決開發難題。

技術分享

Python

話題關鍵詞:數據庫 Android

部落陣容:侯聖文,恩墨學院聯合創始人;

面向對象:移動開發者、IT運維、數據分析師

參與方式:加入51CTO開發者QQ交流群370892523,有任何技術問題,在群裏提問,或發給群主小官。

活動詳情


問:鄭州-白楊-Web:現在還有業務在使用SQL2008的嗎?或者是用Oracle?

學校明年有一批新的系統,目前在招標考慮甲方的方案。涉及業務有一卡通、新老學生數據、宿管、財務等方面。數據I/O較為頻繁。因為目前我們中心庫使用的是Oracle,領導要求向數據DB方向發展,以確定哪個數據庫可以確保在未來幾年內不會有太大的代差,要根據一個全校的數據梳理和框架來考慮。目前公司給出的演示也是使用Oracle 畢竟和目前的數據庫可以銜接,業務流程大致是校內流轉 要求能接受至少兩萬人的數據吞吐。增刪改查也是以日常的財務、消費、學生信息、成績等進行。

答:侯聖文|恩墨學院聯合創始人:如果不差錢,就一直用Oracle就好了。以後擴展也不會有問題。 如果差錢,用好MySQL也OK。一些NewSQL技術成熟了,容易直接遷移。學校一般還用不上大數據平臺。

問:廣州-狄欽dQ-PHP:弱弱問Python在大數據處理上可行麽?有何優劣勢? 據我所知,Python無法跑多核,執行效率不高,並發下可能有大問題。

答:北京-曹洪偉-半吊子全棧工匠:

Python目前我覺得是處理大數據的上佳選擇。既可以用於research,又可以用於產品開發。Python的好處很多,接近偽代碼,數據分析師和工程師都可以使用它,溝通方便。

問:重慶-zee-終端:

做視頻類業務,我們可以從哪些方面來分析用戶習慣等(這樣有助於提高用戶體驗)?直播點播都有。

答:徐韜:

用戶畫像就是給用戶“打標簽”。用戶畫像可以分為靜態標簽,動態標簽。靜態標簽是很少更新的指標或者是幾乎不變的指標,比如用戶的個人信息。動態標簽是用戶的行為標簽,比如直播站的喜好類目。通過用戶行為日誌和交易流水數據打上的標簽 ,一些網站/APP 只有少量的用戶個人信息,但是通過打點可以獲得海量的用戶行為日誌,我們可以通過聚類分析預測用戶的性別,年齡段,所在城市類型,工作類型等。直播站的一些比較有特點標簽有:喜愛主播,習慣上線時段,簽到型用戶等等。

問:湖南-爿奡-運維:

超多用戶密集(大會議室)無線WiFi的AP,就是300人以上的會議室AP,300人參加會議,同時無線WIFI上互聯網,手機、平板、筆記本同時連wifi,在一間大會議室內。

問題是每個AP只能有20~30個用戶聯,而裝多了AP,頻道不夠。普通的AP還帶不了20個用戶。要求最好是所有AP的ssid相同,密碼相同

答:陌陌運維:這個場景是比較常見的,有兩個方案,一是用專用高密AP,另一種是用普通AP搭配半定向天線,調優。同ssid,同密碼是可以做的,這個比較容易。

銳捷:銳捷RG-AP520這款路由器可以支持。

問:北京-安卓-陽陽:

關於WebView控件的使用。如何在使用WebView的時候,兼容不同的Android版本?

不同Android版本,WebView的控件不一樣,我想在WebView中運行H5的應用。

答:51CTO:

這個太籠統了,兼容有很多方面,跟說安卓應用怎麽兼容是一樣的。看具體問題具體分析。全部問的話,就只能說看別人瀏覽器的源碼了。

問:北京-宋軍軍-Android開發:

打包問題,我有個Android SDK,需要將SDK按照功能拆分成多個ANR,其中有有一些common module,現在是開啟混淆之後,common會先混淆,然後依賴它的功能包就找不到類了,我有好多個module,但是一些module對外要混淆,但是在內部要被其他module引用,或者這樣說,我有好多module,這些module要成為1個SDK,相互之間的調用是不混淆的,打包後,只有個別的不混。

答:51CTO:

可以了解下flavor,gradle可以配置多個flavor,每個flavor可以單獨配置,內部和外部分別作為一個flavor就可以了,多引擎依賴就是用這個做的。

問:江蘇-無題-菜鳥:

一臺Linux服務器拉取另一臺Linux服務器的文本數據,腳本怎麽寫?寫腳本定時執行?

答:廣州-小星星-PHP:

linux有個crontab腳本,Java的Timer,or其他基於程序語言的定時器,C實現的單獨的定時器也有。

問:廣州-彭先生:

誰有微信小程序的視頻教程求分享

答:南京-android-李三三:

我恰好也在學習,分享到百度網盤,點擊這裏>>

您對這些解答方案是否仍有疑問?歡迎加51CTO開發者QQ交流群 370892523 討論。

下期活動預告:2月28日

關鍵詞:開發工具、APP發布

活動回顧:挨踢部落第一期:Spark離線分析維度

挨踢部落第二期:大數據在醫療領域的應用和實踐


挨踢部落坐診第三期:Python在大數據處理上的優勢分析