1. 程式人生 > >Coding and Paper Letter(二十六)

Coding and Paper Letter(二十六)

資源整理。

1 Coding:

1.開源專案PyModisAtm,使用Python下載Modis大氣資料的例程。

2.Python庫rastercube,用於在Hadoop檔案系統(HDFS)上儲存大型地理柵格資料集。 最初的用例是儲存並快速訪問整個星球上任何畫素的MODIS NDVI時間序列。 此外,rastercube提供了使用Spark處理資料的工具。

3.Python庫modisSuite,可以從NSIDC和USGS伺服器批量下載Modis衛星影象。 它相容python 2和python 3。

4.Python庫pymasker,從Landsat和MODIS土地產品QA波段生成掩膜。

5.大氣和海洋科學家的Python(和git)課程。

6.Python庫georasters,提供了一個快速靈活的工具來處理GIS柵格檔案。

7.Openeo的Python客戶端API。

8.R語言包SiMRiv,基於個體的河流多變數運動模擬,異質和均勻空間結合R中的區域性景觀偏差。

9.R語言包rnaturalearth,用於保持和促進與natural earth地圖資料互動的R包。

10.R語言包owmr,OpenWeatherMap的R介面。

owmr

11.R語言包polite,用於規範網路上的一些操作。

12.他們忘記的教你關於R,“如何做”的主頁和研討會。

13.TensorFlow中的概率推理和統計分析。

14.R語言包multigraph,在R中繪製和操縱多圖。

15.《神經網路與深度學習》 Neural Network and Deep Learning課程 。

16.由北歐大地測量委員會定義的變換的PROJ引數。

17.Leetcode 題解 (跟隨思路一步一步擼出程式碼) 及經典演算法實現。

18.健康不平等與健康恢復的空間微觀模擬分析,國外的學位論文。

19.Mapbox GL Draw的自定義模式,可新增繪製矩形的功能。

20.有關構建MetaPost共享庫的技術報告。

21.R語言包pdftext,從PDF中提取文字。

22.R語言包deepviz,用於視覺化神經網路架構的R包。

23.R包bigstatsr,用於統計工具的R包,其中包含儲存在磁碟上的大型矩陣。

24.R語言包textrecipes,包括用於預處理文字資料的額外步驟。

25.用於部署,監控,版本和擴充套件機器學習的精彩資源的精選列表。

26.Radiant Earth Foundation平臺的Python客戶端。

27.開源專案skynet train,這些指令碼用於訓練和測試SegNet神經網路,特別是使用由skynet資料生成的OpenStreetMap +衛星影象訓練資料。

28.可重複使用的研究資料分析平臺。

reana

29.R語言包ecolim,用於操縱和視覺化氣候資料的工具。

30.R語言包rdemtools,R語言用於編輯dem的工具。

31.大資料的互動視覺化分析平臺。

32.R語言包diffobj,將R物件與Diff進行比較。

33.UCL地理學:第四年課程,科學計算。

34.Morph是一個免費的開源工具,用於根據資料建立設計,動畫或互動式視覺化。

morph

2 Paper:

熱帶氣旋(TC)軌跡方法的等分,TC軌跡方法的質量矩和混合迴歸模型方法是使用來自完整TC軌跡的空間和形狀資訊的聚類演算法。在本文中,這三種聚類演算法應用於TC軌跡聚類分析,以識別1949年至2014年影響南海(TCS)的TC。根據它們的空間位置和形狀相似性,這些TC軌跡分為五個軌跡類,包括三個向西的直線運動軌跡簇和兩個向北的重新彎曲的軌跡簇。這些星團在其起源位置,航向,登陸位置,TC強度,壽命和季節性分佈方面表現出不同的特徵。聚類結果表明這些演算法具有不同的特徵。軌跡方法的等分,一般提供更好的聚類結果。該方法簡單直接,同一類的軌跡在形狀和航向上是一致的。迴歸混合模型演算法具有堅實的理論數學基礎,可以保持類中軌跡之間良好的空間一致性。軌跡方法的質量矩顯示出與軌跡方法的相等劃分的總體一致性。軌跡資料探勘在臺風軌跡中的應用,其中一個很關鍵的空間位置和形狀相似性,空間的相似性近年來被大家所重視,基於此提出了很多理論,事實上我認為從王勁峰老師的地理探測器到朱阿興老師的SoLIM,原理應該都跟這相關,閭國年老師甚至認為這有可能發展為地理學的第三定律。

本研究介紹了南海熱帶氣旋(TCs)的空間分佈格局,並討論了平均海表溫度(SST)和暖海洋渦旋大小對TC傳播強度變化的可能影響。他們。在1993年至2013年期間,SCS經歷了233次TC,其中134次與溫暖的海洋漩渦相互作用。模糊c均值(FCM)聚類的結果表明,這些TC主要位於南海地區的北部。在與溫暖的海洋漩渦相互作用後,TC可能會增強,保持相同的強度或減弱。對於強化TC,增強範圍僅為0至3 m/s;然而,這種TC強度增強水平在p <0.05時具有統計學意義。進一步的統計分析表明,溫暖的海洋渦旋具有高於平均的SST和較大的溫暖海洋漩渦的大小與TC最大風的半徑之間的比率可能有助於加強通過TC。分析SST對臺風的影響,結合聚類分析和統計分析來研究。

空間結構是城市的一個基本特徵,在很大程度上影響著城市功能。雖然行政區劃通常以靜態空間劃分的形式進行,但瞭解城市空間更具時間動態的結構將極大地有利於城市規劃和管理。本研究利用大規模的手機定位資料集來表徵基於互動的城市空間結構的日變化。為了提取時間上充滿活力的結構,基於地理單位之間的個體的運動聯絡來構建不同時間的空間互動網路。複雜網路社群檢測技術用於識別空間劃分以及量化其時間動態。使用包含中國深圳典型工作日所有使用者尺寸的資料進行實證分析。將結果與官方分割槽和規劃結構進行比較,表明城市中心區域有一定程度的擴張和工業郊區的分割。通過一些不同的時間特徵檢測到在一天的不同時間的空間劃分的高度可變性。峰值和峰值前/後時間見證了空間劃分中最突出的波動,表明在這些時間段內運動和活動的特徵發生了顯著變化。這項研究的結果表明,大規模移動資料在支援智慧空間決策和為城市規劃部門提供有價值的知識方面具有巨大潛力。基於新興大資料——手機定位資料的城市空間研究。利用複雜網路的社群檢測來做聚類,分析城市空間的分割槽及時間變化,在大資料時代,這樣精細時間粒度上的研究顯得更有價值。

可持續發展研究面臨著許多挑戰,因為各自的環境,城市和區域背景正在以前所未有的空間粒度水平經歷快速變化,這涉及到以更快的速度增長海量資料和空間關係檢測的需求。空間連線是使資料在空間關係方面提供更多資訊的基本方法。資料量的急劇增長導致人們越來越關注高效能的大規模空間連線。在本文中,我們提出了Spatial Join with Spark(SJS),這是一種提出的高效能演算法,它使用簡單但有效的統一空間網格來分割槽資料集,並使用Spark的內建連線轉換來連線分割槽。 SJS利用Spark的分散式記憶體迭代計算,然後引入計算評估模型和記憶體空間重分割槽技術,通過評估本地連線演算法的計算量而無需任何磁碟訪問來優化初始分割槽。我們比較了SJS中的四種記憶體空間連線演算法,以進一步提高效能。基於對實際資料的大量實驗,我們得出結論,SJS優於早期空間連線方法的Spark和MapReduce實現。這項研究表明,有利於利用高效能運算進行大規模空間連線分析。大型地理參考資料集的可用性以及高效能運算技術可以為可持續性研究提供大量機會,研究是否以及如何利用這些資料和技術的新趨勢來幫助檢測人類的相關趨勢和模式 - 環境動態。基於Spark的空間連線,偏向演算法和計算機的一篇文章,主要是基於流行的Spark大資料框架進行空間連線。