1. 程式人生 > >Coding and Paper Letter(六十二)

Coding and Paper Letter(六十二)

資源整理。

1 Coding:

1.地理空間應用的Docker映象,安裝有GDAL等常用開源空間分析庫。

docker gdal base

2.R語言包clex,氣象資料提取與降尺度。

clex

3.用R做資料科學和資料分析的書。

data science in education

4.R語言包leafsync,leafsync是一個外掛,用於生成包裝Leaflet.Sync的可能同步的小型多頁Web地圖。

leafsync

5.R語言包twoe,估算樹種數量統計學和模擬森林動態。

twoe

6.R語言包betterposter,使用R Markdown和pagedown更好看的科學壁報。

betterposter

7.一起來學技術。自學者的福音網站。

teachtogether.tech

8.R語言dabestr,Bootstrap耦合估計的資料分析包。

dabestr

9.面向開發人員的機器學習基礎框架。

cortex

10.Python庫automl_gs,提供輸入CSV和目標欄位進行預測,生成模型+程式碼以執行它。

automl gs

11.auto-sklearn是一個自動化的機器學習工具包,是scikit-learn估算器的直接替代品。

auto sklearn

12.Featuretools是一個用於自動化特徵工程的python庫。

teaturetools

13.python-pdal的conda-smithy儲存庫。pdal是點雲資料處理的GDAL衍生庫。

python pdal feedstock

14.R語言包h3js,R中h3-js的介面,一個基於六邊形的地理網格系統。

h3js

15.R語言包batchtools,作為BatchJobs和BatchExperiments軟體包的後續產品,batchtools為由Slurm,Sun Grid Engine,OpenLava,TORQUE / OpenPBS,Load Sharing Facility(LSF)或Docker Swarm等排程程式管理的高效能運算系統提供Map的並行實現。

batchtools

16.Geoportal Server下一代搜尋應用程式和元資料目錄,基於elasticsearch。

geoportal server catalog

17.Geoportal Server是一種基於標準的開源產品,可以發現和使用地理空間資源,包括資料和服務。

geoportal server

18.R語言包validate,驗證R-package可以非常輕鬆地檢查資料是否符合您對領域知識的期望。 它的工作原理是允許您定義獨立於程式碼或資料集的資料驗證規則。 接下來,您可以使用規則來對抗資料集或其各種版本。 結果可以彙總,繪圖等。

validate

19.ripgrep是一種面向行的搜尋工具,可以遞迴搜尋當前目錄中的正則表示式模式。 預設情況下,ripgrep將尊重您的.gitignore並自動跳過隱藏的檔案/目錄和二進位制檔案。 ripgrep在Windows,macOS和Linux上擁有一流的支援,每個版本都有二進位制下載。 ripgrep類似於其他流行的搜尋工具,如The Silver Searcher,ack和grep。

ripgrep

20.SQL Server,Oracle,MySQL,PostgreSQL,SQLite,DB2的示例資料庫。

chinook database

21.TVM是深度學習系統的編譯器堆疊。 它旨在縮小以生產力為重點的深度學習框架與以效能和效率為重點的硬體後端之間的差距。

tvm

22.使用條件對抗網的PyTorch實現影象到影象的翻譯(pix2pix)。

pix2pix

23."Learning to Discover Cross-Domain Relations with Generative Adversarial Networks."的Pytorch實現。

DiscoGAN pytorch

24.graphpipe-go提供了多種功能,可幫助您使用非常快速的GraphPipe協議輕鬆提供和訪問ml模型。

graphpipe go

25.ONNX Runtime:跨平臺,高效能評分的ML模型引擎。

onnxruntime

26.Web效能的方方面面。

web performance

27.R語言包broman,包含Karl Broman個人R程式碼的軟體包。

broman

28.R語言包Cubist,用於擬合Quinlan Cubist迴歸模型的R包。

Cubist

29.R語言包HighFreq,目的是建立一個功能庫,用於管理交易和報價(TAQ)和OHLC資料,以及從該資料中有效地估計各種統計資料,如波動率,偏差,赫斯特指數和夏普比率。

HighFreq

30.互動式的Brokers Trader Workstation的R介面。

IBrokers

31.oist是一種將矩陣或陣列輸出到無損影象檔案的快速方法。

foist

32.一本在大學水平上寫的開源教科書。 OpenIntro還提供第二個大學水平的入門統計教科書和高中變體。

openintro statistics

33.用R實現17種分類演算法。

17 Classification

34.在R中使用CPU效能資料的19個迴歸模型。

cpu performance

35.R語言包dfdetective,搜尋資料框,不要觸及任何行。

dfdetective

36.合成孔徑雷達(SAR)軟體,庫和資源的精選列表。

awesome sar

37.Python HDR影象處理庫。

hydra

38.RAT(雷達工具)是一款功能強大的開源軟體工具,用於處理IDL程式設計的SAR(合成孔徑雷達)遙感資料。 它已在柏林科技大學開發多年,現已停產! 此儲存庫包含最新版本的RAT,它收到了一堆錯誤修正,使其可以與當前的IDL版本一起使用。

RAT

39.李巨集毅機器學習(臺灣大學)。

NTU Machine learning

40.Datawhale 學習社群問題庫。

Learning community

41.用於重現“百頁機器學習手冊”中插圖的Python程式碼。

theMLbook

42.用於預覽LaTeX PDF輸出的Vim外掛。

vim latex live preview

43.使用gluon-cv重現SFD面部檢測器。

sfd.gluoncv

44.R語言包vroom,快速讀取分隔檔案。

vroom

45.Google Earth Engine分析是否可重現?

earthengine

46.R語言包knitrBootstrap,一個框架,用於從knitr Rmarkdown建立bootstrap樣式的HTML報告。

knitrBootstrap

47.瓦赫寧根大學地理處理指令碼,課程13:Google Earth Engine。

Earth Engine

48.R語言包Sinew,它生成一個roxygen2骨架,其中填充了從函式指令碼中刪除的資訊。

sinew

49.R語言包moderndive,用於tidyverse友好的介紹性線性迴歸。

moderndive

50.從計算生物學到金融建模,R計算環境已成為定量研究的重要工具。在本次實踐研討會中,我們將探討常用的策略,以有效地分析R中的大規模資料集。參與者將學習如何在計算叢集上自動化他們的R分析,配置檔案記憶體使用,在R中呼叫快速C ++例程,並實現簡單的並行化策略,包括多執行緒和分散式計算。

R large scale

51.R語言包RcppXsimd,R C++包裝器,用於C ++標頭庫Xsimd,它使用SIMD提供並行化數學實現。

RcppXsimd

52.大規模縱向證據系統中健康資訊的自動錶徵(ACHILLES) - 關於OMOP CDM資料庫的描述性統計。

Achilles

53.R語言包SqlRender,這是一個R包和Java庫,用於呈現引數化SQL。

SqlRender

54.用於在OMOP公共資料模型中的觀察資料庫中執行患者水平預測的R包。

PatientLevelPrediction

55.Keras 深度學習庫 PDF 版。

keras doc zh

56.用於空間遺傳分析的指令碼和檔案。

2019 Acropora

57.深度學習研究人員的自然語言處理教程。

nlp tutorial

58.一組簡單的bash命令,它們將r-spatial工具帶到Linux命令列。

mapix

59.Python庫GOSTnets,它彙集了一系列函式,用於使用開源資料對位置之間的物理連線進行快速,獨立的分析。

GOST PublicGoods

60.使用R的Shiny庫構建的地圖,用於顯示美國城市中的無人裝置。

swarm of scooters

2 Paper:

1.Change in household fuels dominates the decrease in PM 2.5 exposure and premature mortality in China in 2005–2015/家庭燃料的變化主導著2005-2015年中國PM 2.5暴露和過早死亡率的下降

為解決中國嚴重的細顆粒物(PM 2.5)汙染問題,政府自2005年以來一直實施嚴格的控制政策,主要針對發電廠,工業和交通運輸,但政策的有效性和健康影響的時間趨勢的估計是大的不確定性。通過結合化學傳輸模擬,環境/家庭暴露評估和健康影響評估的綜合方法,我們發現PM 2.5(IPWE)的綜合人口加權暴露下降了47%(95%置信區間,37- 55%)從2005年[180(146-219)μg/m³]到2015 [96(83-111)μg/m³]。出乎意料的是,這種減少的90%(86-93%)歸因於家庭固體燃料使用的減少,這主要是由於快速城市化和收入改善而不是具體的控制政策。由於用於烹飪和加熱的家用燃料的IPWE減少,但烹飪的影響明顯更大。家庭相關的IPWE減少估計每年可以避免0.40(0.25-0.57)百萬的過早死亡,佔2015年PM 2.5誘導的死亡率的33%.IPWE將進一步減少63%(57-68%)如果剩餘的家用固體燃料被清潔燃料取代,這將避免額外的0.51(0.40-0.64)百萬的過早死亡。這種向清潔燃料,特別是供暖的過渡,需要技術創新和政策支援,以克服分配系統成本高的障礙,正如最近在京津冀地區嘗試的那樣。考慮到家庭燃料使用對PM 2.5暴露的影響,我們建議家庭燃料的使用在國家控制政策中的優先順序更高。發表於PNAS的一篇雄文,分析了家庭燃料變化對PM2.5暴露和過早死亡率的影響。分析結果發現家庭燃料才是PM2.5暴露和過早死亡率下降的主要原因。這一點還是比較有意思的,之前北大陶澍院士團隊也做了相關的工作,深入農村收集燃料庫構建排放清單。

2.Urban green space cooling effect in cities/城市綠地降溫對城市的影響

城市綠地被認為是減少城市熱島效應併為附近居住者提供舒適的適當方式。除了冷卻實際空間外,城市綠地也能夠影響周邊地區,這種現象被稱為城市綠地降溫效應。關於城市綠地降溫效果的最重要問題是冷卻的強度和密度,這對城市設計師和規劃者在處理城市熱島方面起著重要作用。本文回顧了近年來研究城市綠地降溫效應的最新研究。根據他們的樣本評估方法,研究分為三組。第一類包括對整個城市的一部分或整個城市的一組城市綠地進行研究,主要通過遙感和衛星地圖進行。第二類調查城市公園或幾個具有可識別形狀和位置的城市公園。在本節中,主要通過實地觀察收集資訊。第三類涉及根據不同的綠地佈局情景通過模擬對城市空間的一部分進行建模的研究。本研究結果表明,最大的冷卻效果距離和冷卻效果強度適用於面積超過10公頃的大型城市公園;然而,除了該地區,城市綠地的自然元素和質量,以及氣候特徵,影響城市綠地降溫效果。分析了城市綠地的降溫效應。分析了降溫效應的距離以及強度與公園的大小關係,此外城市綠地的基本要素對降溫效果有關鍵作用。

3.Reprint of “Spatial scaling of urban impervious surfaces across evolving landscapes: From cities to urban regions”/“城市不透水面在不斷變化的景觀中的空間尺度:從城市到城市地區”重新出版

城市不透水面(UIS)影響城市系統的結構和功能,被廣泛認為是城市環境條件的關鍵指標。然而,統計研究的數量和模式都隨著空間尺度的變化而變化,這使得統計研究所的計算和解釋變得複雜。需要更好地理解UIS的空間尺度關係來解決這種困境。因此,本研究的主要目的是利用中國三大城市群的資料,探討UIS如何隨著城市等級層面的空間範圍和人口規模的增加而變化。此外,對六個世界大都市區進行了比較分析,以測試UIS比例關係的一般性。使用尺度圖和標準化的主軸迴歸來研究關於空間範圍和城市尺寸的比例關係。我們的主要研究結果包括:(1)當分析的空間範圍從當地城市擴充套件到整個城市群時,UIS的總量增加,而UIS的百分比以階梯式下降; (2)UIS的空間尺度遵循當地城市中相當一致和嚴格的冪律功能,但在當地城市之外變得不那麼一致且不那麼緊張; (3)UIS總量的比例關係比UIS的比例更加一致,UIS的總量與城市面積的關係比城市人口規模更緊密。這些發現揭示了統計研究所的規模依賴性,表明應採用多尺度方法來量化統計研究所並將其用作城市環境指標。鄔建國老師團隊的成果,分析了城市不透水面的空間尺度效應。強調了多尺度研究的必要性。

4.Temporal Changes in Multiple Ecosystem Services and Their Bundles Responding to Urbanization and Ecological Restoration in the Beijing–Tianjin–Hebei Metropolitan Area/京津冀都市圈多元生態系統服務的時間變化及其對城市化和生態恢復的響應

到2050年,70%的人口可能生活在城市中,使城市化成為一個日益增長的全球趨勢。檢測生態系統服務(ES)及其捆綁的變化以應對城市化對於評估土地使用政策至關重要。我們研究了中國京津冀都市區2000年至2010年穀物,蔬菜,水果,碳固存,土壤保持,防沙,保水的變化情況;然後,使用k-means聚類分析,我們根據類似的ES集合將該區域的202個縣分為組(捆綁)。我們發現(1)城市,林地和草地分別增加了22%,3.6%和1.7%,而耕地減少了4.6%; (2)儘管農田全面減產,但糧食,蔬菜和水果的供應量增加了24-90%;碳儲存和保沙率分別增加了40%和7%,而土壤和水分保持率略有增加。每個1%; (3)72個縣改變了他們的ES捆綁; 2000年“農業捆綁”占主導地位,2010年下降了50%,主要轉變為“次發達城市群”,表明這十年間農田流失。 ES捆綁的轉換可用於理解城市化的影響。該研究表明,農村地區的改良技術和生態恢復有助於在快速城市化的世界中維持多種ES。分析了十年間京津冀都市圈多元生態系統服務變化影響以及相互作用。

5.The Hidden Hazard of Household Air Pollution in Rural China/中國農村家庭空氣汙染的隱患

中國城市的空氣汙染已成為公眾辯論和政治關注的主要議題。與此同時,很少有農村地區受到環境空氣質量的測量,政策檔案和媒體很少討論使用生物質進行烹飪和取暖而產生的家庭空氣汙染(HAP)造成的健康和環境風險。 2014年至2017年期間,一個跨學科團隊在中國最富裕的省份浙江省之一開展了空氣質量和空氣汙染感的聯合研究。我們發現農村的PM 2.5濃度與城市地區相似。此外,對於城市和農村參與者而言,24小時個人接觸微粒汙染(PM 2.5)的平均值相似。然而,我們發現某些亞組的暴露水平增加,如生物量使用者,女性和家庭廚師。我們發現,雖然村民們非常關注來自附近工廠的空氣汙染風險,但他們基本上沒有意識到HAP的問題。在本文中,我們分析了HAP在所研究區域中對空氣汙染暴露的貢獻程度,並討論了它在很大程度上仍然存在隱患的可能原因。總之,我們認為農村地區的空氣汙染應該得到媒體,環保組織和政策制定者的更多關注;此外,特別是應將HAP納入空氣汙染政策的更大範圍內,並將其對農村地區空氣汙染暴露的貢獻更加公開。這篇文章分析了農村空氣汙染的隱患。類似前面介紹的文章,農村區域空氣汙染其實也是一個非常重要的議題。

6.Incorporating satellite-derived data with annual and monthly land use regression models for estimating spatial distribution of air pollution/將衛星匯出的資料與年度和月度土地利用迴歸模型相結合,以估算空氣汙染的空間分佈

本研究的目的是評估年度和月度土地利用迴歸(LUR)模型在臺灣估算NO2和PM2.5空間分佈的表現。 2015年在73個空氣質量監測點收集樣本。資料轉換與提取原理元件和衛星衍生資料相結合,與LUR建模相結合,並應用於提高PM2.5模型效能。結果表明,與PM2.5相比,NO2表現出更強的模型效能。 NO2年度模型的留一交叉驗證(LOOCV)R²為0.76,月模型的範圍為0.56至0.81。通過應用主成分分析和增加衛星資料(即日照覆蓋百分比和氣溶膠光學深度),將PM2.5年度模化的LOOCVR²從0.13提高到0.56。這些方法還改善了PM2.5月度模型的效能。中位LOOCVR²從0.12增加到0.49。LUR的年和月尺度模型估算NO2和PM2.5的比較,總的來說NO2模型精度更高。

7.Deep spatio-temporal residual neural networks for road-network-based data modeling/基於道路網路的資料建模的深度時空殘差神經網路

最近,研究人員引入了深度學習方法,如卷積神經網路(CNN)來模擬時空資料,並取得了比傳統方法更好的結果。然而,這些基於CNN的模型使用網格圖來表示空間資料,這不適用於基於道路網路的資料。為了解決這個問題,我們提出了一種用於基於道路網路的資料建模(DSTR-RNet)的深度時空殘差神經網路。所提出的模型構建區域性連線的神經網路層(LCNR)來模擬道路網路拓撲並且整合殘差學習以模擬時空依賴性。我們通過預測滴滴司機服務的交通流量來測試DSTR-RNet,該服務位於中國成都的一個8平方公里的區域,有2,616個路段。結果表明,DSTR-RNet保持了道路網路的空間精度和拓撲結構,提高了預測精度。我們討論預測誤差並將預測結果與基於網格的CNN模型進行比較。我們還探討了模型對其引數的敏感性;這將有助於將此模型應用於基於網路的資料建模。利用深度學習方法進行道路網路建模,利用的是滴滴大資料。可以說是眾包路網地圖資料的一個典型應用。這一方面武漢大學唐爐亮老師也有一些成果。

8.Reinvestigating Chinese growing cities through the lens of allometric scaling/通過異速增長的尺度效應重新調查中國發展中的城市

城市是複雜的系統;我們期望城市化過程的動態遵循冪律,這暗示了異速生長的尺度效應。在過去的幾十年裡,城市規模作為一種基礎理論引起了地理學和城市研究文獻的廣泛關注;然而,它在全球範圍內的適用性存在不確定性,特別是在中國等快速變化的城市環境中。更重要的是,關於中國城市異速生長規模的研究很少。本研究旨在展示動態演化概念在城市系統中的重要性。我們研究了城市化的最重要影響是由尺度效應定律明確表現出來的,尺度指數是關鍵指標。我們應用比例定律來檢驗假設,即與靜態或等距狀態相比,城市化的不同階段的實際比例指數是穩定的。我們發現,中國政府主導的事態發展可能會破壞權力法律並擴大城市因素之間的關係,但這隻會在短時間內發生。儘管不同城市的驅動力在不同的城市化階段改變了它們的影響;生長過程的指數(城市土地利用面積及其人口密度)遵守自相似性和尺度一致性的規律和規則。雙對數線性迴歸和分位數迴歸的分析揭示了城市系統的實際和觀察到的比例關係將始終演變為與理論假設一致,這對未來城市發展和城市規模和城市密度的規劃提供了影響。分析異速生長的尺度效應是否與中國城市實際情況相符?異速生長和尺度效應是一個很廣泛的概念,值得深入研究。

9.Does Clean Air Increase the Demand for the Consumer City? Evidence from Beijing/清潔空氣是否會增加對消費城市的需求? 來自北京的證據

城市提供大量可能的就業和休閒機會。 在汙染較嚴重的日子裡,這種消費城市休閒的收益可能會降低。 我們研究了中國日常消費活動與室外空氣汙染之間的關係,並找到了有利於這樣一個假設的證據,即清潔空氣和離開休閒旅行的家是補充。 鑑於發展中國家城市的空氣汙染程度很高,監管導致的環境質量改善可能會進一步刺激對消費城市的需求。分析空氣對於城市人群消費的影響。類似之前做的公共自行車騎行與天氣的相關關係,在汙染天氣下,更多人會選擇呆在室內。城市活力下降,從而影