1. 程式人生 > >Coding and Paper Letter(六十六)

Coding and Paper Letter(六十六)

資源整理。

1 Coding:

1.mars是一種基於張量的統一框架,用於大規模資料計算。

mars

2.SVGD是一種通用的變分推理演算法,它形成梯度下降的自然對應物以進行優化。 SVGD通過應用一種最小化KL散度的函式梯度下降形式,迭代地傳輸一組粒子以匹配目標分佈。該軟體包包含Matlab和Python語言的SVGD實現。 還提供演示以在我們的論文中重現結果。 貝葉斯神經網路示例基於Theano。

Stein Variational Gradient Descent

3.非官方Python埠的puppeteer JavaScript(無頭)chrome/chromium瀏覽器自動化庫。puppeteer是谷歌瀏覽器自行開發的js庫。非常強大。

pyppeteer

4.tf-explain將可解釋性方法實現為Tensorflow 2.0回撥,以簡化神經網路的理解。請參閱tf-explain介紹

tf explain

5.用於渲染bokeh Python視覺化庫的Jupyter小部件。

ipybokeh

6.GDAL/OGR命令列的備忘錄。有很多GDAL/OGR命令列實現不同功能的demo。

gdal cheat sheet

7.geotiff.js是一個小型庫,用於解析TIFF檔案以進行視覺化或分析。 它是用純JavaScript編寫的,可以在瀏覽器和node.js應用程式中使用。從各種不同(Geo)TIFF檔案型別中讀取(地理空間)元資料和原始陣列資料。

geotiff.js

8.此儲存庫包含一個docker容器——GDS環境。GDS環境也就是地理資料科學環境(Geographical Data Science Environment)。其中包括:完整的Python,可用於地理空間分析)。完整的R可用於地理空間分析。IRkernel和rpy2通道都通過Python與R互動。完整的LaTeX發行版。其他開發實用程式(例如pandoc,git,decktape等)。它相當沉重(大約10GB),但它旨在提供一個完全隔離的環境,可以在各種環境中部署,並涵蓋幾種情況。

gds env

9.Dockerfile用Jupyterhub和RStudio構建理想的多使用者資料科學伺服器,為Python,R和Julia語言做好準備。

math server docker

10.斯坦福數值分析公開課學習資料,內容豐富,介紹了數值分析常見的內容,涵蓋了機器學習中絕大多數優化方法,部分作業難度較大。

CS205A Mathematical Methods for Robotics Vision and Graphics

11.介紹mlr3的電子書,由bookdown生成,mlr意為machine learning in R,這在網上已經形成一個良好的開源組織,有興趣的可以關注。

mlr3book

12.R語言包geodistpar,geodist包的平行計算版本。

geodistpar

13.Terracotta是一個純Python 瓦片伺服器,在專用網路伺服器上作為WSGI應用程式執行,或作為AWS Lambda上的無伺服器應用程式執行。 它基於Python 3.6,由Flask,Zappa和Rasterio等開源軟體提供支援。

terracotta

14.該儲存庫包含用於“擬合線蟲群體對時間和溫度的響應的線性和二次模型”的Rmd檔案,該檔案作為02/2018的教學筆記釋出到開放植物病理學。

RC example website

15.圖分類方法的集合,包括嵌入,深度學習,圖形核心和分解論文以及參考實現。

awesome graph classification

16.在R Shiny app中插入ECharts可互動圖形

ECharts2Shiny

17.從無到有搭建一個以疾病為中心的一定規模醫藥領域知識圖譜,並以該知識圖譜完成自動問答與分析服務。

QASystemOnMedicalKG

18.xarray的資料立方。

xcube

19.課程“EEwPython”是一系列Jupyter筆記本(colabs)用python學習Google Earth Engine(GEE)。 EEwPython分為兩部分。 第一個是來自所有Google Earth Engine文件的改編版,能夠在python中執行,第二個是重新編譯不同的可重現示例。 如果您想參與EEwPython,請不要懷疑與我們保持聯絡。

EEwPython

20.R語言包gratia,優雅的'基於ggplot'的圖形和實用功能,用於使用'mgcv'軟體包安裝的廣義可加模型(GAM)。 為'mgcv'提供的GAM提供plot()方法的重新實現

gratia

21.具有互動式TLS功能的攔截HTTP代理,適用於滲透測試人員和軟體開發人員。

mitmproxy

22.使用斷軸建立matplotlib圖,brokenaxes使得matplotlib圖在軸上有斷點,用於顯示不連續範圍內的資料。

brokenaxes

23.mlr3的視覺化。

mlr3viz

24.由波蘭統計局編寫的'bdl'軟體包是Local Data Bank(Bank Danych Lokalnych - bdl)API的一個介面,提供一系列有用的工具,如快速繪圖和使用資料庫中的資料生成地圖。

R Package to API BDL

25.清華大學計算機系課程攻略。

REKCARC TSC UHT

26.用Pytorch重新實現RetinaFace

RetinaFace Pytorch

27.RegExr是一個基於HTML/JS的工具,用於建立,測試和學習正則表示式。

regexr

28.spatial access:大規模計算旅行時間和空間訪問指標。大規模計算旅行時間和空間訪問度量(以分鐘為單位的數百萬個起始 - 目的地對)。 三種模式的旅行時間:步行,騎自行車,駕駛。 空間訪問度量:提供者與人的比率,平均到最近的提供者的時間,附近提供者的計數/屬性總和,加權訪問分數和浮動聚集區。

spatial access

29.這是OSIG專案,用於釋出開放資料和開放材料開放科學中心徽章,以便在會議演示和海報上顯示。該專案的目的是通過公開提供他們的資料,程式碼和其他研究產品來認可考古學家為改善考古學中的學術交流所做的努力。

bagdes for open practices

30.將任何草圖轉換為單個數學公式。

sketch2math

31.SpaceNet道路檢測和導航挑戰競賽的優勝解決方案。

RoadDetector

2 Paper:

1.National NO2 exposure models for measuring its impact on vulnerable people in the US metropolitan areas/國家二氧化氮暴露模型,用於衡量其對美國大都市地區脆弱性人群的影響

流行病學研究需要準確預測空氣汙染物的濃度。在這項研究中,基於衛星的估計(OMI NO2),距離加權模型(DWMs)和普通克里金法(UK)被應用於土地利用迴歸(LUR),以預測美國大陸的年平均和每月平均NO2濃度。此外,為了評估環境風險,在377個大都市統計區(MSAs)中探討了NO2濃度與城市地區可能暴露於NO2的人之間的關係。該研究的結果表明,將OMI NO2,UK和DWM組合應用於LUR,這個模型有最高的交叉驗證(CV)R2值和最低預測均方根誤差(RMSEP):82.9%和0.392。在年度模型中,ppb的平方根尺度和ppb的平方根尺度分別為70.4-83.5%和0.408-0.518。此外,該模型提出了CV誤差項的空間無偏分佈。基於LUR的模型提供了更準確的NO2預測,城市地區的RMSEP低於農村地區。此外,本研究發現生活在城市地區的MSA人口較多,18歲以下兒童比例較高,可能會暴露於較高的NO2濃度。相比之下,居住在城市地區的人群中,65歲以上老年人的百分比較高,可能會暴露於較低的二氧化氮濃度。這篇文章不僅構建了一個二氧化氮濃度空間分佈LUR模型,並且考量了空氣汙染對於脆弱性人群的暴露影響。

2.Mapping annual land use changes in China's poverty-stricken areas from 2013 to 2018/2013年至2018年中國貧困地區土地利用年度變化情況製圖

中國的目標是到2020年結束絕對貧困。為實現這一目標,已經提出了一系列減貧政策和措施。作為減貧的重要組成部分,中國貧困地區的土地利用也發生了相應的巨大變化。但是,這些地區的土地利用變化模式尚不清楚。有必要分析時空土地利用變化模式,以提供支援扶貧計劃的資料。在這項研究中,我們提出了一個框架,用於繪製2013年至2018年中國貧困地區土地利用年度變化的圖表。2013年至2018年的Landsat 8地表反射率資料集(可在Google Earth Engine上獲得)用於檢測耕地的變化土地,建築用地,水,植被和未利用的土地。計算土地利用轉移矩陣以描述轉變的特徵,並採用貝葉斯分層模型來研究時空土地利用變化模式。我們的研究結果表明,在研究期間,耕地面積不斷減少,而建成的土地和植被逐漸擴大。主要的土地利用轉變發生在耕地和植被之間。各縣的地方趨勢表明土地利用變化存在明顯的區域差異。此外,重度貧困縣和普通貧困縣之間在耕地和土地變更方面存在顯著差異,表明正常貧困地區的人類建設活動更為激烈。為貧困地區產生的年度土地利用製圖結果,以及對總體時間變化和地方變化趨勢的進一步分析,可以更好地瞭解中國貧困地區的土地利用變化和區域差異,促進減貧和這些領域的可持續發展。地理所葛詠老師團隊的成果,發表於遙感頂刊環境遙感上,基於GEE分析中國貧困地區土地利用變化。在做土地利用分類的基礎上使用了貝葉斯分層模型來分析土地利用時空變化模式。同時對地觀測對於扶貧研究的作用可見一斑。

3.EmiStatR: A Simplified and Scalable Urban Water Quality Model for Simulation of Combined Sewer Overflows/EmiStatR:簡化和可擴充套件的城市水質模型,用於模擬聯合汙水管溢流

許多複雜的城市排水質量模型計算量很大。當這些模型用於長時間序列的蒙特卡羅(MC)不確定性分析時,複雜性和計算時間可能變得過高,特別是對於從業者。計算可擴充套件且快速的“替代”模型可以減少實際應用的總計算時間,在實際應用中通常需要大資料集。我們開發了一個簡化的半分散式城市水質模型EmiStatR,它為從業者提供了城市排水水質模型的不確定性和敏感性分析。其對輸入資料的較低需求及其可擴充套件性允許快速有效地模擬多個集水區的下水道溢流中的水量和汙染負荷。在EmiStatR中實現的可伸縮程式碼顯著減少了計算時間(使用32個核心時減少了大約24倍)。通過使用MC不確定性研究或長期模擬,可以有效地應用EmiStatR來檢驗假設。一個面向業界的城市水質模型,可以模擬聯合汙水管溢流,也可以做模型不確定性分析和敏感性分析。事實上空間資料的不確定性、精度在未來都是非常重要的研究,過去由於資料匱乏,在這方面研究較少,但是大資料時代提供的各種海量資料為我們提供了這方面研究的資料基礎。

4.Analysing the Space–Time Distribution of Soil Water Storage of a Forest Ecosystem Using Spatio-Temporal Kriging/利用時空克里格法分析森林生態系統土壤水時空分佈

在森林中,土壤水分平衡受樹種組成的強烈影響。例如,蒸騰速率的差異導致土壤水儲存(SWS)的差異,並且冠層截留的差異導致滲透的差異。為了分析樹種組成對森林尺度的SWS的影響,我們比較了植被和SWS的時空模式。地質統計時空模型為從點觀測中繪製SWS提供了概率框架。通過結合有關蒸發蒸騰過程的知識,可以提高這些模型的準確性。在本文中,我們將物理確定性蒸散模型與時空地質統計插值結合起來,預測土壤上部30 cm土壤(SWS30)的土壤蓄水量,在挪威雲杉(Picea abies(L。 Karst。)和歐洲山毛櫸(Fagus sylvatica L.)在下奧地利州Kreisbach。通過永久安裝的波導在198個位置測量土壤儲水量。在2000年和2001年的生長季節中,大約每兩週重複28次。在SWS30的時空預測中加入基於過程的模型降低了降水對降水前SWS30預測的影響。 SWS30在永久萎point點和田間持水量之間的空間格局取決於受植被影響的降水和乾燥歷史。在生長季節的早期,雲杉開始明顯蒸發,這在針葉樹中很常見。在乾燥期間,雲杉比山毛櫸更早地減少蒸騰。在生長季節,整個山毛櫸的蒸騰比雲杉更多。山毛櫸的較大蒸騰速率可通過降水後更大的土壤水補給得到補償,因為截獲的降雨量較少。在永久萎point點附近的低水含量下,SWS30在空間上非常均勻。這也是水含量近場容量的情況,可能是因為土壤物理引數變化很小。 SWS30的時空插值以及乾燥和溼潤期間土壤水分排放和土壤水分補給的預測證明了植被對SWS30空間格局的重要作用。這篇文章基於長期點觀測資料、物理確定性過程蒸散模型和時空地統計插值結合,預測森林生態系統的土壤水時空分佈。儘管是篇很早的研究,但事實上是一篇非常有意義的研究,將地面觀測資料、過程模型與空間統計結合起來進行探究,是一個非常有意思的研究,這個研究的結論同時也可以為森林生態系統的生態系統模型提供很多關於碳水平衡、迴圈的先驗知識。

5.Mapping Water-Table Depths Over Time to Assess Desiccation of Groundwater-Dependent Ecosystems in the Netherlands/隨著時間的推移繪製水位深度,以評估荷蘭地下水依賴生態系統的乾旱情況

在過去幾十年中,荷蘭地下水依賴的生態系統受到地下水位下降的威脅。但是,關於水位深度和水位深度變化的資訊是不充分和過時的。對於政策評估,需要有關水位深度的空間明確和詳細資訊,特別是在具有地下水依賴性生態系統(包括溼地)的地區。自1980年以來,在土壤調查期間,對自然保護區的水位深度的季節性波動特徵進行了大約35,000次觀測。這些觀測結果來自土壤剖面的特徵或鑽孔中的測量結果。這些觀測結果用於時空地質統計分析,以繪製1980年至2007年間水位深度的季節性波動。首先,糾正了多年來使用的不同估算模式之間的系統差異。接下來,使用多元線性迴歸將觀察與區域範圍內的可用輔助資料相關聯。使用簡單克里金法來插值得到的時空殘差。預測的平均泉水位深度的地圖和這些預測的準確性被用於識別水位深於有利的區域。評估了過去25年來全國範圍內水位深度的變化,並提出了建議,以提高未來預測的準確性。利用時空地統計方法與長期觀測資料來分析全國範圍內水位深度變化研究,本文的思想實際是迴歸克里格。

6.A novel bus-dispatching model based on passenger flow and arrival time prediction/一種基於客流和到達時間預測的新型公交排程模型

公共交通對人們的日常出行至關重要,公共汽車排程在公共交通系統中發揮著重要作用。隨著深度學習的廣泛應用,並在許多領域取得了巨大的成功,相繼提出了基於深度學習的公交排程方法。目前,許多公交排程模型假設公交出發時刻表是固定的,並根據客流優化公交出發時刻表間隔。但是,巴士出發時間表一般是可變的,只考慮到巴士到達時間不足。針對上述挑戰,我們提出了一種基於到達時間和客流預測(D-ATPF)的新型動態公交排程模型。首先,通過處理公交車軌跡資料和乘客刷卡記錄獲得歷史起點 - 目的地(OD)資料和傳輸資料,並通過分析GPS軌跡來提取公交車到達時間。其次,採用基於長短期記憶(P-LSTM)的公交到達時間和客流預測的組成部分來預測未來的客流量和公交車到達時間。第三,基於遺傳演算法的公交排程模型(GABD模型)通過使用停留策略搜尋乘客的最小等待時間。通過使用中國廣州市的5條線路,124條公交車站和902,509條記錄的資料,我們的實驗結果表明:a)乘客預測的平均MAPE和RMSE分別為14%和7.5。 b)公交車到達時間的平均MAPE和RMSE分別為7.5%和13.5。 c)關於客流量和到達時間預測,擬議的DATPF模型減少了等待時間829.68分鐘,佔總等待時間的25.19%。 d)與實時停留策略相比,該方法的等待時間減少了5.94%。因此,D-ATPF模型為公交車排程提供了更實用的模型。深圳大學李清泉老師團隊成果,深度學習(典型模型長短期記憶LSTM)、公交軌跡資料、乘客刷卡記錄資料、遺傳演算法的耦合下的公交排程模型。從模型結果表現也很不錯。

7.Interactive Visualisation of Hierarchical Quantitative Data: an Evaluation/分層定量資料的互動式視覺化:評估

我們比較了用於分層定量資料的三種常見視覺化:樹圖,冰柱圖和旭日形圖,以及我們稱之為日落圖的旭日圖表的半圓形變體。 在一項試點研究中,我們發現旭日形圖是最不受歡迎的。 在一項有12名參與者的對照研究中,我們比較了樹圖,冰柱圖和日落圖。 Treemap是最不受歡迎的,在基本導航任務上效能較慢,在層次結構理解任務中效能和準確性較低。 冰柱圖和日落圖具有類似的效能,使用者對冰柱圖的偏好較小。一篇關於視覺化方式的論文,同一個資料不同視覺化方式對於讀者的觀感是不同的。這也是視覺化逐漸在這個時間成為了一門重要的分支學科的原因。

8.An enhanced bloom index for quantifying floral phenology using multi-scale remote sensing observations/使用多尺度遙感觀測來量化花卉物候的增強的綻放指數

花卉物候,開花的時間和強度,與生物的繁殖和生存密切相關,對氣候變化高度敏感。然而,開花的觀測記錄非常稀少,限制了我們對從地方到區域尺度的花卉物候的時空動態的理解。衛星遙感提供了獨特的機會,以經濟有效的方式通過空間和時間監測花卉。在這裡,我們開發了一個增強的水華指數(EBI),基於多光譜遙感資料來量化加利福尼亞中央山谷杏仁(Prunus dulcis)果園的開花狀況。我們對2.6-5.2釐米無人機(UAV)多光譜影象的測試研究表明,EBI增強了花的訊號,減少了土壤和綠色植被的背景噪聲,並與監督分類得到的花朵覆蓋率一致, R2為0.72。 CERES天線(0.2米),PlanetScope(3米),Sentinel-2(10米)和Landsat(30米)衛星影象的多尺度遙感觀測實驗測試進一步顯示了EBI捕獲花的穩健性資訊。我們發現PlanetScope和Sentinel-2影象的相對密集的時間序列能夠捕獲杏仁果園的綻放動態。預計衛星衍生的EBI將跟蹤開花資訊,從而提高我們對花和授粉對天氣的響應以及最終產量的理解和預測。發表於攝影測量Top雜誌的ISPRS Journal of of Photogrammetry and Remote Sensing。基於光學遙感、多光譜、無人機等多尺度遙感觀測實驗,利用一個增強的水華指數來監測花卉物候變化。植被物候的一個研究,多尺度研究一直是地學很需要的研究。這篇文章在無人機的新型遙感技術下支撐起的多尺度多衛星監測實驗分析很有意義。

9.Risk Reduction Behaviors Regarding PM2.5 Exposure among Outdoor Exercisers in the Nanjing Metropolitan Area, China/南京都市區戶外運動員PM2.5暴露的風險降低行為

目的:本研究旨在描述戶外運動者中直徑為2.5μm或更小(PM2.5)的環境顆粒物的風險降低行為,並探討影響中國南京城區行為的潛在因素。方法:2015年5月對302名戶外運動員進行了橫斷面便利抽樣調查。描述性分析用於描述人口統計學,戶外體育活動模式,PM2.5知識和風險降低行為。然後使用多變數邏輯迴歸分析來探索影響風險降低行為採用的因素。結果:減少PM2.5暴露的最常見行為是在朦朧日(75.5%)最小化開啟窗戶的時間,最不常見的是使用空氣淨化器(19.3%)。三分之二的受訪者表示,他們在陰霾中外出時戴著口罩(59.5%),但只有13.6%的人會戴專業的防靜電口罩。採用PM2.5暴露風險降低行為的參與者往往是女性,50-60歲,PM2.5知識水平較高的人和有孩子的人。結論:這些發現表明了提高戶外運動員對PM2.5知識的重要性。在高PM2.5汙染地區進行戶外運動時,還必須採取教育干預措施,引導公眾採取適當的預防措施。利用一個戶外運動員的斷面抽樣調查來分析PM2.5的暴露風險。從目前來看,很多PM2.5的預防和控制措施知識十分欠缺。

10.Enhanced aerosol estimations from Suomi-NPP VIIRS images over heterogeneous surfaces/Suomi-NPP VIIRS影像在異質表面上的增強氣溶膠估算

Suomi國家極地軌道合作伙伴關係(NPP)上的可見紅外成像輻射計套件(VIIRS)是新一代極軌衛星成像感測器。它產生了與廣泛使用的中解析度成像光譜儀(MODIS)產品類似的各種操作產品。然而,基於先前的驗證,官方VIIRS氣溶膠產品存在很大的不確定性,需要減少這些不確定性才能充滿信心地使用。為此,我們開發了一種經過修訂的高空間解析度氣溶膠反演演算法,該演算法可以顯著提高氣溶膠光學厚度(AOD)估計值。這些改進主要來自(i)使用RossThick-LiSparse模型校正表面雙向反射,其中引數來自MODIS雙向反射分佈函式(BRDF)/反照率產品; (ii)根據歷史AERONET光學特性測量假設的更精細定製的每月氣溶膠型別; (iii)利用修正的動態閾值雲檢測演算法改進畫素選擇。新的750米解析度AOD反演經過氣溶膠觀測網路(AERONET)第3版AOD測量驗證,並與2014年至2017年在中國京津冀地區的官方VIIRS AOD產品進行了比較。結果表明,反演與地面觀測結果高度一致(R = 0.926),其中約72%在區域範圍內落在[±(0.05 + 20%)]的預期誤差範圍內。平均絕對誤差為0.082,均方根誤差為0.120。與官方氣溶膠產品相比,修正後的演算法可以顯著降低過度估計並改善異質城市表面的氣溶膠估算,特別是在冬季。因此,這種新的VIIRS AOD產品將更適用於城市地區等異質表面的空氣汙染研究。發表於IEEE TGRS的一篇AOD反演的文章,提出了一種改進的演算法,可以適用於城市地區異質性較強的地區的空氣汙染研究。

11.Quantitative analysis of the contributions of climatic and human factors to grassland productivity in northern China/中國北方氣候和人為因素對草地生產力貢獻的定量分析

準確定量分析氣候變化(CC)和人類活動(HA)對草地生產力的貢獻對於闡明相關的驅動機制至關重要。在這項研究中,分析了中國北方的草原。我們選擇淨初級生產力(NPP)作為草地生產力的評估指標,並確定了氣候和人為因素在NPP變化中的相對作用。基於偏導數的定量方法用於評估氣候因子對NPP變化的貢獻,NPP的年際變化率與氣候因子貢獻之間的差異被認為是HA貢獻。然後,設計了不同的情景來評估CC和HA對草地恢復和退化的相對貢獻比例。結果表明,2000〜2015年,中國北方平均草地NPP呈顯著增加趨勢。溫度,降水和太陽輻射對草地NPP變化的貢獻為0.06,0.50和0.52gCm-2。太陽輻射在所有氣候因素中起到了最大的積極作用,其次是降水。 CC和HA對草地NPP變化的貢獻分別為1.08和0.58gCm-2。此外,HA在草地恢復和退化中的作用大於CC。總體而言,HA對草地生產力的積極影響可能會被其負面影響大大抵消,因此HA對草地NPP變化的積極貢獻小於CC。因此,應進一步加強用於控制草地退化的有效措施和政策,以保護草原資源。氣候變化和人類活動對NPP的研究,我想應該來說還是一個比較通用的topic,幾個關鍵的因素從生態模型方面的先驗知識也是比較準確的,同時人類活動的影響對草地NPP的影響還是比較顯著的。這幾年草地NPP增加應該與國家退耕還林還草政策有很大相關,這跟前段時間Nature Sustainability的雄文結果還