Yarn筆記:Container資源下載流程
在Yarn中,資源也被稱為分散式快取,根據可見性分為三個等級:
PUBLIC PRIVATE APPLICATION
各資源的儲存結構如下:
可以看到,目錄結構對應了資源的可見性。
所有資源最終為contaienr所用,container在自己的 ${containerId}/
目錄下通過軟鏈訪問各等級的資源。
過程
PUBLIC資源由 ResourceLocalizationService
下的 PublicLocalizer
下載 ; PRIVATE、APPLICATION資源也經過ResourceLocalizationService服務,但最終由各container獨立的 ContainerLocalizer
下載 。
假設PUBLIC、PRIVATE資源已下載,現在使用者啟動一個新app,下載APPLICATION資源的過程如下:
INIT_APPLICATION_RESUOURCE LocalResourceTracker LocalizedResource DOWNLOADING LocalizerRunner