源起

現在很多企業的網路一般都比較快, 但是有的企業卻會限速, 如果需要從github和google code上面git clone大的倉庫的話, 那麼需要耗費的時間是很客觀的,  例如從github或者google code, 或者其他託管服務站點獲取Android中需要的多個Kernel倉庫, 一般一個kernel倉庫都有幾GB, 如果是100KB/S的話, 那麼將需要很長的時間.

與此同時, 不同的Android 版本(AOSP)程式碼, 他們一般都會依賴許多相同的元件, 甚至獲取相同的倉庫程式碼, 僅僅只是branch或者tag不同而已, 例如對於Nexus 7 flo平板而言, 不管是AOSP 4.4 Kitkat還是 5.X Lolipop, 都會去下載flo-kernel這個核心, 他們都remote都是一樣的, 唯一不同的是tag使用的不同, 因此如果我們已經獲取過Kitkat的程式碼,那麼就可以複用其中的bare repo, 從而達到快速clone.

要了解如何做, 我們需要對AOSP的程式碼結構非常熟悉, 一般而言, 如果是系統工程師,那麼幾乎對AOSP的每一個目錄都會很熟悉, 對自己需要編譯的target的依賴的每一個repo都幾乎會心中有數(例如external中的哪些, vendor, device都會用到哪些), 這種情況下, 就可以刪除某些倉庫的下載, 從而節省時間.

總結起來, 要節省git clone的時間就是從兩個方面入手:

• 1. 複用已經clone的bare repo
• 2. 不要clone不需要的repo

repo分析

在實現前面的兩點之前, 除了對AOSP的編譯, 以及Target的依賴很熟悉外, 我們還需要對google 的 repo工具以及其流程有個基本的熟悉和了解.

repo的執行過程

1. 解析傳入的args
2. checkout下來最新的repo
3. 找到manifest的目錄
4. 解析manifest.xml
5. 根據manifest或者其他xml檔案呼叫git clone --bare-repo獲取xml中定義的clone repo
6. 從.repo/projects中的bare repo根據manifest xml中的projects資訊checkout到當前目錄

具體檢視repo這個python指令碼的原始碼.

下面使用具體例子來講解.

repo init

repo init -u https://github.com/bluez-android/aosp_platform_manifest.git -b lollipop
 

這個init呼叫傳入的-u這個用於指定需要下載的manifest的倉庫地址: 

def _Checkout(cwd, branch, rev, quiet):
  """Checkout an upstream branch into the repository and track it.
  """
  cmd = [GIT, 'update-ref', 'refs/heads/default', rev]
  if subprocess.Popen(cmd, cwd=cwd).wait() != 0:
    raise CloneFailure()

  _SetConfig(cwd, 'branch.default.remote', 'origin')
  _SetConfig(cwd, 'branch.default.merge', 'refs/heads/%s' % branch)

  cmd = [GIT, 'symbolic-ref', 'HEAD', 'refs/heads/default']
  if subprocess.Popen(cmd, cwd=cwd).wait() != 0:
    raise CloneFailure()

  cmd = [GIT, 'read-tree', '--reset', '-u']
  if not quiet:
    cmd.append('-v')
  cmd.append('HEAD')
  if subprocess.Popen(cmd, cwd=cwd).wait() != 0:
    raise CloneFailure()

例如前面的 init 執行完成後, 我們可以看到在.repo目錄下有一個manifest.git目錄:

$ cd .repo/manifests.git/

$ git remote -v
origin	https://github.com/bluez-android/aosp_platform_manifest.git (fetch)
origin	https://github.com/bluez-android/aosp_platform_manifest.git (push)

注意這個manifest.git屬於bare repo , 然後repo會checkout一份出來manifest working tree到manifest目錄, 且使用的就是前面repo init中的-b指定的branch:

.repo/manifests

$ git status
On branch default
Your branch is up-to-date with 'origin/lollipop'. // branch -b指定後在這裡

然後我們可以看到有一個manifest.xml會指向checkout的working tree中的xml:

cd /Dir/Contain/.repo/../

$ ls -l
total 12
drwxrwxr-x  3 hexiongjun hexiongjun 4096 Feb 15 10:57 manifests // 從下面這個bare repo checkout
drwxrwxr-x 10 hexiongjun hexiongjun 4096 Feb 15 10:54 manifests.git  //bare repo
lrwxrwxrwx  1 hexiongjun hexiongjun   21 Feb 15 10:40 manifest.xml -> manifests/default.xml
drwxrwxr-x  7 hexiongjun hexiongjun 4096 Feb 15 10:40 repo // repo本身的working tree checkout

repo本身的checkout

在repo init執行的時候會到: https://gerrit.googlesource.com/git-repo

checkout最新的repo, checkout下來後放在了.repo/repo目錄

manifest的修改

前面的ls -l命令中列出了manifest.xml指向的是manifests/default.xml, 然後這個xml中會指明各種fetch的url, 版本revision, 以及需要checkout下來的projects, 例如:

<?xml version="1.0" encoding="UTF-8"?>
<manifest>

  <remote  name="aosp"
           fetch=".." />
  <default revision="refs/tags/android-5.0.0_r7"
           remote="aosp"
           sync-j="4" />

  <project path="build" name="platform/build" groups="pdk,tradefed" >
    <copyfile src="core/root.mk" dest="Makefile" />
  </project>
  <project path="abi/cpp" name="platform/abi/cpp" groups="pdk" />
  <project path="art" name="platform/art" groups="pdk" />
.............
  <include name="bluez-android.xml" />

</manifest>

裡面的remote就是git remote獲取得到的remote name, fetch指定的是從哪裡checkout projects, 隨後指定了revision, 以及sync的並心數.

接下來是projects的list, path指定checkout下來後放到哪裡, 例如下面這行:

  <project path="device/htc/flounder-kernel" name="device/htc/flounder-kernel" groups="device,flounder" clone-depth="1" />

指定了從fetch/name這個位置clone, 因為repo本身會將所有的projects放到.repo/projects目錄下面, 這個存放的位置就是由後面的groups來指定的, 例如上面的flounder-kernel的repo 本地bare repo位於:

.repo/projects/device/flounder-kernel.git

而這個repository的objects則位於:

.repo/project-objects/aosp_device_asus_flo-kernel.git/

這個objects目錄大小為:

$ du -sh ../../project-objects/aosp_device_asus_flo-kernel.git/
1.2G	../../project-objects/aosp_device_asus_flo-kernel.git/

然後repo在為每一個project建立了bare repository之後, 會從本地使用git clone一份出來, 且版本為前面指定的revision.

最後xml還可以使用include來包含, 實現"過載"

瞭解了repo的工作過程後,我們就可以想辦法來重用以前的bare repository了, 也知道如何不去clone和建立不需要的project的bare repository.

如何重用已有的bare repo倉庫來加快clone

假設我們已經有了一個AOSP 4.4 Kitkat的flo-kernel的bare repository了, 而AOSP 5.1 Lollipop也需要fetch 這個project,那麼我們就可以按照下面這個方式來做.

1. 拷貝project objects到對應目錄

2. 拷貝projects下的對應目錄到新的需要checkout的目錄, 例如從AOSP4到5

然後直接repo sync, sync完成後, 我們可以看到對應的branch被重新checkout下來了:

$ git branch  -a
  remotes/github/kitkat
  remotes/github/lollipop
  remotes/m/kitkat -> github/kitkat
  remotes/m/lollipop -> github/lollipop

可以看到既有kitkat也有lollipop, 這個和我們期望的一致:

  <project path="device/asus/flo-kernel" name="aosp_device_asus_flo-kernel" groups="device,flo" revision="lollipop" remote="github" />

這個xml中的project還指定了路徑, 我們到裡面確定一下:

 cd ../device/asus/flo-kernel/

$ git branch  -a
* (no branch)
  remotes/github/kitkat
  remotes/github/lollipop
  remotes/m/kitkat -> github/kitkat
  remotes/m/lollipop -> github/lollipop

然後我們使用gitk看看, 可以確定是我們需要的branch中:

刪除不需要的程式碼倉庫

例如我們使用的Nexus 7 flo來做開發, 並不需要Nexus 9等其他的核心, 那麼可以直接在xml中註釋掉其他的, repo就不會去下載了:

如果後來又需要checkout這些倉庫,那麼取消註釋, 然後重新repo sync即可.

也可以使用remove-project指定, 如同上圖中的前面幾行.

其他的例如drawn, MIPS等一些用不到的倉庫也可以刪除掉.