tl;dr： 正確的做法應該是：git rm --cached logs/xx.log，然後更新 .gitignore 忽略掉目標檔案，最後 git commit -m “We really don’t want Git to track this anymore!”

具體的原因如下：

被採納的答案雖然能達到（暫時的）目的，但並非最正確的做法，這樣做是誤解了 git update-index 的含義，而且這樣做帶來的最直接（不良）後果是這樣的：

所有的團隊成員都必須對目標檔案執行：git update-index --assume-unchanged 。這是因為即使你讓 Git 假裝看不見目標檔案的改變，但檔案本身還是在 Git 的歷史記錄裡的，所以團隊的每個人在 fetch 的時候都會拉到目標檔案的變更。（但實際上目標檔案是根本不想被 Git 記錄的，而不是假裝看不見它發生了改變）

一旦有人改變目標檔案之後沒有 git update-index --assume-unchanged 就直接 push 了，那麼接下來所有拉取了最新程式碼的成員必須重新執行 update-index，否則 Git 又會開始記錄目標檔案的變化。這一點實際上很常見的，比如說某成員換了機器或者硬碟，重新 clone 了一份程式碼庫，由於目標檔案還在 Git 的歷史記錄裡，所以他／她很可能會忘記 update-index。

為什麼會這樣？答案就在 Git 的 man pages 裡：

首先，git update-index 的定義是：

Register file contents in the working tree to the index（把工作區下的檔案內容註冊到索引區）

這句話暗含的意思是：update-index 針對的是 Git 資料庫裡被記錄的檔案，而不是那些需要忽略的檔案。

接著看關於 --assume-unchanged 的幾句相關的描述：

When the “assume unchanged” bit is on, Git stops checking the working tree files for possible modifications, so you need to manually unset the bit to tell Git when you change the working tree file. This is sometimes helpful when working with a big project on a filesystem that has very slow lstat(2) system call (e.g. cifs).

大致意思是：

應用了該標識之後，Git 停止檢視工作區檔案可能發生的改變，所以你必須 手動 重置該標識以便 Git 知道你想要恢復對檔案改變的追蹤。當你工作在一個大型專案中，這在檔案系統的 lstat 系統呼叫非常遲鈍的時候會很有用。

我們知道 Git 不僅僅是用來做程式碼版本管理的，很多其他領域的專案也會使用 Git。比如說我公司曾經一個客戶的專案涉及到精密零件圖紙文件的版本管理，他們也用 Git。有一種使用場景是對一些體積龐大的檔案進行修改，但是每一次儲存 Git 都要計算檔案的變化並更新工作區，這在硬碟慢的時候延遲卡頓非常明顯。

git update-index --assume-unchanged 的真正用法是這樣的：

你正在修改一個巨大的檔案，你先對其 git update-index --assume-unchanged，這樣 Git 暫時不會理睬你對檔案做的修改；
當你的工作告一段落決定可以提交的時候，重置改標識：git update-index --no-assume-unchanged，於是 Git 只需要做一次更新，這是完全可以接受的了；
提交＋推送。
另外，根據文件的進一步描述：

This option can be also used as a coarse file-level mechanism to ignore uncommitted changes in tracked files (akin to what .gitignore does for untracked files).

這段描述告訴我們兩個事實：

雖然可以用其來達成樓主想要的結果，但這是不講究的做法（coarse）；
同樣的事情更應該用 .gitignore 檔案來實現（針對未追蹤的檔案）。
隨之而來的問題是：為什麼我增加了 .gitignore 裡的規則卻沒有效果？

這是因為我們誤解了 .gitignore 檔案的用途，該檔案只能作用於 Untracked Files，也就是那些從來沒有被 Git 記錄過的檔案（自新增以後，從未 add 及 commit 過的檔案）。

之所以你的規則不生效，是因為那些 .log 檔案曾經被 Git 記錄過，因此 .gitignore 對它們完全無效。這也正是開頭那段簡短答案所做的事情：

從 Git 的資料庫中刪除對於該檔案的追蹤；
把對應的規則寫入 .gitignore，讓忽略真正生效；
提交＋推送。
只有這樣做，所有的團隊成員才會保持一致而不會有後遺症，也只有這樣做，其他的團隊成員根本不需要做額外的工作來維持對一個檔案的改變忽略。

最後有一點需要注意的，git rm --cached 刪除的是追蹤狀態，而不是物理檔案；如果你真的是徹底不想要了，你也可以直接 rm＋忽略＋提交。

參考連結：
https://segmentfault.com/q/1010000000430426