Kali Linux Web滲透測試手冊(第二版) - 2.8 - 利用robots.txt
翻譯來自：掣雷小組
成員資訊：
thr0cyte，Gr33k，花花，MrTools，R1ght0us，7089bAt，
這個公眾號，一定要關注哦，慢慢會跟上面老哥們一起分享很多幹貨哦~~
標記紅色的部分為今日更新內容。
第二章：偵察
介紹
2.1、被動資訊收集
2.2、使用Recon-ng收集資訊
2.3、使用Nmap掃描和識別應用服務
2.4、識別web應用防火牆
2.5、識別HTTPS加密引數
2.6、使用瀏覽器自帶的開發工具來做基本的分析和修改
2.7、獲取和修改cookie
2.8、利用robots.txt
2.8
更進一步，我們需要弄清楚站點中是否有任何頁面或目錄沒有連結到向普通使用者顯示的內容，例如，到內部網或內容管理系統(CMS)的登入頁面。找到類似的站點將大大擴充套件我們的測試表面，併為我們提供關於應用程式及其基礎結構的一些重要線索。
在這小節中，我們將使用robots.txt檔案，用於發現一些在主要應用程式中無法連結到的檔案和目錄。
怎麼做…
為了說明滲透測試如何利用robots.txt。我們將在vm_1中使用vicnum，這是一個脆弱的web應用程式，它包含三個數字和單詞猜測遊戲。我們將使用通過robots.txt獲得的資訊。為了增加我們贏得這些比賽的機會:
1. 瀏覽器開啟 http://192.168.56.11/vicnum/.
2. 現在，我們新增robots.txt到URL中，我們將看到如下結果:
這個檔案告訴搜尋引擎，對於每個瀏覽器(使用者代理)，不允許對目錄jotto和cgi-bin進行索引。然而，這並不意味著我們不能瀏覽它們。
3. 讓我們開啟 http://192.168.56.11/vicnum/cgi-bin/：
我們可以單擊並直接導航到任何Perl指令碼(.pl檔案)在這個目錄中。
4. 讓我們開啟 http://192.168.56.11/vicnum/jotto/.
5. 單擊名為jotto的檔案，你將看到類似下面的截圖:
jotto是一個猜五字的遊戲，這可能是答案的列表嗎?使用列表中的單詞作為答案進行遊戲，我們已經破解了這個遊戲:
它是如何工作的…
Robots.txt是web伺服器用來告訴搜尋引擎他們應該索引的目錄或檔案以及他們不允許檢視的內容的檔案。從攻擊者的角度來看，這告訴我們伺服器中是否有一個目錄是可以訪問的，但是通過隱藏的方式將其隱藏起來(也就是說，假設使用者不知道某個目錄的存在，他們就不會發現這個目錄)。