1. 程式人生 > >訪問一個網站需要那幾個協議?

訪問一個網站需要那幾個協議?

作為一個軟體開發者,你一定會對網路應用如何工作有一個完整的層次化的認知,同樣這裡也包括這些應用所用到的技術:像瀏覽器,HTTP,HTML,網路伺服器,需求處理等等。
本文將更深入的研究當你輸入一個網址的時候,後臺到底發生了一件件什麼樣的事~
1. 首先嘛,你得在瀏覽器裡輸入要網址:



2. 瀏覽器查詢域名的IP地址


導航的第一步是通過訪問的域名找出其IP地址。DNS查詢過程如下:
* 瀏覽器快取 – 瀏覽器會快取DNS記錄一段時間。 有趣的是,作業系統沒有告訴瀏覽器儲存DNS記錄的時間,這樣不同瀏覽器會儲存個自固定的一個時間(2分鐘到30分鐘不等)。
* 系統快取 – 如果在瀏覽器快取裡沒有找到需要的記錄,瀏覽器會做一個系統呼叫(windows裡是gethostbyname)。這樣便可獲得系統快取中的記錄。
* 路由器快取 – 接著,前面的查詢請求發向路由器,它一般會有自己的DNS快取。
* ISP DNS 快取 – 接下來要check的就是ISP快取DNS的
伺服器
。在這一般都能找到相應的快取記錄。
* 遞迴搜尋 – 你的ISP的DNS伺服器從跟域名伺服器開始進行遞迴搜尋,從.com頂級域名伺服器到Facebook的域名伺服器。一般DNS伺服器的快取中會 有.com域名伺服器中的域名,所以到頂級伺服器的匹配過程不是那麼必要了。

DNS遞迴查詢如下圖所示:
500pxAn_example_of_theoretical_DNS_recursion_svg.png 2012-11-24 19:53:01 上傳 下載附件 (21.65 KB)


DNS有一點令人擔憂,這就是像wikipedia.org 或者 facebook.com這樣的整個域名看上去只是對應一個單獨的IP地址。還好,有幾種方法可以消除這個瓶頸:
* 迴圈 DNS 是DNS查詢時返回多個IP時的解決方案。舉例來說,Facebook.com實際上就對應了四個IP地址。
* 負載平衡器 是以一個特定IP地址進行偵聽並將網路請求轉發到叢集

伺服器上的硬體裝置。 一些大型的站點一般都會使用這種昂貴的高效能負載平衡器。
* 地理 DNS 根據使用者所處的地理位置,通過把域名對映到多個不同的IP地址提高可擴充套件性。這樣不同的伺服器不能夠更新同步狀態,但對映靜態內容的話非常好。
* Anycast 是一個IP地址對映多個物理主機的路由技術。 美中不足,Anycast與TCP協議適應的不是很好,所以很少應用在那些方案中。
大多數DNS伺服器使用Anycast來獲得高效低延遲的DNS查詢。
3. 瀏覽器給web伺服器傳送一個HTTP請求

因為像Facebook主頁這樣的動態頁面,開啟後在瀏覽器快取中很快甚至馬上就會過期,毫無疑問他們不能從中讀取。

所以,瀏覽器將把一下請求傳送到Facebook所在的伺服器
GET HTTP://facebook.com/ HTTP/1.1
Accept: application/x-ms-application, image/jpeg, application/xaml+xml, [...]
User-Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; [...]
Accept-Encoding: gzip, deflate
Connection: Keep-Alive
Host: facebook.com
Cookie: datr=1265876274-[...]; locale=en_US; lsd=WW[...]; c_user=2101[...]

GET 這個請求定義了要讀取的URL: “HTTP://facebook.com/”。 瀏覽器自身定義 (User-Agent 頭), 和它希望接受什麼型別的相應 (Accept and Accept-Encoding 頭). Connection頭要求伺服器為了後邊的請求不要關閉TCP連線。
請求中也包含瀏覽器儲存的該域名的cookies。可能你已經知道,在不同頁面請求當中,cookies是與跟蹤一個網站狀態相匹配的鍵值。這樣cookies會儲存登入使用者名稱,伺服器分配的密碼和一些使用者設定等。Cookies會以文字文件形式儲存在客戶機裡,每次請求時傳送給伺服器
用來看原始HTTP請求及其相應的工具很多。作者比較喜歡使用fiddler,當然也有像FireBug這樣其他的工具。這些軟體在網站優 化時會幫上很大忙。
除了獲取請求,還有一種是傳送請求,它常在提交表單用到。傳送請求通過URL傳遞其引數(e.g.: HTTP://robozzle.com/puzzle.aspx?id=85)。傳送請求在請求正文頭之後傳送其引數。

像“HTTP://facebook.com/”中的斜槓是至關重要的。這種情況下,瀏覽器能安全的新增斜槓。而像“HTTP: //example.com/folderOrFile”這樣的地址,因為瀏覽器不清楚folderOrFile到底是資料夾還是檔案,所以不能自動新增 斜槓。這時,瀏覽器就不加斜槓直接訪問地址,伺服器會響應一個重定向,結果造成一次不必要的握手。
4. facebook服務的永久重定向響應

圖中所示為Facebook伺服器發回給瀏覽器的響應:
HTTP/1.1 301 Moved Permanently
Cache-Control: private, no-store, no-cache, must-revalidate, post-check=0,
pre-check=0
Expires: Sat, 01 Jan 2000 00:00:00 GMT
Location: HTTP://www.facebook.com/
P3P: CP=”DSP LAW”
Pragma: no-cache
Set-Cookie: made_write_conn=deleted; expires=Thu, 12-Feb-2009 05:09:50 GMT;
path=/; domain=.facebook.com; httponly
Content-Type: text/html; charset=utf-8
X-Cnection: close
Date: Fri, 12 Feb 2010 05:09:51 GMT
Content-Length: 0


為什麼伺服器一定要重定向而不是直接發會使用者想看的網頁內容呢?這個問題有好多有意思的答案。
其中一個原因跟搜尋引擎排名有 關。你看,如果一個頁面有兩個地址,就像HTTP://www.igoro.com/ 和HTTP://igoro.com/,搜尋引擎會認為它們是兩個網站,結果造成每一個的搜尋連結都減少從而降低排名。而搜尋引擎知道301永久重定向是 什麼意思,這樣就會把訪問帶www的和不帶www的地址歸到同一個網站排名下。
還有一個是用不同的地址會造成快取友好性變差。當一個頁面有好幾個名字時,它可能會在快取裡出現好幾次。
5. 瀏覽器跟蹤重定向地址


現在,瀏覽器知道了 “HTTP://www.facebook.com/”才是要訪問的正確地址,所以它會發送另一個獲取請求:
GET HTTP://www.facebook.com/ HTTP/1.1
Accept: application/x-ms-application, image/jpeg, application/xaml+xml, [...]
Accept-Language: en-US
User-Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; [...]
Accept-Encoding: gzip, deflate
Connection: Keep-Alive
Cookie: lsd=XW[...]; c_user=21[...]; x-referer=[...]
Host: www.facebook.com

頭資訊以之前請求中的意義相同。
6. 伺服器“處理”請求伺服器接收到獲取請求,然後處理並返回一個響應。這表面上看起來是一個順向的任務,但其實這中間發生了很多有意思的東西- 就像作者部落格這樣簡單的網站,何況像facebook那樣訪問量大的網站呢!* Web 伺服器軟體web伺服器軟體(像IIS和阿帕奇)接收到HTTP請求,然後確定執行什麼請求處理來處理它。請求處理就 是一個能夠讀懂請求並且能生成HTML來進行響應的程式(像ASP.NET,PHP,RUBY…)。舉 個最簡單的例子,需求處理可以以對映網站地址結構的檔案層次儲存。像HTTP://example.com/folder1/page1.aspx這個地 址會對映/httpdocs/folder1/page1.aspx這個檔案。web伺服器軟體可以設定成為地址人工的對應請求處理,這樣 page1.aspx的釋出地址就可以是HTTP://example.com/folder1/page1* 請求處理請求處理閱讀 請求及它的引數和cookies。它會讀取也可能更新一些資料,並講資料儲存在伺服器上。然後,需求處理會生成一個HTML響應。所 有動態網站都面臨一個有意思的難點 -如何儲存資料。小網站一半都會有一個SQL資料庫來儲存資料,儲存大量資料和/或訪問量大的網站不得不找一些辦法把資料庫分配到多臺機器上。解決方案有:sharding (基於主鍵值講資料表分散到多個數據庫中),複製,利用弱語義一致性的簡化資料庫。委託工作給批處理是一個廉價保持資料更新的技術。舉例來講,Fackbook得及時更新新聞feed,但資料支援下的“你可能認識的人”功能只需要每晚更新(作者猜測是這樣的,改功能如何完善不得而知)。批處理作業更新會導致一些不太重要的資料陳舊,但能使資料更新耕作更快更簡潔。7. 伺服器發回一個HTML響應圖中為伺服器生成並返回的響應:HTTP/1.1 200 OKCache-Control: private, no-store, no-cache, must-revalidate, post-check=0,pre-check=0Expires: Sat, 01 Jan 2000 00:00:00 GMTP3P: CP=”DSP LAW”Pragma: no-cacheContent-Encoding: gzipContent-Type: text/html; charset=utf-8X-Cnection: closeTransfer-Encoding: chunkedDate: Fri, 12 Feb 2010 09:05:55 GMT[email protected][...]整個響應大小為35kB,其中大部分在整理後以blob型別傳輸。內容編碼頭告訴瀏覽器整個響應體用 gzip演算法進行壓縮。解壓blob塊後,你可以看到如下期望的HTML:lang=”en” id=”facebook”>關於壓縮,頭資訊說明了是否快取這個頁面,如果快取的話如何去做,有什麼cookies要去設定(前面這個響應裡沒有這點)和隱私資訊等 等。請注意報頭中把Content-type設定為“text/html”。報頭讓瀏覽器將該響應內容以HTML形式呈現,而不是以檔案形式下 載它。瀏覽器會根據報頭資訊決定如何解釋該響應,不過同時也會考慮像URL擴充套件內容等其他因素。8. 瀏覽器開始顯示HTML在瀏覽器沒有完整接受全部HTML文件時,它就已經開始顯示這個頁面了:9. 瀏覽器傳送獲取嵌入在HTML中的物件在瀏覽器顯示HTML時,它會注意到需要獲取其他地址內容的標籤。這時,瀏覽器會發送一個獲取請求來重新獲得這些檔案。下面是幾個我們訪問facebook.com時需要重獲取的幾個URL:* 圖片HTTP://static.ak.fbcdn.net/rsrc.php/z12E0/hash/8q2anwu7.gifHTTP://static.ak.fbcdn.net/rsrc.php/zBS5C/hash/7hwy7at6.gif* CSS 式樣表HTTP://static.ak.fbcdn.net/rsrc.php/z448Z/hash/2plh8s4n.cssHTTP://static.ak.fbcdn.net/rsrc.php/zANE1/hash/cvtutcee.css* JavaScript 檔案HTTP://static.ak.fbcdn.net/rsrc.php/zEMOA/hash/c8yzb6ub.jsHTTP://static.ak.fbcdn.net/rsrc.php/z6R9L/hash/cq2lgbs8.js這些地址都要經歷一個和HTML讀取類似的過程。所以瀏覽器會在DNS中查詢這些域名,傳送請求,重定向等等…但不像動態頁面那樣,靜態檔案會允許瀏覽器對其進行快取。有的檔案可能會不需要與伺服器通訊,而從快取中直接讀取。伺服器的響應中包含了靜態檔案儲存的期限資訊,所以瀏覽器知道要把它們快取多長時間。還有,每個響應都可能包含像版本號一樣工作的ETag頭(被請求變數的實體值),如果瀏覽器觀察到檔案的版本 ETag資訊已經存在,就馬上停止這個檔案的傳輸。試著猜猜看“fbcdn.net”在地址中代表什麼?聰明的答案是”Facebook內容分發網路”。Facebook利用內容分發網路 (CDN)分發像圖片,CSS表和 JavaScript檔案這些靜態檔案。所以,這些檔案會在全球很多CDN的資料中心中留下備份。靜態內容往往代表站點的頻寬大小,也能通過CDN輕鬆的複製。通常網站會使用第三方的CDN。例如,Facebook的靜態檔案由最大的 CDN提供商Akamai來託管。舉例來講,當你試著ping static.ak.fbcdn.net的時候,可能會從某個akamai.net伺服器上獲得響應。有意思的是,當你同樣再ping一次的時候,響應的 伺服器可能就不一樣,這說明幕後的負載平衡開始起作用了。10. 瀏覽器傳送非同步(AJAX)請求在Web 2.0偉大精神的指引下,頁面顯示完成後客戶端仍與伺服器端保持著聯絡。以 Facebook聊天功能為例,它會持續與伺服器保持聯絡來及時更新你那些亮亮灰灰的好友狀態。為了更新這些頭像亮著的好友狀態,在瀏覽器中執行的 JavaScript程式碼會給伺服器傳送非同步請求。這個非同步請求傳送給特定的地址,它是一個按照程式構造的獲取或傳送請求。還是在Facebook這個例子中,客戶端傳送給HTTP://www.facebook.com/ajax/chat/buddy_list.php一個釋出請求來獲取你好友裡哪個 線上的狀態資訊。提起這個模式,就必須要講講”AJAX”– “非同步JavaScript 和 XML”,雖然伺服器為什麼用XML格式來進行響應也沒有個一清二白的原因。再舉個例子吧,對於非同步請求,Facebook會返回一些 JavaScript的程式碼片段。除了其他,fiddler這個工具能夠讓你看到瀏覽器傳送的非同步請求。事實上,你不僅可以被動的做為這些請求的看客,還能主動出擊修改和重 新發送它們。AJAX請求這麼容易被蒙,可著實讓那些計分的線上遊戲開發者們鬱悶的了。(當然,可別那樣騙人家~)Facebook聊天功能提供了關於AJAX一個有意思的問題案例:把資料從伺服器端推送到客戶端。因為HTTP是一個請求-響應協議,所 以聊天伺服器不能把新訊息發給客戶。取而代之的是客戶端不得不隔幾秒就輪詢下伺服器端看自己有沒有新訊息。這些情況發生時長輪詢是個減輕伺服器負載挺有趣的技術。如果當被輪詢時伺服器沒有新訊息,它就不理這個客戶端。而當尚未超時的情況下收到了 該客戶的新訊息,伺服器就會找到未完成的請求,把新訊息做為響應返回給客戶端。總結一下希望看了本文,你能明白不同的網路模組是如何協同工作的

我們似乎每天都要做這樣一件事情,開啟一個瀏覽器,輸入網址,回車,一個空白的頁面頓時有了東西,它可能是百度之類的搜尋頁面,或是一個擠滿了文字和圖片的入口網站。從我們開啟瀏覽器,到我們看到我們想看的內容,這過程究竟發生了什麼?
下面我們就從三個方面理解這個過程,一個是瀏覽器,二個是伺服器,第三個是瀏覽器和伺服器之間通訊的協議。在理解這三方面之前我們必須先搞明白將這三方面聯絡起來的一個詞:web。 

1,world wide web 
我們通常所說的web就是指world wide web。一般來講,這一種通過瀏覽器來訪問資源的技術。我們經常說的上網,應該大部都是指的是上萬維網(web),但是我們經常將全球資訊網和因特網(Internet)搞混。因特網是一種網路互連的技術,它更指的是物理層面上的互連,而全球資訊網應該算是跑在因特網上的一種服務。
我們通常通過瀏覽器還訪問web,我們常見到的網頁中包含超文字,圖片,視訊音訊等各項內容。向我們提供這些資源的是一個一個的站點,通過網際網路,這些站點相互連線起來。我們通過超連結從一個網頁訪問到另外一個網頁,從一個站點到另外一個站點,所有的這一切組成一個龐大的網,這就是web。
支援web的技術,首先是底層的網路,因為web就是建立在Internet之上,web的基本協議是HTTP協議,它跑在TCP上的協議之上,而TCP協議又需要IP協議的支援,IP協議又要由底層鏈路來支撐,所以我們可以從高到第看到這樣一個協議棧 http->tcp->ip->連路層協議。要理解web到ip就已經足夠了。
我們可以想一想web上的資源有哪些? 首先是文字,後來添加了圖片,到現在的各種音訊視訊資源,所有網際網路上的資源都要通過一個叫做URI的東西還標記,當然了我們更常見是URL。現在也不必糾結於兩者有何不同,URL就是URI的一個子集,URL給了我們資源的地址,所以我們能夠找到它。
現在看一個URL: 這是一個圖片的url。它是按照這樣的語法來定義:scheme://domain:port/path?query_string#fragment_id.scheme就是協議,在瀏覽器裡通常是http,例子中的是https是一種由HTTP和SSL/TLS組合起來的應用,用以提供加密通訊和對網路伺服器的身份驗證(http://zh.wikipedia.org/zh/HTTPS )。然後就是域名,每個站點都至少有一個域名,上面例子上的域名部分是www.google.com.hk,這個域名也是分為三部分的,www是主機名,com.hk算是頂級域名,除了com還有cn,net等。域名後面是埠號預設為80,通常被省略,這是伺服器端伺服器軟體偵聽的埠,也是TCP裡面一個埠號的值。然後就是path,資源在伺服器上的路徑。最後問號部分的客戶端利用url傳給伺服器的一些引數值,通常值比較少,不太重要時這麼做。
2,協議
(1)HTTP協議
web裡最重要的協議就是HTTP協議,對於經典的ISO七層網路模型來說, HTTP處於最高層--應用層。HTTP應用的模型是client/server模型。因此對應著兩種HTTP訊息型別,request和response。客戶端向伺服器發出請求,伺服器向客戶端發回請求。下面看一下兩種型別訊息的格式:



 
下面分別進行解釋。
首先是HTTP Request Message
請求行:請求行以一個方法符號開頭,以空格分開,後面跟著請求的URI和協議的版本。請求方法常見的有:GET POST HEAD PUT等。
訊息報頭:在普通報頭中,有少數報頭域用於所有的請求和響應訊息,但並不用於被傳輸的實體,只用於傳輸的訊息。 請求報頭允許客戶端向伺服器端傳遞請求的附加資訊以及客戶端自身的資訊。 請求和響應訊息都可以傳送一個實體。一個實體由實體報頭域和實體正文組成,但並不是說實體報頭域和實體正文要在一起傳送,可以只發送實體報頭域。實體報頭定義了關於實體正文(eg:有無實體正文)和請求所標識的資源的元資訊。 POST請求的內容放在實體正文中。 
HTTP Response Message
狀態行:最主要的一個欄位是伺服器響應程式碼。比如,200 OK ,400 Bad Request ,401 Unauthorized ,403 Forbidden ,404 Not Found ,500 Internal Server Error ,503 Server Unavailable
訊息報頭:普通報頭和實體報頭與 請求報頭的類似。有區別的在於響應包頭,響應報頭允許伺服器傳遞不能放在狀態行中的附加響應資訊,以及關於伺服器的資訊和對Request-URI所標識的資源進行下一步訪問的資訊。

下面是ethereal抓到的一個get報文,post報文和響應報文,可以大概看一下。
 
 
 
(2)TCP協議
HTTP協議基於TCP協議,也就是HTTP的所有內容將作為TCP的實體被封裝到TCP報文裡面。TCP協議是面向連線,可靠的傳輸機制。也就是說客戶端在與伺服器互動資料的過程中會有一個連線建立和釋放的過程,看上面的Http頭部欄位可以看到相關的欄位。TCP有強大的視窗機制能夠適應傳送方和接收方的傳送接收能力,也能根據整個網路狀況進行調整。
(3)IP協議
IP協議處於整個TCP/IP協議族的承上啟下地位。我們知道因特網上主機是靠一個32位的ip地址來定位的,HTTP用的URL也算是地址,但是比較高階,IP協議是理解不了的,所以需要一個從URL到IP的轉換,這個過程通過DNS(域名查詢系統)協議完成。我們用的每一臺電腦上都配置了DNS伺服器的地址,如果沒有配置那麼你的閘道器預設充當了,當我們有一個URL想知道對應的IP時就需要向DNS伺服器傳送查詢請求了,它會把查詢的結果發回。
2,瀏覽器
在web的世界裡最不能少的角色就是瀏覽器。前面我們說到HTTP協議,HTTP訊息有兩種,request和response。瀏覽器的主要工作就是傳送http request報文和接收處理http response報文。沒有看過瀏覽器的開源文件,但是我覺得一個軟體只要完成下面幾件事,基本上就可以稱的上一個瀏覽器了。
(1)能夠根據使用者的請求生成合適的HTTP REQUEST報文。比如使用者在瀏覽器位址列上輸入地址進行訪問,瀏覽器要能夠生成HTTP GET報文,表單的傳送生成POST報文等等。
(2) 能夠對各種的RESPONSE進行處理。
(3)渲染Html文件,生成文件樹,能夠解釋css,還要有個javascript引擎。
(4)能夠發起dns查詢得到ip地址。
瀏覽器是個非常複雜的軟體,當然現在的瀏覽器對http協議的支援應該不是問題,它們主要糾結於html文件渲染部分,對於使用者層出不窮的新需求,w3c層出不窮的新標準,瀏覽器的路應該才剛剛開始。 
3, 伺服器
伺服器有兩個層級的概念,它可以是機器,它上面存著一個站點的所有東西,也可以是軟體,安裝在一個也叫做伺服器的機器上,幫助這個機器分發使用者想要的東西。 我對伺服器研究不多,只是用過幾次apache。所以只是簡單的談談我的認識。
伺服器最基本的功能就是響應客戶端的資源請求。伺服器首先會偵聽80埠,來了http請求,就根據請求進行處理,請求一個圖片那就根據路徑找到資源發回,請求靜態html頁面也是如此,如果請求的是像php這樣的動態頁面應該先呼叫php編譯器(或是直譯器吧)生成html程式碼,然後返回給客戶端。當然還要解決的一個問題就是並行問題以應對大訪問量。
因為對這方面不太瞭解,只想到了這麼多。

先說到這裡, 有了新的認識再寫。