這是一整套相當完善的技術。是一個討論他的價值僅在於對其雙向過濾技術的探討。因此本文不討論如何破網，只是對其進行探討以及描述。


我們先從幾個試驗開始：
首先是使用者，在不載入任何代理的情況下，搜尋敏感關鍵字。結果可想而知。Google的搜尋網頁連顯示都沒有顯示就直接跳掉了。


使用者不死心。載入一道國外普通代理如何？結果是剛顯示一個Google的LOGO就讀不下去了，也是跳掉了。
這是為什麼呢？第一個例子中，使用者碰上的是對於發出資料的過濾，而第二次使用者碰到的則是對返回資料的過濾，也就是雙向過濾。這套過濾系統建立在國家的出口閘道器上。他的重點是對於返回資料包的過濾。


接下來的試驗可以讓我們發現一些更為有趣的問題：

載入國內普通代理，也許在返回的搜尋網頁上有包含某些某些關鍵字的時候不會跳掉。而載入看起來更安全的國外普通代理卻更容易跳掉。這是為什麼呢？


好吧，解答這個問題之前，我們可以再做一個試驗。我們可以將Google的搜尋結果頁面上傳到一個國外的主頁空間上，直接去瀏覽如何？沒問題。但明顯可以感受到一定的延遲。用國外代理呢？跳掉了。在使用Google搜尋時都會感受到的一定的頁面讀取延遲，當然我向你保證，這不是Google伺服器的錯。而是過濾裝置在工作的緣故。


下面可以推出來的結論就是，這套系統只對國外資料包進行過濾，原因很自然，因為國內伺服器，比方主頁提供商的內容總是相當容易控制的。但他是如何知道哪個資料包才是Google的呢？這很容易，
下面是google申請的ip地址段：

216.239.32.0 - 216.239.63.255  

Google Inc.  2400 E. Bayshore Parkway Mountain View CA 94043  US  

  --------------------------------------------------------------------------------

     Google Inc.  

[email protected]   +1-650-318-0200    


呵，接下來的事情就很容易了。其實只要對來自這個IP段的資料包，簡單的policy based forwarding就可以了。因此他的/s資料處理量並沒有我們想像的那樣大，換句話說，他們並沒有強大到擁有我們並不知曉的裝置的程度。事實上，大部分對於網路訪問依然在國內，而對國外的訪問中，網咖的訪問，更有安裝在網咖主機上的過濾系統進行了過濾，從而很大程度上減輕了對於國外網段訪問的壓力。過濾裝置的處理能力依然有限，不然我們在目前的搜尋過程中就不會感覺到延遲了，當然如果增加裝置，對處理能力進行增強，或者推廣到省閘道器，市閘道器則另當別論。


那麼我們如何解釋把Google的搜尋頁面放到國外伺服器上，卻依然會產生讀取延遲的問題呢？（也就是被過濾檢查過了。）也許是這樣一個公式：google（過濾系統抓取網頁上的某個特定的只有Google才有的特殊標示，比方“Google搜尋”）+來自國外的地址＝觸發過濾機制。這一層過濾，與發出的資料包過濾類似，屬於簡單的過濾，對系統負載並不大。而這個機制是對於所有國外網段的，這樣就有效的避免了封殺不徹底的問題。也就避免了在第一次封殺過程中產生使用IP進行訪問的漏網之魚的問題。也就是說即使你在國外另一個網段建立一個Google伺服器的話。如果你不是動態IP+SSL的組合，依然可能被封殺，如果是這樣的組合，你的伺服器也會不堪重負。（極端的想，即使動態IP+SSL，依然可能被域名劫持）


事實上，在近一段時間的搜尋中，我們可以發現。過濾似乎比以前少了，某些以前網頁中因為不幸的包括敏感關鍵字而跳掉的網頁，不再跳掉了。這說明了這套系統已經除錯完畢，進入了執行期。可以更替對某些關鍵字的遮蔽，更可以在搜尋效果與過濾效能上做一定程度的平衡了。


我們還會發現一個問題，那就是Google的搜尋結果，變得越來越差，而其中我們可以發現，只是國內網頁的搜尋結果越來越差，而且還會越來越少。這是為什麼呢？呵呵，注意觀察某些會記錄訪問者IP的網頁。我們就會發現其中的祕密。“crawler.googlebot.com”，是的，正是googlebot的機器人。googlebot機器人的某些特徵被抓到後，就可以對其進行有限量的抓取或者不讓其進行抓取,例如只對幾個官方網站進行更新，其它的網頁資訊都抓不回去。進一步的去想，利用這個機器人甚至還可以發現潛藏在國內網站內部的不良資訊 。

---------------------------------------------------------------------------------

評點google

在Google出現之前人們只有一種搜尋引擎，那就是分類引擎，這個想法來源於Yahoo，或者可以說來源於圖書館。

Google用大量的伺服器（數以萬計）做著每日的網頁查詢，每個執行緒就是一個Spider，每個Spider的工作就是從一個網頁去另一個網頁，檢查他們是否已更新，是否廢棄，是否存在新建立的頁面，評價他們之間的關係，生成快照，並將資料存入資料庫。Spider需要很好的協調以避免重複的勞動，同時他們需要確定工作範圍的優先順序，否則就會“跟不上時代的變化”或者乾脆淹死在某些每秒種更新數千次的網頁中。在確定了兩張網頁的關係之後，Google分別更新他們的PageRank得分，這個得分顯然已經不是一個公式能夠說清楚的了，它總是處在動態更新之中，但PageRank的大意就是，別人對你的連線數量越高你就越有價值，Google就越讓你的位置靠前。
2. Google後來做了什麼

在一片叫好聲中，Google開始向其它網路產品擴充套件。比如Google新聞，就是對Google這個巨大資源庫的一種非結構化應用。現在Google新聞不僅有了搜尋能力，還有了自動選擇能力，這是在公開的搶報紙編輯的飯碗。再比如Google影象搜尋，也為我們解決了不少難解決的問題，還有Google Group，這些服務使Google看起來更像Yahoo，或者MSN這樣的入口網站，而事實上Google用來實現這些功能的成本比其競爭者要小的多，原因很簡單，他們用的是人，Google用的是Spider！Google就像網際網路領域裡的Matrix，隨處可見。

在提供了這些網路產品的同時，Google還在客戶端與競爭者們一決高下，首先是瀏覽器的工具條Google Toolbar，起初我覺得很有用，後來覺得沒什麼用佔地方還損失效能，但是現在看到Firefox和Google結合的這麼好，又開始使用了。然後Google推出了用於推廣它自己的極好工具，這就是著名的Google API，在付出少許費用之後，你就可以在自己的程式裡使用Google了（通常是Java），我曾經還一度想做一個Flash版的Google呢。此外還有用於處理“科學難題”的網格計算：Google Compute，模仿捐獻家用計算能力以分析外星人電波的[email protected]，後者由Stanford提供。

Froogle也是一個偉大的設想，雖然它還沒有中文版，但我已經領略到了它的能力。它提供一個商品的搜尋引擎，讓你可以在需要時瀏覽商品的價目和圖片。這使得Froogle有時看起來很想ebay，況且Froogle還有它的WAP版，也就是移動版。Google Local又是一個有價值的作品，它使得Google可以作為旅遊指南或者地圖使用。即使是Google的web搜尋也有了很多衍生用法，比如瞧天氣啦，找手機歸屬地啦，當計算器用啦，當詞典用啦，反向搜尋啦什麼的。
3。Google現在做什麼
在客戶端的競爭中Google並沒有佔到什麼優勢，MSN反而成了受益者，你想啊，搞軟體設計誰能搞得過“買塊肉SOFT”，在Google陷入尋找新的擴充套件點而不能自拔時，一個新新人類的話題擺在了Google前進的道路上，這群人就是Blogger，他們要玩的就是Blog。說時遲，那時快！只見烏雲密佈，雷鳴電閃，咔喳一聲晴天霹靂，Google站在Blogger.com面前，笑裡藏刀的說：“天下英雄，唯使君與操爾！”在收購了Blogger之後，Google基本放棄了它建造blog.google.com的計劃。

2004年愚人節，對於網路郵箱供應商來說簡直就是一個鬼節，這一天Google推出了它的Gmail服務BETA版，它採用了非常具有神祕色彩並藉助六度分隔和150法則而更具有神祕色彩的邀請發放方式。最令人頭疼的是它提供1G的空間和壓縮郵件（壓縮意味著物理空間1G，而很多郵件供應商公佈的空間是壓縮之前的佔用空間）。2005年的愚人節，Google更“喪心病狂”（開玩笑）的將這個數字增加到2G！跟進還是賣出？！這是其它郵箱供應商必須面對的一個抉擇！

GDS（Google Desktop Search）是Google的另一個重磅炸彈，這個是用來對付微軟的。是的，你沒聽錯！當微軟在它下一版Windows（長角）的計劃中露出新版檔案搜尋引擎的設想時，Google已經把成型的產品送到了客戶面前。但是在試用了幾次之後我有點納悶，為什麼這個備受好評的GDS在我的機器上跟Lucene 一樣難用（對不起一次罵了兩位），它幾乎搜不到什麼有價值的檔案——難道因為我用的是英文版？抑或是我沒有掌握使用技巧？

4。Google遇到了什麼困難
在中文搜尋引擎市場上，簡體中文的第一是百度，其次是Yahoo，繁體中文的第一是Yahoo，其次是Google，日文版市場排名第一的還是Yahoo，第二名是MSN，俄文搜尋引擎的老大也是俄羅斯的本地化引擎。面對這個局面，Google只能說OMG！（Oh！My God！）。下面這段文字摘自<<Google中文的三大軟肋>>：

……據iResearch（艾瑞市場諮詢）研究報告分析，百度僅用4年時間，遠遠領先於Google，百度擁有目前世界上最大的中文資訊庫，比Google中文更準確，更全面，快照功能也佔優勢……
……雅虎一直很重視本地化，收購3721則是最好的一例。在國內市場上，3721的本地化購物搜尋非常好，再上本地化的商業搜尋，更具競爭優勢。從某種意義上來說，3721網路實名的目錄，就是一個典型的中國本地化企業產品的目錄。所以說，擁有3721之後，雅虎如虎添翼，對Google構成了更大威脅……
……在中文語言處理能力上，本地搜尋公司的優勢更讓Google難堪。比如，《功夫》公映之前很久，在百度上檢索“功夫”就能直接指向周星馳的電影，可是 Google搜尋相同的“功夫”，則大失所望。因為這些時令性的關鍵詞都需要專業團隊去隨時新增，由於Google缺乏專門針對中國市場的開發力量，尤其是對中國網際網路資訊檢索存在的問題了解不透，所以，Google對於國內市場需求的反應速度很慢，本地化技術服務力量也跟不上，無法解決國內網民遇到的一些實際問題……

Google的新聞搜尋也引來很大的爭議，我們都知道如果一家媒體要摘錄別人的新聞作為自己的新聞，那麼他必須付費，可是如果這條新聞是搜尋引擎搜出來的怎麼辦？如果這條新聞是和它的提供商幾乎同時登出又怎麼辦？Google當然不會為他搜出來的每條新聞付費，而且，就像前面說的那樣，Dvorak這樣的同志又要大罵Google了，因為它扼殺了消費者衝浪的樂趣和獲取別人沒能及時獲取的資訊的喜悅感，以及Google的意志代替了網際網路的意志等等。
5。Google以後會做什麼
我們猜想Google不久就會開放它的Gmail供人們隨意申請，但申請時仍需要提供一個唯一的其它郵箱的帳號，（就像非Logitech的老滑鼠加錢換新羅技，隨意一款老洗衣機加錢換新榮事達一樣），現在Gmail的策略是每個使用者可以邀請50個新使用者參加，此外每20人次的Google Web Search使用就會放出一個新的邀請。

Picasa也將是Google發展的重頭戲之一。前者是一個圖片檔案客戶端，看起來好像很簡單，肯定沒有ACDSee做的好，但是在圖片共享方面 Google可是從來沒有放棄過啊。現在，Picasa又和Gmail結合到了一起，每個Gmail使用者都可以用Picasa將圖片上傳到Gmail，這項功能大大加強了Picasa圖片共享的能力。

此外，人工智慧和大型計算技術也是Google發展的重要方向。不久之前Google釋出了它的企業搜尋伺服器，雖然引來一路臭罵，但還是有一些專家認為這是個利好訊息，說明Google正在別的盈利點上發覺自己的價值。概念已經有了，天價只是技術之不成熟性使然。這一趨勢不僅可以從Google的產品上看出來，從Google的挖人策略也一樣可見一斑。前不久，Google正式宣佈它挖到了Java世界一隻下金蛋的鵝——Joshua Bloch，這個人經常在我的夢中出現，要賣一本<<如來神掌>>給我！ 對不起，記錯了，是一本<< Effective Java>>。說說J.Bloch的歷史，可能很多人都會感到驚訝不已。他首先創造了曾在危難時期令整個Java世界恢復自信的Collection Framework，並獲得了當年的Jolt大獎；後來為了讓更多的Java程式設計師從Collection Framework的設計模式中收益（當時設計模式還不是很流行），他又以此為題寫了<<Effective Java>>，並再次獲得了Jolt大獎；為了在Java世界引入元模型的魔力，他繼而提出了JSR175(A Metadata Facility for the JavaTM Programming Language)，併成為其首席專家；在Sun最危難的時刻挺身而出接掌Tiger（JDK 5.0）的大旗；在這之後，關於他的唯一新聞就是被Google挖走了。此外，Google還高薪挖走了無數把名字倒過來寫我們都能認識的科學家， CSDN這樣報道：

……接著，Google又把BEA的首席架構師Adam Bosworth攏入自己旗下。Bosworth在軟體行業作為技術主管受到廣泛的尊敬。在為新創企業Crossgain（2001年被BEA收購）工作之前，Bosworth曾在微軟任職數年，併成功地從事於一些專案的開發，如微軟的Access資料庫。
他的跳槽來得太突然了，兩個月以前，他還在供應商的“年度eWorld秀”中擔任重要角色，並他的主題演講中介紹Alchemy專案----一個建立下一代移動瀏覽器的計劃。
Google的招兵買馬計劃一直在有條不紊的進行著，曾在SUN微系統工作的David Stoutamire，現在在Google工作。就在上星期，Neal Gafter,SUN公司的javac主管，也離開SUN轉向Google。
不僅是Java方面，Greg Stein，曾是CollabNet專案經理,管理Subversion 專案並且釋出了他們的SourceCast產品，現在在Google的部落格軟體組工作；Rob Pike，曾是貝爾實驗室最初Unix團隊成員之一,參與過Plan 9 和Inferno作業系統的開發，如今也投奔Google。
Google一直渴求人才，對於開發者來說，Google也是一個充滿吸引力的地方。他只僱傭最棒的、最聰明的、近乎於天才的那些傢伙，在籠絡人才這方面，也只有微軟可與之媲美。最近Java人才不斷湧入Google究竟是巧合，或是Google準備嘗試基於Java做一些事情，我們拭目以待……

如果我沒記錯的話，Google前不久還從微軟挖走了一位足可以稱為WindowsNT之父的人，Google之野心路人皆知。看看下面這則招聘啟事也許你就會更瞭解這一點了：


• algorithms
• artificial intelligence
• compiler optimization
• computer architecture
• computer graphics • data compression
• data mining
• file system design
• genetic algorithms
• information retrieval • machine learning
• natural language processing
• operating systems
• profiling
• robotics
• text processing
• user interface design
• web information retrieval
• and more!
6。Google應該做什麼
這一節我們將拋棄所有商業的想法，認認真真的坐下來考慮一下技術問題，當然，這會使得我們對Google的要求過高，我們會把很多未能被實現的我們曾經的夢想都交給未來的Google，就像我們把Sun沒有做到的強加給IBM，把IBM沒有做到的強加給微軟，把微軟沒有做到的強加給Netscape，把Netscapge沒有做到的強加給Yahoo一樣。

首先，Google應該認真考慮考慮語義網的問題了，我個人仍然認為這是網際網路發展的正道。雖然RDF標準的發展雷聲大雨點小，可是現在RSS已經如火如荼，這還只是語義網技術的一小部分，（就像WAP沒什麼用，但簡訊卻發展起來一樣），XSL和XSLT也是語義網的一小部分，它們將作為語義網與其展現之間的介面。我為什麼要提語義網這個東西呢？舉個例子你就能明白，比如我的Blog每篇文章每一頁上都有選單，都有最新評論、閱讀排行榜和自定義列表，這些加速了訪問者的效率，是富有親和力的展現形式，但是對於Google來說這些都是垃圾，因為它們錯誤的表達了網頁的含義，如果我要搜一篇閱讀率極高的文章，可能搜出一堆沒用的東西，而這些東西又不可能從頁面上拿掉，所以Google必須自己去認。

反向快照可能是解決這個問題的臨時方案。它的主要思想是Google首先發現別人是如何“描述”該網頁的（通過連結的文字表達），再在該網頁中找到與這個 “描述”相關的內容，把這部分內容作為該網頁的高優先順序內容，再把該網頁與相同目錄下的其它檔案比較，將相同的部分列為低優先順序的內容。（這是我個人想出來的方法，不知道可否奏效，估計可能會遇到效能問題）

其次，Google將面臨語義搜尋的問題。這是MSN正在開發的技術，我相信Google也一定在做。這項技術的目的是讓使用者同計算機之間的互動變得更人性化，看起來好像是使用者像計算機提出了一個問題，計算機利用Google這顆大腦找到答案然後告知。哈哈，這個鏡頭是不是有點眼熟，它多次在好萊塢的電影中出現，比如<<AI>>中的Dr.Know（無所不知博士）和<<時間機器>>中的圖書館管理員，他們都是語義Google的願景和Use Case。其中最有趣的是Dr.Know，他首先讓使用者選擇類別，然後提問，問題按個數記費，答案往往只給出一個——當然是人工智慧覺得最符合問題的一個。這提示了我們帶類別的語義識別可能將成為語義識別技術邁出的第一步。再看看Google英文版目前提供的收費服務Google Answer～～～有點意思吧？

第三是模式學習。不客氣的講，Google一直在以自己的想法在搜尋。不是嗎？Google把Spider找到的所有頁面都認為是資源，所以對其涵蓋的內容一視同仁，對其表達的形式漠不關心，而正確的方式應該是將頁面和搜尋使用者都看成使用者，把頁面人性化，從頁面中吸取人類思維的模式，進行模式學習。這種技術給Google帶來的好處是巨大的，其實現技術也簡單于語義理解。打個比方，對於Sina被盛大收購，很多新聞網站都作為專題加以報道，而對於Google來說，要等很久才能把新浪和盛大這兩個單詞聯絡起來，這中間的時間包括其它由人來更新的網站的更新時滯，其它網站對這些網站的連線的更新時滯，這些更新被Spider發現的時滯，發現後PageRank更新到合理數值（中間可能經過多次迭代）的時滯等等。這使得Google明顯慢於人的反映速度，這也就直接的造成了上面所提到的<<功夫>>不能及時搜到的原因。靠人工智慧實現本地化，這是一條路。

第四是資訊源的深層發掘。這使得Google能觸及網際網路的死角，就像洗衣粉儘量觸及衣物的死角一樣，（“有汰漬，沒汙漬”），例子很簡單，如果我在網頁中加入一段Javascript，就可以很容易把網頁引到另一個地址，而這個地址很有可能是Google沒有涉及到的，瀏覽器卻可以訪問。

第五就是不得不提到的網格計算。因為Google的客戶來自世界各地，一個日本人拜訪Google和一個印第安人拜訪Google在99.99％的概率上是不會訪問相同內容的，因此將這兩個人所要訪問的內容放在一起實在是一種效能上的損失。最近聽說Yahoo已經將中文搜尋伺服器遷到國內，這正是為了效能考慮的啊。當然，分散式伺服器已經可以做到這一點了，那為什麼還要網格呢？解釋這個問題首先要從解釋BT的原理開始，BT之所以讓人們下載的那麼快就是因為BT讓Downloader成為其它Downloader的伺服器，這種P2P的方式充分利用了Downloader的機器的計算能力和上行頻寬。Google也可以做到這一點，例如我、我的鄰居、李彥巨集（百度總裁）和楊志遠（Yahoo創始人之一）四人同時搜尋了同一個關鍵字，假定伺服器在中國，李彥巨集首先獲得了響應頁面，我再訪問時，Google通知我找李商量一下，李毫不猶豫的給了我頁面，楊志遠的請求收到處理，因為它不便於訪問李彥巨集或者我的機器，所以Google又給他開了一個響應頁面，最後處理的是我的鄰居，他的請求被推給了我，因為我們處在相同的子網內所以交流更為方便。原本四次的檢索變成兩次，即使加上兩次簡單的響應，總時間也大大縮短，假若我們四個人拜訪Google的機會分別是10:10:2:1，結果就更不言自明瞭。如果Google在網格方面多追加一些研發資金，自然會比Yahoo做的好，這是由Google軟體的架構決定的。

-------------------------------------------------------------------------

-------------------------------------------------------------------------

在Google不能訪問的時候：網際網路新罪過

方東興

摘要：隨著中國網際網路不斷普及，認為Google在中國永遠不可能成為第一
------------------------------------------------------

　　搜尋引擎大戰是當今最白熱化的戰爭。但是，只要對使用者有好處，這種戰爭就值得喝采。Google在中國遭遇百度的打擊，很大程度上是中國網際網路使用者的力量，而不是簡單的搜尋技術和市場競爭的勝利。這種勝利值得我們本土網際網路公司驕傲，因為百度的勝利實在是讓所有本土網際網路公司，乃至整個中國網際網路掙了臉。

　　但是，市場力量的競爭是光采的，非市場力量的競爭是骯髒的。是純粹的市場力量造就了今日中國網際網路的創新活力和應用的繁榮。但是，隨著網際網路利益的大餅越來越誘人，越來越非市場的力量開始介入。隨著中國網際網路不斷普及，我認為Google在中國永遠不可能成為第一。但是，不是第一的Google依然有著其基本的空間。或者說，依然有著太多的使用者需求需要Google來滿足。給Google空間，其實就是給網民空間。

　　最近最鬱悶的事情就是經常訪問Google打不開頁面。我是喜歡檢視很多英文資料的人，因為真正深入的資訊和資料國外遠遠高於國內。要查詢英文內容，Google是當然之選。其次，要查詢真正深度和學術性的內容，Google也是百度所無法比擬的。但是，Google不能訪問，搜尋工作就受到極大的制約，我的工作就受到極大的損害。

　　務器的問題，還是電信執行商的問題，還是競爭對手做了什麼手腳。總之，最大的損失就是像我這樣的普通使用者。搜尋是網際網路最大的應用之一，Google不能訪問，就是網民最大的應用之一受到極大損害，間接損失無法估計。實在是為了芝麻，損害了大西瓜。這種低劣的事情，堪稱網際網路第一罪過。Google公司本身也不應該簡單把事情當作自己公司的事情。網民利益第一!

　　在我心目中，南北電信互通問題，以及網咖壟斷控制問題，是當今損害中國全體網民，乃至整個社會發展最愚蠢的事情之一，其造成的社會代價難以估計，也是中國數字鴻溝問題加劇的重要因素。如今，Google不能訪問的事情長時間出現，也是同樣性質的問題。不管是誰的問題，都應該受到全體網民的譴責。

　　Google不能訪問，害得人還得去尋找從來不去使用的英文的MSN和Yahoo。但是，怎麼用怎麼彆扭，實在是不爽。但是，搜尋總得做，工作總得做，生活總得過。期待事情的真相。