1. 程式人生 > >Google和百度都無法替代的10大深網搜索引擎

Google和百度都無法替代的10大深網搜索引擎

搜索引擎搜索 sha 設計 高度 焦點 你會 con beta arch

Google和百度都無法替代的10大深網搜索引擎

文章來自FREEBUF 3天前 1.2k瀏覽 數據庫遊戲開發

想免費獲取內部獨家PPT資料庫?觀看行業大牛直播?點擊加入騰訊GAD遊戲開發行業精英群156225479

當我們想要搜索某些內容時,我們第一個想到的就是打開Google、百度或必應這類的搜索引擎。但針對有些內容,卻是這些常規搜索引擎無法獲取到的,那就是隱藏在深網的內容。據不完全統計,深網的信息量為表層網絡的500倍。那麽,深網主要都包含了些什麽內容呢?其實,深網主要包括的都是些,例如需要某些條件如註冊、付費,才能訪問的內容,如數據庫和某些服務等。而常規搜索引擎通常只會對靜態網頁進行抓取,而對於這些存儲在數據庫中的內容,對其而言幾乎是不可見的。其次,當我們使用Google時,Google還可能對我們的活動軌跡進行跟蹤。這對於要求匿名的用戶而言,也是不可接受的。

為什麽Google搜索不到深網的內容?

這是因為所有的Deb網站(.onion)都是沒有索引的,而正常的搜索引擎通常都是通過目標網頁索引來獲取內容的。因此對於沒有索引的搜索結果則不會被Google所收錄。此外,在搜索過程中還會和服務器建立連接,這樣對我們的隱私和安全也帶來了一定的隱患。

“據研究人員介紹,只有4%的互聯網對公眾可見,剩下的96%的網站和數據則隱藏在Deep web。”

此外,深網中還包含了許多非法內容,例如毒品,武器交易,高度成熟的黑客工具,色情,軍事機密等。

robots文件

robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。robots.txt文件會告訴蜘蛛程序,在服務器上什麽文件是可以被查看/禁止查看的。如果某些頁面被設為不可查看,那麽搜索引擎也是無法正常獲取到的。

說了這麽多,那麽有沒有既可以保證高度匿名性,又可以獲取到深網內容的搜索引擎呢?下面,我將為大家推薦十款比Google,必應更加“強大”搜索引擎:

1. pipl

技術分享

Pipl是一款為搜索網絡上的人物信息而生的搜索引擎。不同於傳統意義上的搜索引擎,Pipl是專為檢索“深網”上的信息而設計的。Pipl的爬蟲能夠與可搜索的數據庫打交道,從中提取個人信息、聯系方式、成員名錄、科學出版物、法院記錄以及其它很多“深網”內容。

Pipl目前提供五種方式搜索方式搜索特定人物:名字、Email地址、用戶名、電話號碼以及還處於BETA版的商業搜索。

Pipl所關註的不僅僅是找到更多的結果,它還通過高級語言分析和排名算法將與你搜索關鍵詞最相關最匹配的結果以簡單的單頁形式展示給你。

2. My Life

技術分享

MyLife是一個全面的成年人資料數據庫,可以根據姓名、年齡、郵編等信息來查詢你想要找的人。

MyLife的服務可以通過整合Twitter、Facebook、LinkedIn、Friendster和Flickr等社交網站的數據,幫助用戶在互聯網上找人。MyLife用戶是免費註冊,但如果要使用單身搜索、查看誰在搜索自己等高級功能,用戶就需要付費。

MYLIFE網站還推出了一個全新的個人關系管理系統(PRM),是一個基於瀏覽器的服務,讓用戶在同一個內容流裏就能看到Facebook、Twitter和LinkedIn的訂閱源並進行答復、“贊”、轉推等操作。

3. Yippy

技術分享

Yippy是一個將多個搜索引擎信息結合在一起,然後得出統計結果的集成化搜索引擎。如果你想檢索暗網的信息,Yippy便是一個不錯的工具。暗網因其存儲在專用網絡而被屏蔽難以發現,而Yippy提供的搜索結果將幫助你發現不被傳統搜索引擎檢索到的隱藏網站。

4. Surfwax

技術分享

SurfWax是一個元搜索引擎,能限定最多返回結果條數和排序方法,檢索速度一般。該搜索引擎有一個顯著特點,即點擊每條結果左邊的“網址按鈕”圖標,可瀏覽該結果包括的任何頁面,並顯示搜索語句在文件中的位置。可以把搜索結果和文件存儲起來以備後用。此外,焦點字(FocusWords)功能提供搜索詞在各種不同含義下的同義詞/近義詞、上位詞、下位詞的列表,輔助選擇詞語檢索。

5. Way Back Machine

技術分享

通過Wayback Machine可以搜索某一特定網站過去(從1996年到現在)的樣子。實現對Web過去的存檔要求一百太字節的存儲空間,並包含一百億個網頁!網頁存檔起初是由Alexa項目的負責人收集的。你可以在你的電腦上安裝一個提供網站信息和排名的工具欄。

Wayback Machine網站上,你可以搜索和鏈接你喜歡的網站,看它們過去的樣子,你會發現它們像時間“快照”一樣保存著。例如,你可以看到whatis.com網站在1996年的樣子,也可以看見它在1997年及以後的樣子。

6. Google Scholar

技術分享

GoogleScholar學術搜索專門在期刊論文、理論摘要及其他學術著作文獻中進行搜索,內容從醫學、物理學到經濟學、計算機科學等等,橫跨多個學術領域以及大量書籍和整個網絡中的學術性的文章。它雖然不支持中文,但可以用拼音搜索國內學者在國際刊物上發表的文章。這個搜索引擎搜索國外的資料非常方便,輸入一個學者的名字,就可以搜索出其全部在網上的文章,並且可以知道在哪個數據庫,以及該篇文章被多少篇其它文章所引用,以及所引用文章的目錄等等。同時該學者所著的書也都有顯示,並告知該書被哪些圖書館所收藏,或其它可能獲得的商業途徑。

GoogleScholar的搜索結果可以過濾掉普通搜索結果中的大量垃圾信息,排列出文章的不同版本以及被其他文章所引用的次數,還可以通過引用鏈接方便的找到與搜索結果關聯的其它相關學術資料,對於學生、學者以及其他需要經常查閱學術文章的人來說是非常實用的。

7. DuckDuckgo

技術分享

害怕信息被泄露,想要匿名訪問互聯網?DuckDuckGo將是你的首選!DuckDuckGo不會保存你的任何瀏覽信息、社交文件、郵件等,這也是跟Google最大的區別。DuckDuckGo的用戶非常喜歡像「zero-click」這樣的功能,快速無線下拉設計真的是懶人福利。更棒的是,DuckDuckGo並沒有像Google那麽多廣告,以及經常彈出廣告等問題。DuckDuckGo甚至還配備了自己的Tor出口中繼,幫助Tor用戶提高搜索性能。

8. Fazzle

技術分享

Fazzle是一個支持英文發文和荷蘭文的元搜索引擎。它即可進行一般的網址搜索,又有一個主題目錄可提供專題的資源搜索。其前身為SearchOnline著名元搜索引擎。

9. not Evil

技術分享

不像其他的Tor搜索引擎,not Evil是一個不以營利為目的的搜索引擎。它是專門設計用於搜索暗網內容的搜索引擎,堪稱暗網中的谷歌。此外,它的安全性體驗度也做的非常的到位。既沒有多余的廣告推送,也不會對用戶的搜索行為進行跟蹤。再加上其不斷更新的搜索算法,用戶很容易就能通過它找到想要的內容或信息。值得一提的是,在此之前該項目被人們廣泛的稱為TorSearch。

10. Start Page

技術分享

StartPage是由Ixquick推出的一個托管在美國和荷蘭的搜索引擎服務,通過免費匿名代理提供谷歌搜索和圖片搜索結果,號稱是世界上最安全的保密型搜索引擎。該搜索引擎非常註重把對用戶隱私的保護,它不會收集和分享任何用戶的資料。

Startpage,Ixquick的隱私與谷歌的搜索結果緊密相連。你可以放心使用這些來自世界上最受歡迎的搜索引擎搜索的結果,並受到Ixquick的隱私保護,這是世界上最大的私有搜索引擎。並且還受到了第三方權威機構——歐洲的聯盟隱私倡議機構EuroPriSe的認證。 2008年7月14日,Ixquick被授予第一個歐洲隱私認證。

Google和百度都無法替代的10大深網搜索引擎