1. 程式人生 > >bt磁力種子搜尋引擎建站經歷分享

bt磁力種子搜尋引擎建站經歷分享

博主大過年的鼓搗上了 磁力種子搜尋技術。白天喝點,晚上搞搞站點,買了一千多的伺服器。最近稍微瞭解了下 磁力連結的原理,搞了個bt搜尋站,在這裡貼上站點地址BtGoogle.net  com 域名被人家註冊了,發現net域名毫不猶豫搶注了,感覺btgoogle的域名能沾點google的光,哈哈。恰巧工作中 也是做搜尋相關的工作。因為對bt站這種本身技術和時間投入價效比不是很高, 所以沒有太深入去搞, 不過確實感覺這個技術想做大還是沒有天花板的, 博主搞的原始碼實現是 nginx + mysql+ python + sphinx + coreseek。伺服器配置 G口頻寬(實際也就5M,坑死) + 64G SSD + 4T 硬碟 + 8GRAM。每天爬取最新種子10w——20w條之間。配置在有錢人看來 算是很低了。現在也就採集一千四百多萬條種子。諮詢過一些 bt 搜尋領域的前輩, 這種站,見過流量過4M的 站長,普遍反應很是涉及版權問題。流量大起來,各種版權投訴,不解決,雲服務商就會k站。當然咱還沒走到那一步。其實博主的站從架構上很有擴充套件性,myql 因為資料量上千萬太大,分庫分表是趨勢,可以嘗試最新的TiDB技術來解決分庫分表的痛點。sphinx雖然索引速度快,但是實時性和高可用性不如elasticsearch,web端的迭代等等等等有很多可以優化的地方。不過沒有時間去搞這些東西。從內容維度來考慮,急需開發垃圾資訊召回過濾功能,機器學習那一套東西又派上用場了;還可以用推薦演算法去搞一搞基於使用者的推薦技術;基於使用者反饋的版權資訊識別技術。




今年一直到 6月底,沒有其他事兒,打算去運營一些站,圓了一直以來的站長夢想, 畢竟工作以後 沒有時間去搞運營了。前段時間註冊了個 itzyshare.com 的域名,打算做一個IT資源分享站。discuz剛升級到3.4,來配合qq互聯的第三方登陸。改段時間會試著上線運營。博主最近心累啊,脖子頸椎不好,天天陪客,酒廠裡各種禮數太費腦子,倒是因為年齡增長,感覺自己有所擔當了,也瞭解了很多鄉里鄉親各種家長裡短,以及情理方面的事情。

談一談最近的規劃:

  1. 駕照還有兩科快到期了
  2. 《時間簡史》讀完它
  3. 數學
  4. 金融