# 1. 場景 經常有小夥伴在交流群問我，每天的早報新聞是怎麼獲取的？ 其實，早期使用的方案，是利用爬蟲獲取到一些新聞網站的標題，然後做了一些簡單的資料清洗，最後利用 itchat 傳送到指定的社群中。 由於爬蟲面對 網站改版的不穩定性及 itchat 不安全性，所以放棄了這種方案 後期更改了一種方案，通過修改爬蟲方案，建立 API 服務，編寫 App 去獲取資料，然後手動傳送到微信群 本篇文章將和大家詳細聊聊具體的實現過程 # 2. 資料爬取 第 1 步，通過 Python 爬蟲獲取資料 獲取方式有 2 種，分別是：已有的新聞早報網站、新聞網站的頭條新聞 選擇一種爬蟲方式，就能很快地爬取到目標網站的資料 第 2 步，資料清洗，排序 將爬取到的資料先進行一次關鍵字篩選，然後按照點贊或者閱讀數按照熱點進行排序 第 3 步，引數化，去重 去掉資料中重複的新聞，然後將最後展示的數目引數化 ``` # 按照點贊數目，降序排列 news_sorted_pro = sorted(news, key=itemgetter('news_approve_num'), reverse=True) result = [] for news_sorted_item in news_sorted_pro:       result.append(news_sorted_item.get('title')) # 去重 result = sorted(set(result), key=result.index) # 只取前12條資料 result = result[:self.news_num] if len(result) >= self.news_num else result ``` 需要注意的是，由於新聞網站會經常改版，建議爬取多個新聞網站，做好異常處理，做一個優先順序，如果一個網站爬取資料失敗，切換到下一個級別的網站爬取資料 # 3. 服務化 將資料服務化，即編寫 API，目的是為了方便終端呼叫 如果使用 Python 編寫 API，建議使用 FastAPI 或 Flask 框架，因為這兩個框架開發 API 方便快捷，以 FastAPI 為例： 第 1 步，安裝依賴 包含 FastAPI 框架及 hypercorn 依賴，hypercorn 是獨立的 ASGI 伺服器，方便 FastAPI 專案的部署 ``` # FastAPI框架 pip3 install fastapi pip3 install hypercorn ``` 第 2 步，編寫 API 使用 FastAPI 很方便，不到 10 行程式碼就能編寫一個介面服務 只需要例項化 FastAPI 物件，利用裝飾器指定請求方法和路徑即可，呼叫上面的爬蟲方法即可。 ``` from fastapi import FastAPI # 例項化 app = FastAPI() # API，Get方式 @app.get("/last_news") def get_last_news():     """     最新的新聞     :return:     """     news = get_news()     data = {         'code': 0,         'news': news     }     # 封裝     return data ``` 如要想本地除錯 API，可以通過 uvicorn 命令執行專案 ``` # 執行專案 uvicorn news:app --reload ``` 然後訪問下面的地址，檢視返回的新聞資料 http://127.0.0.1:8000/last_news  第 3 步，生成依賴遷移檔案 使用 pip freeze 命令將在本地生成依賴遷移檔案 ``` # 生成遷移檔案 pip freeze > requirements.txt ``` 第 4 步，上傳程式碼 將程式碼上傳到程式碼託管平臺，比如：碼雲、GitLab 等 第 5 步，伺服器拉取程式碼 伺服器中通過 git 拉取程式碼，並通過依賴檔案一鍵安裝所有依賴 ``` # 安裝依賴 pip3 install -r requirements.txt ``` 第 6 步，執行服務 使用 hypercorn 執行 FastAPI 專案，使程序一直在後臺執行，並儲存執行日誌資訊 ``` # 後臺執行 # 儲存日誌，繫結埠號為：8000 # nohup hypercorn news:app --bind 0.0.0.0:8000 > /news.log 2>&1 & ``` 需要注意的是，專案繫結的埠號需要在防火牆和雲伺服器安全組開啟 當然，如果使用 Java 編寫 API，推薦使用 Spring Boot，可以快速開發一個 Restful API 服務 # 4. 編寫 App 完成 API 服務之後，接下來就是在終端編寫一款 App 去訪問 API，拿到資料並展示出來 以編寫一款 Android 應用為例 首先，我們在介面上放置一個文字顯示框和一個按鈕控制元件 然後，對按鈕控制元件設定點選事件的監聽 ``` get_news_btn = findViewById(R.id.get_news_btn); //監聽事件 get_news_btn.setOnClickListener(this); @Override public void onClick(View v) {     switch (v.getId())     {         case R.id.get_news_btn:             news_et.setText("獲取中。。。");             getNewsMet();             break;         }     } ``` 接著，使用 Android 的網路請求框架 OkHttp 框架呼叫 API 獲取資料 ``` /*** * 獲取新聞 */ private void getNewsMet() {      OkHttpClient okHttpClient = new OkHttpClient();      //構建請求資訊：連線請求url 請求方法method 請求頭部headers 請求體body 標籤tag      Request request = new Request.Builder().url(url).get().build(); //        Call call = okHttpClient.newCall(request);      okHttpClient.newCall(request).enqueue(new Callback()      {           @Override           public void onFailure(Call call, IOException e)           {               Log.d("xag", "獲取失敗");               showResult(false, "");           }           @Override           public void onResponse(Call call, final Response response) throws IOException           {               Log.d("xag", "獲取成功")               parseJsonWithJsonObject(response);           }       }); } ``` 最後，將新聞資料顯示在文字控制元件中，並複製到系統剪下板 ``` private void copyToClip(String content) {      //獲取剪貼簿管理器：      ClipboardManager cm = (ClipboardManager) getSystemService(CLIPBOARD_SERVICE);      // 建立普通字元型ClipData      ClipData mClipData = ClipData.newPlainText("Label", content);      // 將ClipData內容放到系統剪貼簿裡。      if (null != cm)      {          cm.setPrimaryClip(mClipData);      } } ``` 如果只有 iOS 裝置，使用 Xcode 編寫 iOS 應用，建議將 Xcode 升級到 11.0 以上 建立專案的時候，推薦使用 SwiftUI 構建 UI 介面，然後利用 CocoaPods 新增 Alamofire 網路請求依賴庫，其他操作步驟和 Android 端類似，這裡不展開說明 ``` # Uncomment the next line to define a global platform for your project source 'https://github.com/CocoaPods/Specs.git' platform :ios, '9.0' use_frameworks! target 'news_eve' do   # Comment the next line if you don't want to use dynamic frameworks   pod 'Alamofire'   pod 'SwiftyJSON'   pod 'HandyJSON'   # Pods for news_eve end ``` # 最後 上面步驟只需要點選 App 中的按鈕，早報新聞就複製到系統剪下板了，接著可以轉發到多個微信群了 當然，最後一步也可以利用 SoloPi 或者無障礙，將內容利用自動化操作，一鍵轉發出去 我已經將文中部分原始碼上傳到 **公眾號** 後臺，關注公眾號 **AirPython** 後回覆「 **早報** 」即可獲得全部原始碼 如果你覺得文章還不錯，請大家點贊分享下。你的肯定是我最大的鼓勵和支援。 ![](https://img2020.cnblogs.com/blog/1956326/202005/1956326-20200530130119743-10971359