前些天偶然聽到了某首歌， 發現挺好聽的，然後開啟歌曲評論，發現評論數竟然高達80多萬，緊接著我又看了下歌曲的發行日期，17年的，看到這就不能忍了，像我這種音樂達人（自戀一會）怎麼能不知道這種好歌呢！！！

然後剛好最近考完試，於是決定寫個類似的爬蟲程式來爬取高評論數歌曲，好了，廢話不多說，下面開始介紹下程式吧。

針對的是手機酷狗app（為啥不是別的我就懶得說了，沒有啥原因），然後是Fiddler對手機抓包，抓包過程我就省略了。

抓包研究一會後，發現每首歌曲關鍵的地方是它對應的Hash值，通過這個Hash可以獲取到諸多資訊，比如評論，關聯歌單資訊等等。

然後主要就是模擬發包了，特別要注意包內的引數，具體參見程式碼註釋吧！

import org.json.JSONArray;
import org.json.JSONObject;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.URL;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

/**
 * 
 * @author As_
 * @since 2018/07/07
 * @email 
 
[email protected]
 * @github https://github.com/apknet
 *
 */

public class Main {
//    public static int n = 0;
    public static Map mapKey = new HashMap();
    public static void main(String[] args) {
     //以抓包獲取到的某首歌曲Hash值為著手點
     //c3e7e3306a10374b801cc39e0de6bdca
        try {
//外面for遍歷入口歌曲關聯的歌單，裡面for遍歷每個歌單內的歌曲列表。如果想更大範圍內爬取，可以多加幾次迴圈！
            for(String colId : musToCol("c3e7e3306a10374b801cc39e0de6bdca")){
                for(Map.Entry<String, String> map : colToHash(colId).entrySet()){
                    hashToComment(map);
                }
            }

        } catch (Exception e) {
            e.printStackTrace();
        }
    }

 

    //由歌曲Hash提取推薦歌單
static List<String> musToCol(String hash) {
        //僅更改歌曲Hash即可得到關聯歌單資訊
        //網址引數能減少的我都儘量減了，剩下差不多都是些必要引數
String str = String.format("http://servicegz.mobile.kugou.com/v1/yueku/special_album_recommend?api_ver=1&album_audio_id=29010106&num=30&hash=%s", hash);
//        String str = "http://servicegz.mobile.kugou.com/v1/yueku/special_album_recommend?api_ver=1&album_audio_id=29010106&num=10&hash=791A040895D0D7998F63E0D9DACBE5B6";
List<String> list = new ArrayList<>();
        try {
            URL url = new URL(str);
            InputStream in = url.openStream();
            BufferedReader reader = new BufferedReader(new InputStreamReader(in));
            StringBuilder stringBuilder = new StringBuilder();
            String line;
            while ((line = reader.readLine()) != null) {
                stringBuilder.append(line);
            }
            reader.close();
            in.close();
            String strJson = stringBuilder.toString();
//            System.out.println(strJson);
//下面操作是解析json獲得歌單的識別碼specialid
JSONObject jsonObject = new JSONObject(strJson).getJSONObject("data").getJSONObject("info");

//            System.out.println(jsonObject);
JSONArray jsonArray = jsonObject.getJSONArray("special");
            for (int i = 0; i < jsonArray.length(); i++) {
                jsonObject = (JSONObject) jsonArray.get(i);
                //   System.out.println(jsonObject.getString("specialid") + '\n');
list.add(jsonObject.getString("specialid"));
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
        return list;
    }

    //提取歌單中歌曲對應歌曲Hash值
static Map<String, String> colToHash(String colId) {
        String str = String.format("http://mobilecdngz.kugou.com/api/v3/special/song?version=8983&plat=0&pagesize=-1&area_code=1&page=1&specialid=%s&with_res_tag=1", colId);
        //        List<String> list = new ArrayList<>();
Map<String, String> map = new HashMap<>();
        try {
            URL url = new URL(str);
            InputStream in = url.openStream();
            BufferedReader reader = new BufferedReader(new InputStreamReader(in));
            StringBuilder stringBuilder = new StringBuilder();
            String line;
            while ((line = reader.readLine()) != null) {
                stringBuilder.append(line);
            }
            reader.close();
            in.close();            //去除頭尾多餘的資訊，以免影響json的格式
String strJson = stringBuilder.toString().replace("<!--KG_TAG_RES_START-->", "").replace("<!--KG_TAG_RES_END-->", "");
            //            System.out.println(strJson);
JSONObject jsonObject = new JSONObject(strJson).getJSONObject("data");//            System.out.println(jsonObject);
JSONArray jsonArray = jsonObject.getJSONArray("info");
            for (int i = 0; i < jsonArray.length(); i++) {
                jsonObject = (JSONObject) jsonArray.get(i);
                map.put(jsonObject.getString("hash"), jsonObject.getString("remark"));
                //                System.out.println(jsonObject.getString("hash") + '\n');
                //                list.add(jsonObject.getString("hash"));
}
        } catch (Exception e) {
            e.printStackTrace();
        }
        return map;
    }

    // 由Hash值得到評論
static void hashToComment(Map.Entry<String, String> map) {
//引數列表中的code好像是個定值， 每首歌曲都是對應的這個值。後面的extdata也就是歌曲hash值了
String str = String.format("http://m.comment.service.kugou.com/index.php?r=commentsv2/getCommentWithLike&code=fc4be23b4e972707f36b8a828a93ba8a&clientver=8983&extdata=%s&p=1&pagesize=20", map.getKey());
        try {
            URL url = new URL(str);
            InputStream in = url.openStream();
            BufferedReader reader = new BufferedReader(new InputStreamReader(in));
            StringBuilder stringBuilder = new StringBuilder();
            String line;
            while ((line = reader.readLine()) != null) {
                stringBuilder.append(line);
            }
            reader.close();
            in.close();
            //            System.out.println(stringBuilder.toString());
JSONObject jsonObject = new JSONObject(stringBuilder.toString());
            // 獲取歌曲中的評論
/*  System.out.println(jsonObject.get("list"));
                                JSONArray jsonArray = jsonObject.getJSONArray("list");
                                for(int i = 0; i < jsonArray.length(); i++){
                                    jsonObject = (JSONObject) jsonArray.get(i);
                                    System.out.println(n + ". " + jsonObject.getString("content") + '\n');
                                    n++;
                     }*/
//獲得歌曲評論數
int comCount = jsonObject.getInt("combine_count");
            //          System.out.println(comCount);
            //評論數15萬以上的就打印出來
if (comCount > 150000) {
                System.out.println(comCount + ": " + map.getValue());
                mapKey.put(map.getKey(), map.getValue());
            }
        } catch (Exception e) {
            System.out.println("- - - - - -> 抱歉，該歌曲未提供評論功能！");
            e.printStackTrace();
        }
    }

最後就是實驗截圖了