2. 程式人生 > >python用協程池非同步爬取音樂的json資料

python用協程池非同步爬取音樂的json資料

阿新 • • 發佈：2018-11-20 
# -*- coding: utf-8 -*-

# @Author  : Acm

import gevent.monkey
gevent.monkey.patch_all()
from gevent.pool import Pool
from Queue import Queue
import json
import jsonpath
import requests
import time
import random


class HaoLingSheng(object):

    user_agent_list = [
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"
 
,
        "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
        "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6"
 
,
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
        "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5"
 
,
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
        "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10",
        "Mozilla/5.0 (Windows; U; Windows NT 5.2; en-US) AppleWebKit/533.17.8 (KHTML, like Gecko) Version/5.0.1 Safari/533.17.8",
        "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/533.19.4 (KHTML, like Gecko) Version/5.0.2 Safari/533.18.5",
        "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-GB; rv:1.9.1.17) Gecko/20110123 (like Firefox/3.x) SeaMonkey/2.0.12",
        "Mozilla/5.0 (Windows NT 5.2; rv:10.0.1) Gecko/20100101 Firefox/10.0.1 SeaMonkey/2.7.1",
        "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_5_8; en-US) AppleWebKit/532.8 (KHTML, like Gecko) Chrome/4.0.302.2 Safari/532.8",
        "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_4; en-US) AppleWebKit/534.3 (KHTML, like Gecko) Chrome/6.0.464.0 Safari/534.3",
        "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_5; en-US) AppleWebKit/534.13 (KHTML, like Gecko) Chrome/9.0.597.15 Safari/534.13",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_2) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.186 Safari/535.1",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_6_8) AppleWebKit/535.2 (KHTML, like Gecko) Chrome/15.0.874.54 Safari/535.2",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_6_8) AppleWebKit/535.7 (KHTML, like Gecko) Chrome/16.0.912.36 Safari/535.7",
        "Mozilla/5.0 (Macintosh; U; Mac OS X Mach-O; en-US; rv:2.0a) Gecko/20040614 Firefox/3.0.0 ",
        "Mozilla/5.0 (Macintosh; U; PPC Mac OS X 10.5; en-US; rv:1.9.0.3) Gecko/2008092414 Firefox/3.0.3",
        "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.5; en-US; rv:1.9.1) Gecko/20090624 Firefox/3.5",
        "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.6; en-US; rv:1.9.2.14) Gecko/20110218 AlexaToolbar/alxf-2.0 Firefox/3.6.14",
        "Mozilla/5.0 (Macintosh; U; PPC Mac OS X 10.5; en-US; rv:1.9.2.15) Gecko/20110303 Firefox/3.6.15",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"
    ]

    # 高匿ip代理
    # proxies = "http://61.135.217.7:80"

    def __init__(self):
        self.base_url = "http://m.haolingsheng.com/jsonp/sp.asp?"
        self.mp3_url = "http://m.haolingsheng.com/lingsheng/{}.htm"
        self.headers = {"User-Agent": HaoLingSheng.user_agent_list[random.randint(0, len(HaoLingSheng.user_agent_list))]}
        # 建立一個空列表放置資訊
        self.my_list = []
        # 存解析出來的字典型別資料
        self.my_dict_list = []

        self.queue = Queue()
        self.pool = Pool(5)
        self.is_running = True
        self.total_requests_num = 0
        self.total_response_num = 0

    def get_url_params(self):
        # 遍歷訪問頁，引數形式
        for i in range(1, 400):
            params = {
                "callback": "callback",
                # "type": "zuixin",
                # "type":"tuijian",
                "type":"paihang",
                "page": i,
            }
            # 將引數存入佇列中，等待調取
            self.queue.put(params)
            self.total_requests_num += 1

    def parse_url(self, params):
        # 解析出資料並轉為字典格式
        response = requests.get(url=self.base_url, headers=self.headers, params=params) # proxies=HaoLingSheng.proxies
        ret_str = response.content.decode('unicode_escape')
        ret_str = ret_str.lstrip("callback(").rstrip(")")
        goal_dict = eval(ret_str)
        return goal_dict

    def save_content_list(self, goal_dict):
        # 拿到每一頁的資料(20個)
        result = jsonpath.jsonpath(goal_dict, '$.result')[0]
        # 拿出每一個數據加入到自己建立的列表中
        for j in range(len(result)):
            # 將連結加入資料中
            result[j]["url"] = self.mp3_url.format(result[j]["shorturl"])
            # 刪除無用連結
            del result[j]["shorturl"]
            self.my_list.append(result[j])

    def save_file(self):
        # 將有資料的列表，寫入檔案，json格式
        with open("5_paihang.json", "w") as f:
            json.dump(self.my_list, f, ensure_ascii=False, indent=2)

    def execute_requests_item_save(self):
        # 在Queue佇列中拿參
        params = self.queue.get()
        # 解析資料
        goal_dict = self.parse_url(params)
        # 儲存資料
        self.save_content_list(goal_dict)
        self.total_response_num += 1
        print self.total_response_num

    def _callback(self, temp):
        if self.is_running:
            self.pool.apply_async(self.execute_requests_item_save, callback=self._callback)

    def run(self):
        self.get_url_params()

        for i in range(5):
            self.pool.apply_async(self.execute_requests_item_save, callback=self._callback)

        while True:
            time.sleep(0.0001)
            if self.total_response_num >= self.total_requests_num:
                self.is_running = False
                self.save_file()
                break


if __name__ == '__main__':
    start = time.time()
    haoling = HaoLingSheng()
    haoling.run()
    end = time.time()

    print end-start

相關推薦

python用協程池非同步爬取音樂的json資料

# -*- coding: utf-8 -*- # @Author : Acm import gevent.monkey gevent.monkey.patch_all() from gevent.pool import Pool from Queue import Queue imp

Python 非同步爬取微博資料練習

PHP交流群:294088839, Python交流群:652376983 # js 資料爬取 from urllib.parse import urlencode import requests base_url ='https://m.weibo.cn/api/container/getI

Python用面向物件的方式爬取小說

這裡以爬取小說《夢裡花落知多少為例》 昨天幫同學爬的一部小說，現在把程式碼放在部落格上希望也能幫到其他人 # -*- coding:utf-8 -*- # @time: 2018/11/25 22:28 # @Author: cen import requests, re fr

python爬蟲建立代理池，爬取5000個代理IP並進行驗證！

前面已經介紹了urllib+正則表示式和BeautifulSoup進行爬取資料的方法，今天再解決一個實際問題——構建自己的代理池。     通過爬蟲在網上進行資料的獲取，由於效率很快，換言之，訪問的速度過快，導致一段時間內的流量過大，會使得對方的伺服器壓力過

Python突破高德API限制爬取交通態勢資料+GIS視覺化（超詳細）

一、需求：        爬取高德的交通態勢API，將資料視覺化為含有交通態勢資訊的向量路網資料。 二、使用的工具：        Python IDLE、記事本編輯器、ArcGIS 10.2、申請的高德開發者KEY（免費）。 三、主要思路：        本文的思

python—多協程爬取糗事百科熱圖

wow64 monk 根據 list 網址 real span 本地 uil 今天在使用正則表達式時未能解決實際問題，於是使用bs4庫完成匹配，通過反復測試，最終解決了實際的問題，加深了對bs4.BeautifulSoup模塊的理解。 爬取流程 前奏： 分析糗事百科熱圖板塊

Python 37 進程池與線程池 、 協程

程序 圖片 image 完整 strong 自動 兩種 src pan 一：進程池與線程池 提交任務的兩種方式： 1、同步調用：提交完一個任務之後，就在原地等待，等任務完完整整地運行完畢拿到結果後，再執行下一行代碼，會導致任務是串行執行 2、異步調用：提交完一個任務之後

python 多程序/多執行緒/協程 同步非同步

這篇主要是對概念的理解： 1、非同步和多執行緒區別：二者不是一個同等關係,非同步是最終目的,多執行緒只是我們實現非同步的一種手段。非同步是當一個呼叫請求傳送給被呼叫者,而呼叫者不用等待其結果的返回而可以做其它的事情。實現非同步可以採用多執行緒技術或則交給另外的程序來處理。多執行緒的好處，比較容易的實現了 非

朋友爬蟲例項（採用協程池的方式）運用了Python的class

import gevent from gevent import monkey monkey.patch_all() import xlwt,xlrd,xlutils from xlutils.copy import copy import os,time     im

python-day35(協程,IO多路複用)

一. 協程 　　協程: 是單執行緒下的併發,又稱微執行緒,纖程,英文名Coroutine.  　　併發: 切換+儲存狀態 　　　　協程是一種使用者態的輕量級執行緒,即協程是由使用者程式自己控制排程的 　　協程特點: 　　　　1. 必須在只有一個單執行緒裡實現併發 　　　　2. 修改共享資

用Python爬取微博資料生成詞雲圖片

很早之前寫過一篇怎麼利用微博資料製作詞雲圖片出來，之前的寫得不完整，而且只能使用自己的資料，現在重新整理了一下，任何的微博資料都可以製作出來，放在今天應該比較應景。 一年一度的虐汪節，是繼續蹲在角落默默吃狗糧還是主動出擊告別單身汪加入散狗糧的行列就看你啦，七夕送什麼才有心意，程式猿可以試試用

喜歡抖音上面的音樂怎麼辦？用Python爬取音樂並分類放置資料夾

最近小編也在刷著抖音，上面的小哥哥、小姐姐各個都是人才，小編超喜歡裡面的 歌也挺好聽的，小編就打算把抖音上面歌曲都下載並且分類，把自己的喜歡的歌換成手機鈴聲，那麼抖音上面都有那些好聽的歌呢，比如： 《最美的期待》 周筆暢 《那個人》 周延英 《Panama》 Matteo 《病變

python——asyncio模組實現協程、非同步程式設計（三）

【八】協程停止 future物件有幾個狀態： Pending Running Done Cancelled 建立future的時候，task為pending，事件迴圈呼叫執行的時候當然就是running，呼叫完畢自然就是done，如果需要停止事件迴圈，就需要先把task取消

Python爬蟲-程序池方式爬取頭條視訊

首先進入今日頭條視訊首頁。 分析網頁 其中href屬性下的連線就是我們需要下載的視訊。 在下載全部視訊之前應該分析一下單視訊下載的方法。 下載一個視訊 首先檢視單個視訊的網頁頁面 我們需要獲取var mp4下的視訊。但是這個語句應該是

通過python的urllib.request庫來爬取一只貓

com cat alt cnblogs write amazon 技術分享 color lac 我們實驗的網站很簡單，就是一個關於貓的圖片的網站：http://placekitten.com 代碼如下： import urllib.request respond =

python設置代理IP來爬取拉勾網上的職位信息，

chrome https htm input post 進行 work port ota import requests import json import time position = input(‘輸入你要查詢的職位：‘) url = ‘https://www

python-學習 協程函數 模塊與包

擴展性 nco 顯式 printer 中新 二分法 執行 而已 strip 一、協程函數 　yield的用法： 1:把函數的執行結果封裝好__iter__和__next__，即得到一個叠代器2：與return功能類似，都可以返回值，但不同的是，return只能返回一次

Python 3 進程池與回調函數

pen timeout msg sea input 主機 stack closed get() Python 3 進程池與回調函數 一、進程池 在利用Python進行系統管理的時候，特別是同時操作多個文件目錄，或者遠程控制多臺主機，並行操作可以節約大量的時間。多進程是實現並

python-day37--協程

view reading 不能 應用程序級別 upper switch receive cer 控制 一、 協程介紹 單線程下實現並發，提升運行效率， 　　1.自己控制切換，保存狀態 　　2.遇到I/O切 （單純的CPU切沒意義，只有在遇到I/O的時候切才有

Python中協程的實現

實現 生成 div ext 保留 不同的 不變 理解 我們 通過關鍵字yield，可以從生成器中產生值，並返回。我們可以將生成器作為一個生產者來使用。 在協程中，通過使用關鍵字yield，還可以讓具有yield的程序接收值。此時函數作為消費者，消費我們傳入（send）的值。