importlib 模組的作用

模組，是一個一個單獨的py檔案 包，裡面包含多個模組（py檔案）

動態匯入模組，這樣就不用寫那麼多的import程式碼， 典型的例子： 自動同步服務，每個網站都有一個py檔案。主程序裡收到同步任務，根據名稱來動態匯入對應的py檔案，這樣就不用寫那麼多的import程式碼。（有點類似java的工廠方法）

但是，importlib並不能解決我線上修改py原始碼，再不重啟程序的情況下，使修改生效。 這種情況，可以使用reload()

reload方法

為防止兩個模組互相匯入的問題，Python預設所有的模組都只匯入一次，如果需要重新匯入模組， Python2.7可以直接用reload()，Python3可以用下面幾種方法：

方法一：基本方法 from imp import reload reload(module)

方法二：按照套路，可以這樣 import imp imp.reload(module)

方法三：看看imp.py，有發現，所以還可以這樣 import importlib importlib.reload(module)

方法四：根據天理，當然也可以這樣 from importlib import reload reload(module)

在多程序的 程式中，一個程序的reload是無法影響另一個程序的

例子：

# 在主程序中啟動多程序
def begin():
    """ 啟動多程序 """
    plist = []
    for
 
 i in xrange(Num_process):
        p = Process(target=pre_run)
        p.start()
        plist.append(p)
    # 此程序監聽redis訊息，收到訊息，即執行reload方法
    p = Process(target=reload_spider)
    p.start()
    plist.append(p)
    for p in plist:
        p.join()

# 監聽redis，執行reload方法
def reload_spider():
    """ 監聽檔案變化，自動
 
reload """
    rconn = redis.Redis(host=settings.REDIS_HOST, port=settings.REDIS_PORT, db=settings.REDIS_DB, password=settings.REDIS_PW)
    while True:
        try:
            key = 'reload-spider'
            value = rconn.get(key)
            print value
            if value == '1':
                crawler_module = importlib.import_module('crawlers.%s' % 'temp'.lower())
                reload(crawler_module)
                crawlerClass = getattr(crawler_module, 'temp'.upper())
                print 'reload_spider 中的class： %s' % (crawlerClass.name)
            # rconn.delete(key)
        except Exception, e:
            pass
        time.sleep(3)

另一個程序列印py檔案裡面一個變數

crawler = get_crawler_from_factory(mq_service, message)
    print crawler.name

結果發現，一個程序中進行了reload，並不能改變另外一個程序中的變數。那麼在同一個程序中呢...

同一程序中，多執行緒，任一執行緒進行了reload操作，其他執行緒均受影響

def pre_run():
    t = threading.Thread(target=reload_spider, name='LoopThread')
    t.start()
    # t.join()

    """ 在每個程序裡面再使用多執行緒 """
    pool = ThreadPool(Num_Thread)
    # 初始化mq通道
    mq_service = RabbitMqService()

    def callback(ch, method, properties, body):
        # 訊息確認
        mq_service.input_channel.basic_ack(delivery_tag=method.delivery_tag)
        # 獲取當前執行緒的名字
        current_process_name = multiprocessing.current_process().name
        logger.debug('當前程序名稱：%s - pid: %s' % (current_process_name, os.getpid()))
        logger.debug('程序 %s，收到訊息： %s' % (current_process_name, body))
        # 收到任務訊息，丟給執行緒池處理
        pool.apply_async(run, (properties, body, mq_service))
    # 開始監聽入口通道
    mq_service.receive(callback)
    

reload_spider中監聽redi中的訊息，如果有reload標識，進行reload操作

def reload_spider():
    """ 監聽檔案變化，自動reload """
    rconn = redis.Redis(host=settings.REDIS_HOST, port=settings.REDIS_PORT, db=settings.REDIS_DB, password=settings.REDIS_PW)
    while True:
        try:
            key = 'reload-spider'
            value = rconn.get(key)
            print value
            if value == '1':
                crawler_module = importlib.import_module('crawlers.%s' % 'temp'.lower())
                reload(crawler_module)
                crawlerClass = getattr(crawler_module, 'temp'.upper())
                print 'reload_spider 中的class： %s' % (crawlerClass.name)
            # rconn.delete(key)
        except Exception, e:
            pass
        time.sleep(3)

經測試，其他執行緒中的引入的變數，也改變了。

當然，訊息監聽最好使用mq或者是redis阻塞佇列