Ray: 0.3釋出

我們很高興宣佈釋出Ray的0.3版本，本次釋出主要包括distributed actor handles 和Ray.tune——一個新的超參搜尋庫，還包括修復一系列bug和提高穩定性。
為了更新到最新版本，執行：

pip install -U ray

超參搜尋工具

本版本增加了Ray.tune，這是一個分散式超引數評估工具，用於強化學習和深度學習等訓練時間較長的任務，他目前包括以下功能：

• 可插入的早期停止演算法，包括中值停止規則和超頻帶
• 視覺化工具融合，比如TensorBoard、rllab’s VisKit, parallel coordinates visualization
• 靈活的引數自動搜尋，包括網格搜尋、隨機搜尋、條件引數分佈
• 資源感知排程，包括支援並行執行需要的GPU演算法，或者他們本身是並行和分佈的。

Ray.tune 提供用於深度學習和其他計算密集型任務的python api，下面是例子：

from ray.tune import register_trainable, grid_search, run_experiments

def my_func(config, reporter):
    import time, numpy as np
    i = 0
    while True:
        reporter(timesteps_total=i, mean_accuracy=i ** config['alpha'
 
])

        i += config['beta']
        time.sleep(0.01)

register_trainable('my_func', my_func)

run_experiments({
    'my_experiment': {
        'run': 'my_func',
        'resources': {'cpu': 1, 'gpu': 0},
        'stop': {'mean_accuracy': 100},
        'config': {
            'alpha': grid_search([0.2, 0.4
 
, 0.6]),
            'beta': grid_search([1, 2]),
        },
    }
})

可以使用TensorBoard和rllab的VisKit等工具實時顯示正在執行的結果
（或者可以直接從驅動程式節點讀取JSON格式的日誌）：

檢視文件和程式碼。

Ray.tune與RLib整合

下面的例子可以用Ray.tune來試驗RLlib

cd ray/python/ray/rllib
python train.py -f tuned_examples/cartpole-grid-search-example.yaml

該tuned_examples目錄還包含用於諸如Pong和Humanoid之類的常見基準測試任務的預先調整的超引數配置。檢視 RLlib文件。

Rllib開始支援PyTorch

優秀的強化學習庫應該與多個深度學習框架一起工作。作為邁向這一目標的一步，0.3增加了對RLlib中A3C的PyTorch模型的支援。你可以用下面的A3C配置來試試這個。

cd ray/python/ray/rllib
./train.py --run=A3C \
          --env=PongDeterministic-v4 \
          --config='{"use_pytorch": true, "num_workers": 8, "use_lstm": false, "model": {"grayscale": true, "zero_mean": false, "dim": 80, "channel_major": true}}'

分散式Actor Handles

Ray 0.3添加了對分散式actor操作符的支援，也就是說，可以讓多個呼叫者在同一個actor上呼叫方法。Actor的創造者可以將actore手柄作為引數傳遞給其他任務或其他actor方法。下面是一個例子，其中驅動程式建立一個actor來記錄訊息，並將actor handle傳遞給其他任務：

import ray

ray.init()

@ray.remote
class Logger(object):
    def __init__(self):
        self.logs = []
    def log(self, log_msg):
        self.logs.append(log_msg)
    def read_logs(self):
        return self.logs

@ray.remote
def task(logger, task_index):
    # Do some work.
    logged = logger.log.remote('Task {} is done'.format(task_index))

# Create an actor and get a handle to it.
logger = Logger.remote()
# Pass the actor handle to some tasks.
tasks = [task.remote(logger, i) for i in range(10)]
# Wait for the tasks to finish.
ray.get(tasks)
# Get the logs from the tasks.
print(ray.get(logger.read_logs.remote()))

這個特性仍然被認為是實驗性的，但是我們已經發現了分散式的actor 引數對於實現引數伺服器和 流式MapReduce應用程式很有用。