broadcasting，廣播，傳遞，賦值，拷貝；

一定要注意，執行 broadcast 的前提在於，兩個 ndarray 執行的是 element-wise（按位加，按位減） 的運算，而不是矩陣乘法的運算，矩陣乘法運算時需要維度之間嚴格匹配。（且矩陣乘法，np.dot(A, B) 如果維度不匹配，提示的錯誤不會是 broadcast，而是 aligned）

我們常常會看到 python 編譯器會提示如下型別的錯誤：

ValueError: operands could not be broadcast together with shapes (8,4,3) (2,1)
 

• 1

那麼如何理解這裡的broadcast呢，matlab中並無對等的概念？

broadcasting機制的功能是為了方便不同shape的array（numpy庫的核心資料結構）進行數學運算。

舉一個簡單的例子，實現對一個1-d array的每一個元素乘以2：

>>> a = np.array([1., 2., 3.])
>>> b = np.array([2., 2., 2.])
>>> a*b
array([2., 4., 6.])

• 1
• 2
• 3
• 4

broadcast的做法是：

>>> a = np.array([1., 2., 3.])
>>> b = 2.
>>> a*b
array([2., 4., 6.])

• 1
• 2
• 3
• 4

這也就解釋了之前常常令人困惑的(3, )不同於(3, 1)（表shape）。

我們來看更為一般的broadcasting rules：

當操作兩個array時，numpy會逐個比較它們的shape（構成的元組tuple），只有在下述情況下，兩arrays才算相容：

1. 相等
2. 其中一個為1，（進而可進行拷貝拓展已至，shape匹配）

1. 舉例

舉例說明：

Image (3d array):  256 x 256 x 3
Scale (1d array):              3
Result (3d array): 256 x 256 x 3

A      (4d array):  8 x 1 x 6 x 1
B      (3d array):      7 x 1 x 5
Result (4d array):  8 x 7 x 6 x 5

A      (2d array):  5 x 4
B      (1d array):      1
Result (2d array):  5 x 4

A      (2d array):  15 x 3 x 5
B      (1d array):  15 x 1 x 5
Result (2d array):  15 x 3 x 5

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15

再來看一些不能進行broadcast的例子：

A  (1d array): 3
B  (1d array): 4        # 最後一維（trailing dimension）不匹配

A  (2d array):      2 x 1
B  (3d array):  8 x 4 x 3（倒數第二維不匹配）

• 1
• 2
• 3
• 4
• 5

我們再來看一些具體的應用：

>>> x = np.arange(4)
>> xx = x.reshape(4, 1)
>> y = np.ones(5)
>> z = np.ones((3, 4))

>>> x.shape
(4,)
>>> y.shape
(5,)
>>> x+y
ValueError: operands could not be broadcast together with shapes (4,) (5,) 

>>> xx.shape
(4, 1)
>>> y.shape
(5,)
>>> (xx+y).shape
(4, 5)
>>> xx + y
array([[ 1.,  1.,  1.,  1.,  1.],
       [ 2.,  2.,  2.,  2.,  2.],
       [ 3.,  3.,  3.,  3.,  3.],
       [ 4.,  4.,  4.,  4.,  4.]])

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23

當執行xx+y時，numpy是如何進行copy擴充套件的呢？

xx     (2d array):      4 x 1
y      (1d array):          5
Result (2d array):      4 x 5

• 1
• 2
• 3

也即對xx重複5列，對y重複4行

# 對xx重複5列
# 等價於np.dot(xx, np.ones((1, 4)))
array([[ 0.,  0.,  0.,  0.],
       [ 1.,  1.,  1.,  1.],
       [ 2.,  2.,  2.,  2.],
       [ 3.,  3.,  3.,  3.]])
# 對y重複4行，
array([[ 1.,  1.,  1.,  1.,  1.],
       [ 1.,  1.,  1.,  1.,  1.],
       [ 1.,  1.,  1.,  1.,  1.],
       [ 1.,  1.,  1.,  1.,  1.]])

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12

2. 補充

還有一點，注意和矩陣乘法的區別，當有一維陣列參與運算時：

• 一維陣列置於矩陣乘法的左部，被視為一個行向量；
• 一維陣列置於矩陣乘法的右部，被視為一個列向量；
• （這樣和一個一維陣列作用無論在左還是在右）矩陣乘法運算結束得到的向量仍是一維陣列。

x   (1d array)  ->  5       ->  1, 5
W   (2d array)  ->  5, 3    ->  5, 3
                            ->  3 (1d array)

• 1
• 2
• 3

>>> import numpy
>>> x = numpy.random.randn(5)
>>> x.shape
(5,)
>>> x.T.shape
(5,)                # 一維陣列x並非嚴格意義上的行向量

>>> W = numpy.random.randn(5, 3)
>>> numpy.dot(x, W)
array([ 0.06489021, -3.08729591,  1.52169767])
>>> numpy.dot(x, W).shape
(3, )

>>> y = numpy.ones(3)
>>> y.shape
(3,)
>>> W.dot(y).shape
(5,)

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18

references

[1]broadcasting

再分享一下我老師大神的人工智慧教程吧。零基礎！通俗易懂！風趣幽默！還帶黃段子！希望你也加入到我們人工智慧的隊伍中來！https://www.cnblogs.com/captainbed