發現

對於torch.matmul和torch.bmm，都能實現對於batch的矩陣乘法：

a = torch.rand((2,3,10))
b = torch.rand((2,2,10))
### matmal()
res1 = torch.matmul(a,b.transpose(1,2))
print res1 
"""
...
[torch.FloatTensor of size 2x3x2]
"""
### bmm()
res2 = torch.bmm(a,b.transpose(1,2))
print res2 
"""
...
[torch.FloatTensor of size 2x3x2]
"""
 

從打印出來的幾位數字來看，嗯，是一樣的，但是在用等式（或者torch.eq()）檢查是卻發現了問題，竟然有很多不一樣的元素

print torch.eq(res1,res2)
"""
(0 ,.,.) = 
  1  0
  1  1
  1  1

(1 ,.,.) = 
  0  1
  1  1
  1  1
[torch.ByteTensor of size 2x3x2]
"""

將一樣的數值在ipython直接輸出（print會截斷位數）

>>>res1[0,0,0]
2.229752540588379
>>>res2[0,0,0]
2.229752540588379
 

再來看看不一樣的

>>>res1[0,0,1]
3.035151720046997
>>>res2[0,0,1]
3.035151481628418

可以看到從小數點後位7位開始兩個輸出值出現了差異！

結論

所以說在tensor的同樣操作下，出現不一致結果（精度上）的可能性很大，在做相等條件判斷時需要注意，即使同樣的輸入同樣的操作可能出現不一樣的結果。
之後又嘗試對於a,b的位置進行交換，竟然發現即使是同一個函式操作，如matmal()，matmul(a,b.transpose(1,2))和matmul(b,a.transpose(1,2)).transpose(1,2)結果也存在不一樣的元素。