3D點雲的深度學習
使用卷積神經網路（CNN）架構的深度學習（DL）現在是解決影象分類任務的標準解決方法。但是將此用於處理3D資料時，問題變得更加複雜。首先，可以使用各種結構來表示3D資料，所述結構包括：
1 體素網格
2 點雲
3 多檢視
4 深度圖
對於多檢視和深度圖的情況，該問題被轉換為在多個影象上使用2D CNN解決。通過簡單定義3D卷積核，可以將2D CNN的擴充套件用於3D Voxel網格。但是，對於3D點雲的情況，目前還不清楚如何應用DL工具。但是之前也已經有幾種解決辦法了，具體可以參看 http://www.cnblogs.com/li-yao7758258/p/8182846.html
以及最近山東大學研究者們提出的PointCNN，對於pointCNN 這篇論文是一種為基於點雲的特徵學習提出了一種簡單且通用的框架。CNN成功的關鍵是要能利用資料中以網格形式密集表示的空間上的區域性相關性（比如影象）。但是，點雲是不規則和無序的，因此在這些點關聯的特徵上直接求核的卷積會導致形狀資訊的丟失，同時還會因順序不同而不同。為了解決這些問題，提出了根據輸入點學習一種X變換，然後將其用於同時加權與點關聯的輸入特徵和將它們重新排列成潛在隱含的規範順序，之後再在元素上應用求積和求和運算。我們提出的方法是典型CNN向基於點雲的特徵學習的泛化，因此將其稱為PointCNN。實驗表明，PointCNN能在多種有挑戰性的基準資料集和任務上實現與之前最佳方法媲美或更好的表現。
PointCNN與其他方法的對比
其次，影象的可用資料比較多，儘管最近3D資料集的數量有所增加 。但是，對於3D情況，可以容易地生成合成資料。
下面附有在3D資料上使用DL工具的論文列表
Voxel Grid – Volumetric CNN:
Voxnet: A 3D convolutional neural network for real-time object classification
Volumetric and multi-view CNNs for object classification on 3d data – compared volumetric CNNs to Multi-view CNNs for object classification. They showed that the multi-view approach performs better, however, the resolution of the volumetric model was limited
3D shapenetes: A deep representation for volumetric shapes
Multi-View CNNs:
Volumetric and multi-view CNNs for object classification on 3d data
*Multi-View Convolutional Neural Networks for 3D Shape Recognition
Point clouds:*
Pointnet: Deep learning on point sets for 3d classification and segmentation – In this work they applied a convolution kernel on each point separately, creating a higher dimensional representation of each point and then max-pooling over the entire point set (max pooling used as a symmetric function) to get invariance to permutations of the input cloud (since there is no geometrical significance to the point order).
Hand-crafted features + DNN :
3D deep shape descriptor – fed heat kernel signatures (HKS) descriptor into an NN to get an Eigen-shape descriptor and a Fischer shape descriptor.
有問題請指出，同時歡迎大家關注微信公眾號
或者加入3D視覺微信群一起交流分享
