2. 程式人生 > >【論文閱讀】EAST: An Efficient and Accurate Scene Text Detector

【論文閱讀】EAST: An Efficient and Accurate Scene Text Detector

阿新 • • 發佈：2019-01-10

任務：文字檢測(可以檢測傾斜文字)

  • contributions
    • 提出了End-to-End 的全卷積網路來解決文字檢測問題
    • 可以根據特定的應用生成quardrangles或者是rotated boxes兩種格式的幾何標註
    • 改進了state-of-the-art方法
  • 演算法的核心思想：主要思想來自於U-Net, 採用U型結構來得到1、pixel-level的分割預測結果。2、pixel-level的幾何預測結果。根據1和2的結果可以計算得到每個bounding box的四個頂點的座標值。然後再通過NMS將多餘，重複的bounding box刪除。

  • 演算法流程：

    • 訓練階段
      image
    • 測試階段
      image
    • 其中基於ResNet的U-Net網路結構如下圖所示
      image

  • 演算法詳情：

    • 如何計算ground truth?
      • score對應的ground truth: 是將原始的bounding box按照短邊長度r向內收縮了0.3r的距離。其實不太懂為什麼要做這一步操作，是為了去除噪聲嗎？
      • geometry 對應的ground truth：我們這裡以RBOX型別的資料為例，如下圖所示。針對bounding box內部的每個點，我們計算他們到上下左右四個邊的距離，並且計算角度。針對bounding box外部的點，我們將其ground truth置為0。
        image

    • Loss函式？

      • 針對score: 我們使用的是balanced cross-entropy。這樣可以平衡正負樣本不平衡的影響。其定義如下所示。實現程式碼如下所示：

g(1−Y^)β=1−∑y∗∈Y∗y∗|Y∗|" role="presentation"> L s = b a l a n c e d − x e n t ( Y ^ , Y ∗ ) = − β Y ∗ l o g ( Y ^ ) − ( 1 − β ) ( 1 − Y ∗ ) l o g ( 1 − Y ^ ) β = 1 − ∑ y ∗ ∈ Y ∗ y ∗ | Y ∗ | 

def cross_entropy(y_true_cls, y_pred_cls, training_mask):
    '''
    :param y_true_cls: numpy array
    :param y_pred_cls: numpy array
    :param training_mask: numpy array
    :return:
    '''
    # eps = 1e-10
    # y_pred_cls = y_pred_cls * training_mask + eps
    # y_true_cls = y_true_cls * training_mask + eps
    # shape = list(np.shape(y_true_cls))
    # beta = 1 - (np.sum(np.reshape(y_true_cls, [shape[0], -1]), axis=1) / (1.0 * shape[1] * shape[2]))
    # cross_entropy_loss = -beta * y_true_cls * np.log(y_pred_cls) - (1 - beta) * (1 - y_true_cls) * np.log(
    #     1 - y_pred_cls)
    # return np.mean(cross_entropy_loss)
    eps = 1e-10
    y_pred_cls = y_pred_cls * training_mask + eps
    y_true_cls = y_true_cls * training_mask + eps
    each_y_true_sample = tf.split(y_true_cls, num_or_size_splits=FLAGS.batch_size_per_gpu, axis=0)
    each_y_pred_sample = tf.split(y_pred_cls, num_or_size_splits=FLAGS.batch_size_per_gpu, axis=0)
    loss = None
    for i in range(FLAGS.batch_size_per_gpu):
        cur_true = each_y_true_sample[i]
        cur_pred = each_y_pred_sample[i]
        beta = 1 - (tf.reduce_sum(cur_true) / (FLAGS.input_size * FLAGS.input_size))
        cur_loss = -beta * cur_true * tf.log(cur_pred) - (1-beta) * (1-cur_true) * tf.log((1-cur_pred))
        if loss is None:
            loss = cur_loss
        else:
            loss = loss + cur_loss
    return tf.reduce_mean(loss)

  • 針對geometry：我們計算其IoU loss，其定義如下所示：

    L A A B B = − l o g I o U ( R ^ , R ∗ ) = − l o g | R ^ ∩ R ∗ | | R ^ ∪ R ∗ | w i = m i n ( d 2 ^ , d 2 ∗ ) + m i n ( d 4 ^ , d 4 ∗ ) h i = m i n ( d 3 ^ , d 3 ∗ ) + m i n ( d 1 ^ , d 1 ∗ ) R ^ = ( d 1 ^ + d

    相關推薦

    【論文閱讀】EAST: An Efficient and Accurate Scene Text Detector

    任務：文字檢測(可以檢測傾斜文字) contributions 提出了End-to-End 的全卷積網路來解決文字檢測問題 可以根據特定的應用生成quardrangles或者是rotated boxes兩種格式的幾何標註 改進了stat

    EAST: An Efficient and Accurate Scene Text Detector

    EAST: An Efficient and Accurate Scene Text Detector EAST：高效準確的場景文字檢測器 【Abstract】 先前的場景文字檢測方法已經在各種基準測試中取得了很好的成果。然而，在處理具有挑戰性的情況時，即使配備了深度神經網路模型，它

    OCR EAST: An Efficient and Accurate Scene Text Detector 自然場景下的文字識別演算法詳解

    最近研究OCR，有篇比較好的演算法文章，《EAST: An Efficient and Accurate Scene Text Detector》，該文發表在2017年CVPR上。程式碼地址：https://github.com/argman/EAST ，這是原作者參與的一份tensorfl

    EAST 自然場景文字檢測實踐(EAST: An Efficient and Accurate Scene Text Detector)

           自然場景文字是影象高層語義的一種重要載體，近些年自然場景影象中的文字檢測與識別技術越來越引起人們的重視。特別是近年來ICDAR的歷界比賽，更是逐漸將這一領域的score不斷提升。如http://rrc.cvc.uab.es/?ch=4&com=eval

    【論文閱讀】Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel......

    開發十年，就只剩下這套架構體系了！ >>>   

    【論文閱讀】韓鬆《Efficient Methods And Hardware For Deep Learning》節選《Learning both Weights and Connections 》

    Pruning Deep Neural Networks 本節內容主要來自NIPS 2015論文《Learning both Weights and Connections for Efficient Neural Networks》。 這部分主要介紹如何剪枝網路

    【論文閱讀】Slot-Gated Modeling for Joint Slot Filling and Intent Prediction

    文章目錄 論文部分 Abstract Introduction Proposed Approach 2.1 基於注意力機制的RNN模型 2.2 實驗部

    【論文閱讀】《Delta TFIDF：An Improved Feature Space for Sentiment Analysis》（論文及實驗）

    Delta TFIDF 論文中提出了一種在文字分類之前給單詞加權的計算方法，並使用SVM對三個資料集進行情感分析。 方法 在詞袋模型中，每一個單詞或者n-gram字都與一個值相關聯。這些值通常都是文件中的數字。有時這些值會根據其對應單詞在文件中的統計特徵來進一步加權。相反，我

    【論文閱讀】Author2Vec: Learning Author Representations by Combining Content and Link Information

    《Author2Vec: Learning Author Representations by Combining Content and Link Information》 Ganesh J, Ganguly S, Gupta M, et al. 2016. Abstract

    【論文閱讀】Batch Feature Erasing for Person Re-identification and Beyond

    轉載請註明出處：https://www.cnblogs.com/White-xzx/ 原文地址：https://arxiv.org/abs/1811.07130 【Abstract】 　　這篇文章展示了行人ReID的一個新的訓練機制——批特徵擦除（Batch Feature Erasing，BFE）。作

    【論文閱讀】Long-Term Recurrent Convolutional Networks for Visual Recognition and Description

    【論文閱讀】Long-Term Recurrent Convolutional Networks for Visual Recognition and Description 這篇文章是15年的一篇文章，文章設計了CNN+LSTM的網路結構用於行為識別、影象描述、視訊描述。因為我研究行為

    【論文閱讀】Can Spatiotemporal 3D CNNs Retrace the History of 2D CNNs and ImageNet?

    【論文閱讀】Can Spatiotemporal 3D CNNs Retrace the History of 2D CNNs and ImageNet? 之前提出的3D卷積網路的深度都很淺，因為當時的資料集都小，很容易過擬合。但是現在有了kinetics，那麼這個資料集在訓練3D卷積網

    【論文閱讀】Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset

    【論文閱讀】Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset 這是一篇2017CVPR的論文，我感覺這篇論文最大的貢獻就是提出了kinetics資料集，這個資料集與之前的行為識別資料集相比有質的飛躍。同

    【論文閱讀】【ICLR 2017】SqueezeNet AlexNet-level accuracy with 50x fewer parameters and 0.5MB model size

    SqueezeNet AlexNet-level accuracy with 50x fewer parameters and 0.5MB model size SqueezeNet 是一種網路結構，準確率與AlexNet相當（ImageNet資料集上），但

    【論文閱讀】Siamese Neural Networks for One-shot Image Recognition

     關鍵詞：      one-short learning :  待解決的問題只有少量的標註資料，先驗知識很匱乏，遷移學習就屬於one-short learning的一種 zero-short learning: 這個種情況下完全沒有

    【論文閱讀】The Ubuntu Dialogue Corpus

    論文題目： The Ubuntu Dialogue Corpus: A Large Dataset for Research in Unstructured Multi-Turn Dialogue Systems 語料庫： a. train.csv和論文所述一致。 1,000,000

    【論文閱讀】Sequence to Sequence Learning with Neural Networks

    看論文時查的知識點 前饋神經網路就是一層的節點只有前面一層作為輸入，並輸出到後面一層，自身之間、與其它層之間都沒有聯絡，由於資料是一層層向前傳播的，因此稱為前饋網路。 BP網路是最常見的一種前饋網路，BP體現在運作機制上，資料輸入後，一層層向前傳播，然後計算損失函式，得到損失函式的殘差

    【論文閱讀】Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization

    簡述 看這篇論文，並實現一下這個。（如果有能力實現的話） 實時任意風格轉換（用自適應Instance Normalization） instanceNorm = batchsize=1 的 batchNorm 1 Abstract Gatys et al

    【論文閱讀】Clustering Convolutional Kernels to Compress Deep Neural Networks

    文章：Clustering Convolutional Kernels to Compress Deep Neural Networks 連結：http://openaccess.thecvf.com/content_ECCV_2018/papers/Sanghyun_Son_Clustering_Kern

    【論文閱讀】Between-class Learning for Image Classification

    文章：Between-class Learning for Image Classification 連結：https://arxiv.org/pdf/1711.10284.pdf CVPR2018 作者嘗試了將在音訊上的方法用在影象上的，並提出了一種將影象作為波形處理的混合方法（作者認為圖形波長融