1. 程式人生 > >記一個 Base64 有關的 Bug

記一個 Base64 有關的 Bug

本文原計劃寫兩部分內容,第一是記錄最近遇到的與 Base64 有關的 Bug,第二是 Base64 編碼的原理詳解。結果寫了一半發現,誒?不復雜的一個事兒怎麼也要講這麼長?不利於閱讀和理解啊(其實是今天有點懶想去休閒娛樂會兒),所以 Base64 編碼的原理詳解的部分將在下一篇帶來,敬請關注。

0x01 遇到的現象

A 向 B 提供了一個介面,約定介面引數 Base64 編碼後傳遞。

但 A 對 B 傳遞的引數進行 Base64 解碼時報錯了:

Illegal base64 character a

0x02 原因分析

搜尋後發現這是一個好多網友們都踩過的坑,簡而言之就一句話:Base64 編/解碼器有不同實現,有的不相互相容。

比如我上面遇到的現象,可以使用下面這段程式碼完整模擬復現:

package org.mazhuang.base64test;

import org.springframework.boot.CommandLineRunner;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.util.Base64Utils;
import sun.misc.BASE64Encoder;

@SpringBootApplication
public class Base64testApplication implements CommandLineRunner {
    @Override
    public void run(String... args) throws Exception {
        byte[] content = "It takes a strong man to save himself, and a great man to save another.".getBytes();
        String encrypted = new BASE64Encoder().encode(content);
        byte[] decrypted = Base64Utils.decodeFromString(encrypted);
        System.out.println(new String(decrypted));
    }

    public static void main(String[] args) {
        SpringApplication.run(Base64testApplication.class, args);
    }

}

以上程式碼執行會報異常:

Caused by: java.lang.IllegalArgumentException: Illegal base64 character a
    at java.util.Base64$Decoder.decode0(Base64.java:714) ~[na:1.8.0_202-release]
    at java.util.Base64$Decoder.decode(Base64.java:526) ~[na:1.8.0_202-release]

注: 測試程式碼裡的那個字串如果很短,比如「Hello, World」這種,可以正常解碼。

也就是說,用 sun.misc.BASE64Encoder 編碼,用 org.springframework.util.Base64Utils 進行解碼,是有問題的,我們可以用它倆分別對以上符串進行編碼,然後輸出看看差異。測試程式碼:

byte[] content = "It takes a strong man to save himself, and a great man to save another.".getBytes();

System.out.println(new BASE64Encoder().encode(content));
System.out.println("--- 華麗的分隔線 ---");
System.out.println(Base64Utils.encodeToString(content));

輸出:

SXQgdGFrZXMgYSBzdHJvbmcgbWFuIHRvIHNhdmUgaGltc2VsZiwgYW5kIGEgZ3JlYXQgbWFuIHRv
IHNhdmUgYW5vdGhlci4=
--- 華麗的分隔線 ---
SXQgdGFrZXMgYSBzdHJvbmcgbWFuIHRvIHNhdmUgaGltc2VsZiwgYW5kIGEgZ3JlYXQgbWFuIHRvIHNhdmUgYW5vdGhlci4=

可以看到 sun.misc.BASE64Encoder 編碼後的內容換行了,而換行符的 ASCII 編碼正好是 0x0a,如此貌似解釋得通了。讓我們進一步跟蹤一下,找一下出現這種差異的源頭。

0x03 更進一步

在 IDEA 裡按住 CTRL 或 COMMAND 鍵點選方法名,可以跳轉到它們的實現。

3.1 sun.misc.BASE64Encoder.encode

這種寫法主要涉及到兩個類,sun.misc 包下的 BASE64Encoder 和 CharacterEncoder,其中後者是前者的父類。

它實際工作的 encode 方法是在 CharacterEncoder 檔案裡,帶註釋版如下:


public void encode(InputStream inStream, OutputStream outStream)
    throws IOException {
    int     j;
    int     numBytes;
    // bytesPerLine 在 BASE64Encoder 裡實現,返回 57
    byte    tmpbuffer[] = new byte[bytesPerLine()];

    // 用 outStream 構造一個 PrintStream
    encodeBufferPrefix(outStream);

    while (true) {
        // 讀取最多 57 個 bytes
        numBytes = readFully(inStream, tmpbuffer);
        if (numBytes == 0) {
            break;
        }
        // 啥也沒幹
        encodeLinePrefix(outStream, numBytes);
        // 每次處理 3 bytes,編碼成 4 bytes,不足位的補 0 位和 '='
        for (j = 0; j < numBytes; j += bytesPerAtom()) {
            // ...
        }
        if (numBytes < bytesPerLine()) {
            break;
        } else {
            // 換行
            encodeLineSuffix(outStream);
        }
    }
    // 啥也沒幹
    encodeBufferSuffix(outStream);
}

然後在 CharacterEncoder 類的註釋裡我們可以看到編碼後的格式:

[Buffer Prefix]
[Line Prefix][encoded data atoms][Line Suffix]
[Buffer Suffix]

而結合 BASE64Encoder 這個實現類來看,Buffer Prefix、Buffer Suffix 和 Line Prefix 都為空,Line Suffix 為 \n

至此,我們已經找到實現中換行的部分——這個編碼器實現裡,讀取 57 個 byte 作為一行進行編碼(編碼完成後是 76 個 byte)。

3.2 org.springframework.util.Base64Utils.encodeToString

這種寫法主要涉及到 org.springframework.util.Base64Utils 和 java.util.Base64 兩個類,可以看到前者主要是後者的封裝。

Base64Utils.encodeToString 這種寫法最終用到的是 Base64.Encoder.RFC4648 這種編碼器:

// isURL = false,newline = null,linemax = -1,doPadding = true
static final Encoder RFC4648 = new Encoder(false, null, -1, true);

留意 newline 和 linemax 的值。

然後看實際的編碼實現所在的 Base64.encode0 方法:

private int encode0(byte[] src, int off, int end, byte[] dst) {
    // ...
    while (sp < sl) {
        // ...

        // 這個條件不會滿足,不會加換行
        if (dlen == linemax && sp < end) {
            for (byte b : newline){
                dst[dp++] = b;
            }
        }
    }
    // ...
    return dp;
}

所以……這個實現裡沒有換行。

0x04 小結

經過以上的分析,真相已經大白了,就是兩個編碼器的實現不一樣,我們在開發過程中注意使用匹配的編碼解碼器就 OK 了,就是用哪個 Java 包下面的編碼器編碼,就用相同包下的對應解碼器解碼。

至於為啥會出現不一樣的實現,它們之間有過什麼來龍去脈、恩怨情仇,Base64 的詳細原理等等,就厚著老臉,邀請大家且聽下回分解吧!:-P


假如你對我的文章感興趣,可以關注我的微信公眾號『悶騷的程式設計師』隨時閱讀更多內容。

相關推薦

一個 Base64 有關Bug

本文原計劃寫兩部分內容,第一是記錄最近遇到的與 Base64 有關的 Bug,第二是 Base64 編碼的原理詳解。結果寫了一半發現,誒?不復雜的一個事兒怎麼也要講這麼長?不利於閱讀和理解啊(其實是今天有點懶想去休閒娛樂會兒),所以 Base64 編碼的原理詳解的部分將在下一篇帶來,敬請關注。 0x01 遇到

一個神奇的Bug

在北京 類型轉換 pool git 在那 浮動 比較 一個 average 多年以後,當Abraham凝視著一行行新時代的代碼在屏幕上川流不息的時候,他會想起2019年4月17日那個不平凡夜晚,以及在那個夜晚他發現的那個不可思議的Bug。 雖然像無數個普普通通的夜晚一樣,

一個bug的排查過程---復盤

菜單項 註意 解決 做了 微信公眾號 排查過程 文本 結果 sql錯誤 公眾號做了新需求:菜單的click事件,支持多條客服消息。 上線後,只有一個功能不好使,是點擊菜單,預期發一條文本類型的客服消息。 實際操作時,點這個菜單項後,什麽也沒有發生。elk上看日誌,也沒有

一個關於 Select 的小 bug:Select 的 on-change 事件會自動觸發

iView Select 框在頁面載入的時候會彈出還沒有觸發的方法裡面的錯誤資訊,如下: 程式碼: <Select v-model="form.id" filterable clearable @on-change="selectAccount"> <Opt

一個介面重新整理相關的Bug

今天遇到一個比較有意思的bug, 這裡簡單記錄下。 Bug的症狀是通過拖拉邊框把我們客戶端主視窗拖小之後,再最大化,會發現視窗顯示有問題, 看起來像是重新整理問題, 有些地方顯示的不對了。 這裡要說明的是我這裡的主視窗是非常複雜的視窗, 裡面集成了很多元件(cpmponent),有很多層

一個bug:Linux中Java Graphics drawString寫中文亂碼

近期用到了動態生成二維碼的功能,並且在二維碼底下加文字,win下開發沒有出現問題,但是部署到Linux環境下出現中文亂碼。經排查之後發現程式碼中Font類(new Font("微軟雅黑", Font.PLAIN, 35))用到了"微軟雅黑"中文字型,但Centos預設沒有這種

一個比較有意思的bug,position絕對定位問題

剛剛結束的專案裡有一個很有意思的bug,我們常用如圖這樣的方式進行側邊欄的收縮隱藏和展示,右邊的小按鈕會是一個absolute的絕對定位,right定為負值 程式碼如下: <!DOCTYPE html> <html lang="en"> <

“在註釋中遇到意外的文件結束”--一個令人崩潰的bug

編碼問題 由於 The this pre 可能 .html arch 好的 下午寫程序,寫的好好的,突然報錯“在註釋中遇到意外的文件結束”。 下面是官方給出的錯誤原因是缺少註釋終結器 (* /)。 // C1071.cpp int main() { } /* this c

一個關於std::unordered_map併發訪問的BUG

前言 =================== 刷題刷得頭疼,水篇blog。這個BUG是我大約一個月前,在做15445實現lock_manager的時候遇到的一個很惡劣但很愚蠢的BUG,排查 + 摸魚大概花了我三天的時間,根本原因是我在使用`std::unordered_map`做併發的時候考慮不周。但由於這個

一個resin啟動bug的解決

arp sch schema pac cts compile compact arpa nbsp 這個bug的問題後來被確認為Resin所在目錄層有中文目錄名。---------------------------------------------------------

python 第一周(第一天) 我的python成長 一個月搞定python數據挖掘!

__name__ -c pass class port .py contact 成長 class a python代碼的組織方式: .py 文件 模塊文件樣式: #!/usr/bin/python#-*-coding:utf8-*- """@author: yugengde

python 第一周(第三天) 我的python成長 一個月搞定python數據挖掘!(04)

數字 date .get raw dict 元素 upd 轉換成 efault 字符串 str 和 unicode str 字節流 unicode 字符流 (中文,英文,等等) => 如何轉換成計算機中的01代碼呢?   出現了編碼 ascii, iso8859

python 第二周(第八天) 我的python成長 一個月搞定python數據挖掘!(14)

num print 數據 span python rate string spa rom from lxml import etreedoubanhtml = ‘‘‘‘‘‘doc = etree.fromstring(doubanhtml)for eachbook in d

python 第二周(第八天) 我的python成長 一個月搞定python數據挖掘!(15)

center project ron 高層 web 快速 art start mes scrapy爬蟲 企業級爬蟲:python開發的一個快速,高層次的web抓取框架,用於抓取web站點並從頁面提取結構化的數據。 scrapy用途廣泛,可用於數據挖掘,數據監測和自動化測試

python 第二周(第十一天) 我的python成長 一個月搞定python數據挖掘!(19) -scrapy + mongo

msg 步驟 [0 ssi xtra tin perl overflow tab mongoDB 3.2之後默認是使用wireTiger引擎 在啟動時更改存儲引擎:   mongod --storageEngine mmapv1 --dbpath d:\data\db 這

用數據集跑一個模型遇到bug如何解決

發現 oss 情況 fas cnn 解決 bug 使用 結果 自己在用fast rcnn和ssd跑自己數據集過程中都遇到了bug,fast rcnn中是loss下降但值較高,並且測試出來結果一直不對,ssd是loss從一開始到後面loss都一直為0。 遇到這種情況,最好是先

一個linux零基礎的人搞阿裏雲ECS服務器中遇到的坑(系統為ubuntu)

一個 錯誤 模式 進入 會有 想法 網絡 命令模式 空白 概述: 因為最近研究python網絡爬蟲方面的知識比較多,於是租了一臺阿裏雲(本文非廣告)的雲服務器(系統為ubuntu)作為學習之用,由此開始了本人的受苦之路,整理了到目前為止遇到的坑,與各位萌新共勉 遇到的坑

一個mysql環境RR隔離級別轉換成RC的問題

mysql 事務隔離級別 RR RC先了解RR(REPEATABLE-READ)和RC(READ-COMMITTED)的區別.RR隔離級別增加了間隙鎖,避免了幻讀,並且阻止了不可重復讀,讓同一個事務裏面的查詢和修改都是一致的.mysql默認的隔離級別就是RR.雖然說RC隔離級別在同一個事務內會存在查詢出不同數

一個命令msinfo32

msinfo這個還挺好用的,可以查看到大部分信息 記一個命令msinfo32

Confluence 6 恢復一個站點有關使用站點導出為備份的說明

ack 需要 The backup pro str 策略 一個 生產環境 推薦使用生產備份策略。我們推薦你針對你的生產環境中使用的 Confluence 參考 Production Backup Strategy 頁面中的內容進行備份和恢復(這個需要你備份你的數據庫和