Java中文亂碼&特殊字符解決方案

相信很多朋友遇到過Java的亂碼問題，最近我也在解決一個“使用文本生成圖片過程中中文以及特殊字符亂碼”的問題；花了我大量時間，Debug了sun.font、sun.awt下面的各種源碼，終於搞懂了其機制，解決了目前次問題；現在把問題解決過程給寫下來，做個記錄，以免以後再次遇到。

遇到的問題

下面是我想要執行的代碼（經過極度簡化，但是意思沒變）：

 1 public static void main(String[] args) throws IOException {
 2    File file = new File("test.png");
 
 3    Font font = new Font("宋體", Font.PLAIN, 10);
 4    BufferedImage bi = new BufferedImage(400, 200, BufferedImage.TYPE_INT_ARGB);
 5    Graphics2D g2 = (Graphics2D) bi.getGraphics();
 6    g2.setBackground(Color.WHITE);
 7    g2.clearRect(0, 0, 400, 200);
 8    g2.setFont(font);
 9    g2.setColor(Color.BLACK);
 
10    g2.setRenderingHint(RenderingHints.KEY_TEXT_ANTIALIASING, RenderingHints.VALUE_TEXT_ANTIALIAS_ON);
11    g2.drawString("為什麽沒有(????)(????)這名字特殊不？@￥￥￥ 為什麽沒有(????)(????)這名字特 ", 0, 10);
12    g2.dispose();
13    ImageIO.write(bi, PNG, file);
14 }

目標當然是想在打開test.png的時候看到如下場景：

在本地調試沒問題之後，就放到了測試機（Linux）上面去執行了，執行結果簡直撲街：

jdk1.8的sun源碼下載

奉行程序員一貫作風：既然有問題，那就Debug！
坑爹的是現在的源碼包已經不包含sun包的代碼了！
幸好java官方確認OpenJDK的代碼基本和JVM源碼一致，可以直接從OpenJDK8u進行下載：jdk8u

至於如何使用源碼debug，這個就不寫了··· 這都不會基本也就別看這文章了

定位問題

直接下載好源碼，遠程斷點，服務器執行，在debug中先發現了第一個產生本地和測試服務器不一致的代碼：

原來JVM創建Font的時候會使用FontManagerFactory獲取FontManager，而不同的系統使用的FontManager是不同的！Mac用的是CFontManager，而Linux用的是X11FontManager！

那麽這兩個FontManager的不同會導致什麽不同呢？

• CFontManager會創建CFont作為Font2D，這個CFont是JVM專門為mac創建的類，看類和方法的註釋可以知道在mac環境下有時候物理字體會被CFont包裝，而這是在native代碼中完成的：
  

• X11FontManager創建的Font2D是包含了邏輯字體和物理字體的集合。X11FontManager繼承了FcFontManager，FcFontManager繼承了SunFontManager；我們看一下X11FontManager的loadFonts()方法，直接使用了SunFontManager的loadFonts()，SunFontManager的loadFonts()方法加載了物理字體，SunFontManager實現了FontManager的preferLocaleFonts()方法，加載了邏輯字體：
  

  

  

邏輯字體與物理字體

代碼debug到這邊基本已經確認了是不同環境的字體加載問題，那麽在debug linux環境的時候發現的邏輯字體和物理字體是什麽東西呢？

物理字體

物理字體是實際的字體庫，包含字形數據和表，這些數據和表使用字體技術（如 TrueType 或 PostScript Type 1）將字符序列映射到字形序列。Java Platform 的所有實現都支持 TrueType 字體；對其他字體技術的支持是與實現相關的。物理字體可以使用字體名稱，如 Helvetica、Palatino、HonMincho 或任意數量的其他字體名稱。通常，每種物理字體只支持有限的書寫系統集合，例如，只支持拉丁文字符，或者只支持日文和基本拉丁文。可用的物理字體集合隨配置的不同而有所不同。要求特定字體的應用程序可以使用 createFont 方法來捆綁這些字體，並對其進行實例化。

邏輯字體

邏輯字體是由必須受所有 Java 運行時環境支持的 Java 平臺所定義的五種字體系列：Serif、SansSerif、Monospaced、Dialog 和 DialogInput。這些邏輯字體不是實際的字體庫。此外，由 Java 運行時環境將邏輯字體名稱映射到物理字體。映射關系與實現和通常語言環境相關，因此它們提供的外觀和規格各不相同。通常，為了覆蓋龐大的字符範圍，每種邏輯字體名稱都映射到幾種物理字體。

問題解決

debug的源碼很多，但是此次問題的關鍵點就在這裏了，其它debug內容就不貼了。
既然已經確認了本地（mac環境）是native的代碼幫我們做了物理字體的封裝，轉換成了CFont進行渲染，而Linux環境的X11FontManager只是幫我們加載了物理字體和邏輯字體，但是卻需要我們自己進行選擇，那麽解決問題的第一步就顯而易見了：將Font的創建從物理字體改為邏輯字體

1 //  Serif、SansSerif、Monospaced、Dialog 和 DialogInput 隨意選擇
2 Font font = new Font("Serif", Font.PLAIN, 10);

改完以後執行代碼，仍然是亂碼！繼續Debug，發現是Linux上邏輯字體Serif映射的物理字體沒有中文字體和對應的特殊符號字體，這就很簡單了，直接在Linux上安裝中文字體（simsun.ttf），再安裝特殊符號“????”可顯示的字體（mysi.ttf），將這兩個字體也放到了jdk的fonts目錄（JAVA_HOME/jre/lib/fonts）下。文章後面有Linux字體安裝方法。

完成上面的改動之後，重啟服務，再次執行成功顯示！熱烈慶祝~~~~

JVM邏輯字體映射配置

以上的改動已經可以解決中文和特殊字符亂碼問題，但是我在Debug過程中發現在邏輯字體加載過程中，JVM會參考一個配置文件，代碼在sun.awt.FontConfiguration中，這個配置類完成了邏輯字體和物理字體的映射，也指導了SunFontManager創建邏輯字體，而這個FontConfiguration讀取的配置文件就是fontconfig.properties，這個配置文件目錄是JAVA_HOME/jre/lib

查閱了一下資料，JVM字體配置文件的加載順序如下：
JAVA_HOME/jre/lib/fontconfig.OS.Version.properties
JAVA_HOME/jre/lib/fontconfig.OS.Version.bfc
JAVA_HOME/jre/lib/fontconfig.OS.properties
JAVA_HOME/jre/lib/fontconfig.OS.bfc
JAVA_HOME/jre/lib/fontconfig.Version.properties
JAVA_HOME/jre/lib/fontconfig.Version.bfc
JAVA_HOME/jre/lib/fontconfig.properties
JAVA_HOME/jre/lib/fontconfig.bfc

OS是系統，例如：Linux、CentOs、RedHat等；Version是版本號

在這個配置文件中可以修改邏輯字體與物理字體的對應關系，也就是說可以手動的修改Serif、SansSerif、Monospaced、Dialog 和 DialogInput這五個邏輯字體在不同場景下所使用的真正物理字體。

舉個栗子，下面的配置將serif.plain邏輯字體的中文使用simsun.ttf，拉丁文使用java自帶字體：

 1 # @(#)linux.fontconfig.SuSE.properties 1.2 03/10/17
 2 #
 3 # Copyright 2003 Sun Microsystems, Inc. All rights reserved.
 4 #
 5 
 6 # Version
 7 version=1
 8 
 9 # Component Font Mappings
10 serif.plain.chinese=-misc-simsun-medium-r-normal--*-%d-*-*-c-*-iso10646-1
11 serif.plain.latin-1=-b&h-lucidabright-medium-r-normal--*-%d-*-*-p-*-iso8859-1
12 
13 # Search Sequences
14 sequence.allfonts=latin-1,chinese
15 
16 # Exclusion Ranges
17 
18 # Font File Names
19 filename.-misc-simsun-medium-r-normal--*-%d-*-*-c-*-iso10646-1=/usr/share/fonts/myfonts/simsun.ttf

Linux安裝字體

• Linux字體目錄：/usr/share/fonts
• 在fonts下面新建一個目錄，例如：mkdir myfonts
• 將需要安裝的字體放到新建目錄下面，例如：cp ~/test/simsun.ttf /usr/share/fonts/myfonts
• 進入到myfonts目錄：cd /usr/share/fonts/myfonts
• 執行如下命令：
  • mkfontscale
  • mkfontdir
  • fc-cache -fv
• 查看是否已經安裝對應的字體：fc-list
• fc-cache -fv 命令用來刷新linux的字體緩存，使其立刻生效

PS：以上所有操作基本都需要root權限

Java中文亂碼&特殊字符解決方案