Java讀取Unicode檔案(UTF-8等)時碰到的BOM首字元問題,及處理方法
阿新 • • 發佈:2019-01-08
2015-18-01修改:增加 apache commons io 處理方法。
在Windows下用文字編輯器建立的文字檔案,如果選擇以UTF-8等Unicode格式儲存,會在檔案頭(第一個字元)加入一個BOM標識。
這個標識在Java讀取檔案的時候,不會被去掉,而且String.trim()也無法刪除。如果用readLine()讀取第一行存進String裡面,這個String的length會比看到的大1,而且第一個字元就是這個BOM。
這種情況會造成一些麻煩,比如在讀取ini檔案的時候,如果想判斷第一行是不是以“[”開頭就無法正確判斷。
幸好,Java在讀取Unicode檔案的時候,會統一把BOM變成“\uFEFF”,這樣的話,就可以自己手動解決了(判斷後,用substring()或replace()去除掉這個BOM):
然而,這種方法並不是完美的,如果生成jar檔案在windows下執行,還是有問題。終極的解決方法是使用apache commons io提供的BOMInputStream:if(line.startsWith("\uFEFF")){ //line = line.substring(1); line = line.replace("\uFEFF", ""); }
<dependency>
<groupId>commons-io</groupId>
<artifactId>commons-io</artifactId>
<version>2.4</version>
</dependency>
什麼是BOM? BOM = Byte Order Mark BOM是Unicode規範中推薦的標記位元組順序的方法。比如說對於UTF-16,如果接收者收到的BOM是FEFF,表明這個位元組流是Big-Endian的;如果收到FFFE,就表明這個位元組流是Little-Endian的。 UTF-8不需要BOM來表明位元組順序,但可以用BOM來表明“我是UTF-8編碼”。BOM的UTF-8編碼是EF BB BF(用UltraEdit開啟文字、切換到16進位制可以看到)。所以如果接收者收到以EF BB BF開頭的位元組流,就知道這是UTF-8編碼了。 Wikipedia關於POM的說明介紹:BufferedReader reader = null; try { //reader = new BufferedReader(new FileReader(file)); //使用BOMInputStream自動去除UTF-8中的BOM!!! reader = new BufferedReader(new InputStreamReader(new BOMInputStream(new FileInputStream(file)))); String str = null; //一次讀入一行(非空),直到讀入null為檔案結束 while ((str = reader.readLine()) != null) { }