1. 程式人生 > >Java讀取Unicode檔案(UTF-8等)時碰到的BOM首字元問題,及處理方法

Java讀取Unicode檔案(UTF-8等)時碰到的BOM首字元問題,及處理方法

2015-18-01修改:增加 apache commons io 處理方法。 在Windows下用文字編輯器建立的文字檔案,如果選擇以UTF-8等Unicode格式儲存,會在檔案頭(第一個字元)加入一個BOM標識。 這個標識在Java讀取檔案的時候,不會被去掉,而且String.trim()也無法刪除。如果用readLine()讀取第一行存進String裡面,這個String的length會比看到的大1,而且第一個字元就是這個BOM。 這種情況會造成一些麻煩,比如在讀取ini檔案的時候,如果想判斷第一行是不是以“[”開頭就無法正確判斷。 幸好,Java在讀取Unicode檔案的時候,會統一把BOM變成“\uFEFF”,這樣的話,就可以自己手動解決了(判斷後,用substring()或replace()去除掉這個BOM):
  if(line.startsWith("\uFEFF")){
   //line = line.substring(1);
   line = line.replace("\uFEFF", "");
  }
然而,這種方法並不是完美的,如果生成jar檔案在windows下執行,還是有問題。終極的解決方法是使用apache commons io提供的BOMInputStream:
		<dependency>
			<groupId>commons-io</groupId>
			<artifactId>commons-io</artifactId>
			<version>2.4</version>
		</dependency>

 BufferedReader reader = null;
        try {
            //reader = new BufferedReader(new FileReader(file));
        	
        	//使用BOMInputStream自動去除UTF-8中的BOM!!!
        	reader = new BufferedReader(new InputStreamReader(new BOMInputStream(new FileInputStream(file))));

        	String str = null;
            //一次讀入一行(非空),直到讀入null為檔案結束
            while ((str = reader.readLine()) != null) {
            }
什麼是BOM? BOM = Byte Order Mark BOM是Unicode規範中推薦的標記位元組順序的方法。比如說對於UTF-16,如果接收者收到的BOM是FEFF,表明這個位元組流是Big-Endian的;如果收到FFFE,就表明這個位元組流是Little-Endian的。 UTF-8不需要BOM來表明位元組順序,但可以用BOM來表明“我是UTF-8編碼”。BOM的UTF-8編碼是EF BB BF(用UltraEdit開啟文字、切換到16進位制可以看到)。所以如果接收者收到以EF BB BF開頭的位元組流,就知道這是UTF-8編碼了。 Wikipedia關於POM的說明介紹: