注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

长风明志的博客

不要也不能做下一个谁,应该且可以做第一个自己

 
 
 

日志

 
 

Java中检测文件字符编码  

2013-12-05 15:39:34|  分类: JAVA开发 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
使用工具juniversalchardet.jar 包检测工具:https://code.google.com/p/juniversalchardet/。这是Mozilla开发的一个用于检测文件编码的jar包,用于firefox中的自动编码识别。
它支持的被检测的字符编码有:
  • Chinese
    • ISO-2022-CN
    • BIG5
    • EUC-TW
    • GB18030
    • HZ-GB-23121
  • Cyrillic
    • ISO-8859-5
    • KOI8-R
    • WINDOWS-1251
    • MACCYRILLIC
    • IBM866
    • IBM855
  • Greek
    • ISO-8859-7
    • WINDOWS-1253
  • Hebrew
    • ISO-8859-8
    • WINDOWS-1255
  • Japanese
    • ISO-2022-JP
    • SHIFT_JIS
    • EUC-JP
  • Korean
    • ISO-2022-KR
    • EUC-KR
  • Unicode
    • UTF-8
    • UTF-16BE / UTF-16LE
    • UTF-32BE / UTF-32LE / X-ISO-10646-UCS-4-34121 / X-ISO-10646-UCS-4-21431
  • Others
    • WINDOWS-1252
其示例代码:

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.OutputStreamWriter;
import java.io.Writer;

import org.mozilla.universalchardet.UniversalDetector;
public class ConvertCode{
     public static void main(String[] args) throws IOException{
String sourcePage;   //输入文件     
        sourcePage="D:\\CF\\HttpClient\\1d07a51f09ed37fb70aaf911b9c8643e.html";

        UniversalDetector detector=new UniversalDetector(null);      //用于检测网页编码
byte[] buf=new byte[4096];
FileInputStream fis=new FileInputStream(sourcePage);
int nread;
while((nread=fis.read(buf))>0&&!detector.isDone()){
detector.handleData(buf,0,nread);
}
detector.dataEnd();
String encoding=detector.getDetectedCharset();
if (encoding!=null){
System.out.println("Encoding:"+encoding);
}else{
System.out.println("No encoding detected!");
}
detector.reset();
String cread;  
StringBuffer content = new StringBuffer();       
InputStreamReader r = new InputStreamReader(new FileInputStream(sourcePage), encoding);  
BufferedReader  in = new BufferedReader(r);  
while ((cread = in.readLine()) != null) {  
    content.append(cread);  
}  
System.out.print(content.toString()); 

}


总的说来juniversalchardet.jar工具包比cpdetector_1.0.5.jar这些工具检测编码准确率高很多,当然在识别只有几个字节的短文本编码时,可能会有错误,不过对于大的文本,则识别正确率很高。
附:
1.按指定编码读文件:

String string = "";
 try {
BufferedReader in = new BufferedReader(new InputStreamReader(new FileInputStream(fileName), encoding));  
String str = "";
while ((str = in.readLine()) != null) {
     string += str + "\n";
}
in.close();
} catch (Exception ex) {
ex.printStackTrace();
}

2.按指定编码写文件:

try {
           Writer out = new BufferedWriter(new OutputStreamWriter(
                   new FileOutputStream(fileName), encoding));
           out.write(str);
           out.close();
       } catch (Exception ex) {
           ex.printStackTrace();
       }



  评论这张
 
阅读(1261)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017