Java字符编码问题

今天研究了一下，记录下来

中间用的是redis，可以使用任意其他的io替代，一样的

Test1

        String s1 = "我要测试";

        String s2 = "I want to test";

        String s3 = "경쟁력, 네이버";

        redis.lpush("testencode", s1);

        redis.lpush("testencode", s2);

        redis.lpush("testencode", s3);

        System.out.println(redis.lpop("testencode"));

        System.out.println(redis.lpop("testencode"));

        System.out.println(redis.lpop("testencode"));

结果：全部正确

注解：Java内部也是unicode，所以如果发送和接受端都是Java写的，无需任何转码（前提是发送和接受端的默认编码一致）

        Java在往I/O发送和从I/O接受的时候会默认转码，一般用系统默认的编码，貌似文档本身的编码格式优先级更高

        所以这里发送到时候转成utf-8，接受时再从utf-8转回unicode，所以没有问题

Test2

        String s1 = "我要测试";

        byte[] key = "testencode".getBytes();

        byte[] b1 =  s1.getBytes("gb2312"); //自己转码，而非默认转码

        redis.lpush(key, b1);

        System.out.println(new String(redis.lpop(key),"gb2312"));

        //System.out.println(new String(redis.lpop(key)));

结果：正确

注解：由于发送的时候已经转成gb2312，所以接受的时候，必须转回来，如果用默认的（注释掉部分）就会转成默认编码utf-8，就会乱码

前面的转码都是在知道原编码的情况下，但有时在接收端无法知道原来的编码，这是就需要detect编码

使用JCharDet，这个的接口写的不好，蛮难用的

参考，http://blog.csdn.net/chenvsa/article/details/7445569

我改了一下，

import org.mozilla.intl.chardet.nsDetector; 
import org.mozilla.intl.chardet.nsICharsetDetectionObserver; 
import org.mozilla.intl.chardet.nsPSMDetector;

public class CharsetDetector{ 
    private boolean found = false; 
    private String result; 
    private int lang = nsPSMDetector.ALL;

    public String[] detectCharset(byte[] bytes) throws IOException 
    { 
        String[] prob; 
        // Initalize the nsDetector() ; 
        nsDetector det = new nsDetector(lang); 
        // Set an observer... 
        // The Notify() will be called when a matching charset is found. 
        det.Init( 
            new nsICharsetDetectionObserver(){    
                public void Notify(String charset) 
                { 
                    found = true; 
                    result = charset; 
                } 
            }); 
        int len = bytes.length; 
        boolean isAscii = true; 
        if (isAscii){ 
            isAscii = det.isAscii(bytes, len); 
        } 
        // DoIt if non-ascii and not done yet. 
        if (!isAscii){ 
            if (det.DoIt(bytes, len, false));                   
        } 
        det.DataEnd(); 
        if (isAscii){ 
            found = true; 
            prob = new String[] {"ASCII"}; 
        } else if (found){ 
            prob = new String[] {result}; 
        } else { 
            prob = det.getProbableCharsets(); 
        } 
        return prob; 
    }

    public String[] detectChineseCharset(byte[] bytes) throws IOException 
    { 
        try{ 
            lang = nsPSMDetector.CHINESE; 
            return detectCharset(bytes); 
        } catch (IOException e){ 
            throw e; 
        } 
    }

使用，

CharsetDetector cd = new CharsetDetector(); 
String[] probableSet = {};

try { 
     probableSet = cd.detectChineseCharset(b1); 
} catch (IOException e) { 
     e.printStackTrace(); 
} 
for (String charset : probableSet) 
{ 
    System.out.println(charset); 
}

本文章摘自博客园，原文发布日期：2014-05-14