深入剖析JSP和Servlet对中文的处理

　　在实际编程时，接触得比较多的是gb2312（gbk）和iso8859-1。

　　为什么会有“?”号

　　上文说过，异种语言之间的转换是通过unicode来完成的。假设有两种不同的语言a和b，转换的步骤为：先把a转化为unicode，再把unicode转化为b。

　　举例说明。有gb2312中有一个汉字“李”，其编码为“c0ee”，欲转化为iso8859-1编码。步骤为：先把“李”字转化为unicode，得到“674e”，再把“674e”转化为iso8859-1字符。当然，这个映射不会成功，因为iso8859-1中根本就没有与“674e”对应的字符。

　　当映射不成功时，问题就发生了！当从某语言向unicode转化时，如果在某语言中没有该字符，得到的将是unicode的代码“/uffffd”（“/u”表示是unicode编码，）。而从unicode向某语言转化时，如果某语言没有对应的字符，则得到的是“0x3f”（“?”）。这就是“?”的由来。

　　例如：把字符流buf =“0x80 0x40 0xb0 0xa1”进行new string(buf, "gb2312")操作，得到的结果是“/ufffd/u554a”，再println出来，得到的结果将是“?啊”，因为“0x80 0x40”是gbk中的字符，在gb2312中没有。

　　再如，把字符串string="/u00d6/u00ec/u00e9/u0046/u00bb/u00f9"进行new string (buf.getbytes("gbk"))操作，得到的结果是“3fa8aca8a6463fa8b4”，其中，“/u00d6”在“gbk”中没有对应的字符，得到“3f”，“/u00ec”对应着“a8ac”，“/u00e9”对应着“a8a6”，“0046”对应着“46”（因为这是ascii字符），“/u00bb”没找到，得到“3f”，最后，“/u00f9”对应着“a8b4”。把这个字符串println一下，得到的结果是“?ìéf?ù”。看到没？这里并不全是问号，因为gbk与unicode映射的内容中除了汉字外还有字符，本例就是最好的明证。

　　所以，在汉字转码时，如果发生错乱，得到的不一定都是问号噢！不过，错了终究是错了，50步和100步并没有质的差别。

　　或者会问：如果源字符集中有，而unicode中没有，结果会如何？回答是不知道。因为我手头没有能做这个测试的源字符集。但有一点是肯定的，那就是源字符集不够规范。在java中，如果发生这种情况，是会抛出异常的。

　　什么是utf

　　utf，是unicode text format的缩写，意为unicode文本格式。对于utf，是这样定义的：

　　（1）如果unicode的16位字符的头9位是0，则用一个字节表示，这个字节的首位是“0”，剩下的7位与原字符中的后7位相同，如“/u0034”（0000 0000 0011 0100），用“34” (0011 0100)表示；（与源unicode字符是相同的）；

　　（2）如果unicode的16位字符的头5位是0，则用2个字节表示，首字节是“110”开头，后面的5位与源字符中除去头5个零后的最高5位相同；第二个字节以“10”开头，后面的6位与源字符中的低6位相同。如“/u025d”（0000 0010 0101 1101），转化后为“c99d”（1100 1001 1001 1101）；

　　（3）如果不符合上述两个规则，则用三个字节表示。第一个字节以“1110”开头，后四位为源字符的高四位；第二个字节以“10”开头，后六位为源字符中间的六位；第三个字节以“10”开头，后六位为源字符的低六位；如“/u9da7”（1001 1101 1010 0111），转化为“e9b6a7”（1110 1001 1011 0110 1010 0111）；

　　可以这么描述java程序中unicode与utf的关系，虽然不绝对：字符串在内存中运行时，表现为unicode代码，而当要保存到文件或其它介质中去时，用的是utf。这个转化过程是由writeutf和readutf来完成的。

　　好了，基础性的论述差不多了，下面进入正题。

　　先把这个问题想成是一个黑匣子。先看黑匣子的一级表示：

input(charseta)-＞process(unicode)-＞output(charsetb)

　　简单，这就是一个ipo模型，即输入、处理和输出。同样的内容要经过“从charseta到unicode再到charsetb”的转化。

　　再看二级表示：

sourcefile(jsp,java)-＞class-＞output

　　在这个图中，可以看出，输入的是jsp和java源文件，在处理过程中，以class文件为载体，然后输出。再细化到三级表示：

jsp-＞temp file-＞class-＞browser,os console,db

app,servlet-＞class-＞browser,os console,db

　　这个图就更明白了。jsp文件先生成中间的java文件，再生成class。而servlet和普通app则直接编译生成class。然后，从class再输出到浏览器、控制台或数据库等。

　　jsp：从源文件到class的过程

　　jsp的源文件是以“.jsp”结尾的文本文件。在本节中，将阐述jsp文件的解释和编译过程，并跟踪其中的中文变化。

　　1、jsp/servlet引擎提供的jsp转换工具（jspc）搜索jsp文件中用＜%@ page contenttype ="text/html; charset=＜jsp-charset＞"%＞中指定的charset。如果在jsp文件中未指定＜jsp-charset＞，则取jvm中的默认设置file.encoding，一般情况下，这个值是iso8859-1；

　　2、jspc用相当于“javac –encoding ＜jsp-charset＞”的命令解释jsp文件中出现的所有字符，包括中文字符和ascii字符，然后把这些字符转换成unicode字符，再转化成utf格式，存为java文件。ascii码字符转化为unicode字符时只是简单地在前面加“00”，如“a”，转化为“/u0041”（不需要理由，unicode的码表就是这么编的）。然后，经过到utf的转换，又变回“41”了！这也就是可以使用普通文本编辑器查看由jsp生成的java文件的原因；

　　3、引擎用相当于“javac –encoding unicode”的命令，把java文件编译成class文件；

　　先看一下这些过程中中文字符的转换情况。有如下源代码：

　servlet：从源文件到class的过程

　　servlet源文件是以“.java”结尾的文本文件。本节将讨论servlet的编译过程并跟踪其中的中文变化。

　　用“javac”编译servlet源文件。javac可以带“-encoding ＜compile-charset＞”参数，意思是“用＜ compile-charset ＞中指定的编码来解释serlvet源文件”。

　　源文件在编译时，用＜compile-charset＞来解释所有字符，包括中文字符和ascii字符。然后把字符常量转变成unicode字符，最后，把unicode转变成utf。

　　在servlet中，还有一个地方设置输出流的charset。通常在输出结果前，调用httpservletresponse的setcontenttype方法来达到与在jsp中设置＜jsp-charset＞一样的效果，称之为＜servlet-charset＞。

　　注意，文中一共提到了三个变量：＜jsp-charset＞、＜compile-charset＞和＜servlet-charset＞。其中，jsp文件只与＜jsp-charset＞有关，而＜compile-charset＞和＜servlet-charset＞只与servlet有关。

　　看下例：

　　给出如下结论：

　　在class输出字符串前，会将unicode的字符串按照某一种内码重新生成字节流，然后把字节流输入，相当于进行了一步“string.getbytes(???)”操作。???代表某一种字符集。

　　如果是servlet，那么，这种内码就是在httpservletresponse.setcontenttype()方法中指定的内码，也就是上文定义的＜servlet-charset＞。

　　如果是jsp，那么，这种内码就是在＜%@ page contenttype=""%＞中指定的内码，也就是上文定义的＜jsp-charset＞。

　　如果是java程序，那么，这种内码就是file.encoding中指定的内码，默认为iso8859-1。

　　当输出对象是浏览器时

　　以流行的浏览器ie为例。ie支持多种内码。假如ie接收到了一个字节流“d6 d0 ce c4”，你可以尝试用各种内码去查看。你会发现用“简体中文”时能得到正确的结果。因为“d6 d0 ce c4”本来就是简体中文中“中文”两个字的编码。

　　ok，完整地看一遍。

　　jsp：源文件为gb2312格式的文本文件，且jsp源文件中有“中文”这两个汉字

　　如果指定了＜jsp-charset＞为gb2312，转化过程如下表。

　　表4　jsp-charset = gb2312时的变化过程

最大的网站源码资源下载站，