《UTF-8与GB2312之间的互换》的改进

一起学习

《UTF-8与GB2312之间的互换》的改进

作者：李天助

下载源代码

　　最近，在做一个小程序的时候，突然遇到了汉字编码转换问题。关于如何在UTF-8与GB2312之间转换的问题。在VC知识库里看到吴康彬的文章《UTF-8与GB2312之间的互换》，文章浅显易懂，代码也不长。省了我不少的找资料的时间。在此谢谢了。 ：）
　　在看代码的过程中，吴康彬用了许多字符串的转换，来进行2进制的运算，这就涉及到大量的IO操作，效率肯定比较低。而且编码转换的工作量往往非常大，因此效率问题很重要。而且，代码里，有许多，内存泄漏问题，可能是作者过于重视实现，没有注意这些细节问题。
　　闲话少说，开始正题。在UTF-8,与UNICODE之间转换的时候，用二进制运算，代替了字符串的转换。UTF-8一个汉字，用3个字节，而UNICODE用2个字节；对应关系如下：

UTF-8编码：         

      [1,1,1,0,A5,A6,A7,A8],    [1,0,B3,B4,B5,B6,B7,B8],            

      [1,0,C3,C4,C5,C6,C7,C8];

对应的UNICODE编码：

[A5,A6,A7,A8,B3,B4,B5,B6],         

      [B7,B8,C3,C4,C5,C6,C7,C8]

因此我们只需进行位操作，即可达到目的；如：

      // 把UTF-8转换成Unicode

      void CChineseCodeLib::UTF_8ToUnicode(WCHAR* pOut,char *pText)

      {

     	 char* uchar = (char *)pOut;

     	

     	 uchar[1] = ((pText[0] & 0x0F) << 4)   ((pText[1] >> 2) & 0x0F);

     	 uchar[0] = ((pText[1] & 0x03) << 6)   (pText[2] & 0x3F);

     

     	 return;

      }

     // Unicode 转换成UTF-8 

     void CChineseCodeLib::UnicodeToUTF_8(char* pOut,WCHAR* pText)

     {

	      // 注意 WCHAR高低字的顺序,低字节在前，高字节在后

	      char* pchar = (char *)pText;



	      pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));

	      pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2))   ((pchar[0] & 0xC0) >> 6);

	      pOut[2] = (0x80 | (pchar[0] & 0x3F));

	

	      return;

     }

     

     // 把Unicode 转换成 GB2312 

     void CChineseCodeLib::UnicodeToGB2312(char* pOut,unsigned short uData)

     {

	     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(WCHAR),NULL,NULL);

	     return;

     }     

     

     // GB2312 转换成　Unicode

     void CChineseCodeLib::Gb2312ToUnicode(WCHAR* pOut,char *gbBuffer)

     {

	     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);

	     return;

     }

     

     //GB2312 转为 UTF-8

     void CChineseCodeLib::GB2312ToUTF_8(string& pOut,char *pText, int pLen)

     {

           char buf[4];

           char* rst = new char[pLen   (pLen >> 2)   2];

           

           memset(buf,0,4);

           memset(rst,0,pLen   (pLen >> 2)   2);

           

           int i = 0;

           int j = 0;      

           while(i < pLen)

           {

                   //如果是英文直接复制就可以

                   if( *(pText   i) >= 0)

                   {

                           rst[j  ] = pText[i  ];

                   }

                   else

                   {

                           WCHAR pbuffer;

                           Gb2312ToUnicode(&pbuffer,pText i);

                           

                           UnicodeToUTF_8(buf,&pbuffer);

                           

                           unsigned short int tmp = 0;

                           tmp = rst[j] = buf[0];

                           tmp = rst[j 1] = buf[1];

                           tmp = rst[j 2] = buf[2];

                           

                           

                           j  = 3;

                           i  = 2;

                   }

           }

           rst[j] = ''\0'';

   

           //返回结果

           pOut = rst;             

           delete []rst;   

           

           return;

     }

     

     //UTF-8 转为 GB2312

     void CChineseCodeLib::UTF_8ToGB2312(string &pOut, char *pText, int pLen)

     {

         char * newBuf = new char[pLen];

         char Ctemp[4];

         memset(Ctemp,0,4);



         int i =0;

         int j = 0;

         

         while(i < pLen)

         {

                if(pText[i] > 0)

                {

                        newBuf[j  ] = pText[i  ];                       

                }

                else                 

                {

                        WCHAR Wtemp;

                        UTF_8ToUnicode(&Wtemp,pText   i);

                

                        UnicodeToGB2312(Ctemp,Wtemp);

                    

                        newBuf[j] = Ctemp[0];

                        newBuf[j   1] = Ctemp[1];



                        i  = 3;    

                        j  = 2;   

                }

         }

         newBuf[j] = ''\0'';

         

         pOut = newBuf;

         delete []newBuf;

         

         return; 

     }

　　代码在WIN2K,VC 60 下编译，测试通过. 就说这么多吧，具体的大家看代码吧。草草的写的，大家莫笑，欢迎大家一起讨论； 觉觉罗。。。。 下载本文示例代码


《UTF-8与GB2312之间的互换》的改进《UTF-8与GB2312之间的互换》的改进《UTF-8与GB2312之间的互换》的改进《UTF-8与GB2312之间的互换》的改进《UTF-8与GB2312之间的互换》的改进《UTF-8与GB2312之间的互换》的改进《UTF-8与GB2312之间的互换》的改进《UTF-8与GB2312之间的互换》的改进《UTF-8与GB2312之间的互换》的改进《UTF-8与GB2312之间的互换》的改进《UTF-8与GB2312之间的互换》的改进《UTF-8与GB2312之间的互换》的改进