Chinaunix首页 | 论坛 | 博客
  • 博客访问: 867168
  • 博文数量: 82
  • 博客积分: 2283
  • 博客等级: 大尉
  • 技术积分: 2007
  • 用 户 组: 普通用户
  • 注册时间: 2012-07-15 22:19
文章分类

全部博文(82)

文章存档

2012年(82)

分类: LINUX

2012-08-11 17:12:31

想到这个问题是因为跟一个学长讨论了怎样用key值查找对应的中文字符串,一开始想到转码后来才明白根本
是个不太可能实现的方法,实际项目中也不会这样去做。不过还是查了关于字符编码转码的相关资料作为一个
入门的了解,讨论到的那个问题我目前觉得可以用类hashtable来实现,不过c++里没有现成的类hashtable,所
以这个任务还是留待以后学了java来完成吧!


GB2312编码:



glibc带了一套转码函数iconv,使用方便,可识别的码很多,如果程序需要涉及到编码之间的转换,可考虑用它。

iconv命令的用法(转换文件编码)。

$ iconv --list # 显示可识别的编码名称
$ iconv -f GB2312 -t UTF-8 a.html > b.html # 转换GB2312编码的文件a.html为UTF-8编码,存入b.html
$ iconv -f GB2312 -t BIG5 a.html > b.html # 转换GB2312编码的文件a.html为BIG5编码,存入b.html

iconv编程涉及到以下glibc库的调用:

#include

iconv_t iconv_open(const char *tocode, const char *fromcode);

此函数说明将要进行哪两种编码的转换,tocode是目标编码,fromcode是原编码,该函数返回一个转换句柄,供以下两个函数使用。


int iconv_close(iconv_t cd);

此函数用于关闭转换句柄,释放资源


size_t iconv(iconv_t cd,
char **inbuf, size_t *inbytesleft,
char **outbuf, size_t *outbytesleft);

此函数从inbuf中读取字符,转换后输出到outbuf中,inbytesleft用以记录还未转换的字符数

,outbytesleft用以记录输出缓冲的剩余空间。


在使用iconv转码的时候,首先用iconv_open获取转码句柄,然后调用iconv转码,转完了后调用iconv_close关闭句柄。iconv函数中:

参数cd是用iconv_open调用返回的转码句柄;
参数inbuf指向需要转码的缓冲区;
参数inbytesleft是inbuf所保存的需要转码的字节数;
参数outbuf存放转码结果;
参数outbytesleft存放outbuf空间的大小。

如果调用成功,iconv返回转换的字节数(不可逆转调用的字节数,可逆转调用的字节数不包括在内)。否则返回-1,并设置相应的errno。
iconv逐步扫描inbuf,每转换一个字符,就增加inbuf,减少inbytesleft,并将结果存入outbuf,结果字节数存入outbytesleft。遇到下列情况将停止扫描并返回:

1. 多字节序列无效,这时候errno为EILSEQ,*inbuf指向第一个无效的字符;
2. 有字节留在inbuf尚未转换,errno为EINVAL;
3. outbuf空间不够,errno为E2BIG;
4. 正常转换完备。

对于iconv函数,还有两种调用情况:

1. inbuf或者*inbuf为NULL,outbuf和*outbuf不为NULL,iconv会设置转换状态为初始状态,并保存转换序列到*outbuf。如果outbuf空间不足,errno会设置为E2BIG,返回(size_t)(-1);
2. inbuf或者*inbuf为NULL,outbuf或者*outbuf也为NULL,iconv设置转换状态为初始状态。


点击(此处)折叠或打开

  1. /* f.c : 代码转换示例C程序 */
  2. #include<iconv.h>
  3. #include
  4. #include

  5. #define OUTLEN 255

  6. main()
  7. {
  8. int rc;
  9. char *in_utf8 = "姝e?ㄥ??瑁?";
  10. char *in_gb2312 = "正在安装";
  11. char out[OUTLEN];

  12. //unicode码转为gb2312码
  13. rc = u2g(in_utf8,strlen(in_utf8),out,OUTLEN);
  14. printf("unicode-->gb2312 out=%sn",out);
  15. //gb2312码转为unicode码
  16. rc = g2u(in_gb2312,strlen(in_gb2312),out,OUTLEN);
  17. printf("gb2312-->unicode out=%sn",out);
  18. }
  19. //代码转换:从一种编码转为另一种编码
  20. int code_convert(char *from_charset,char *to_charset,char *inbuf,int inlen,char *outbuf,int outlen)
  21. {
  22. iconv_t cd;
  23. int rc;
  24. char **pin = &inbuf;
  25. char **pout = &outbuf;

  26. cd = iconv_open(to_charset,from_charset);

  27. if (cd == 0) return -1;
  28. memset(outbuf,0,outlen);

  29. if (iconv(cd,pin,&inlen,pout,&outlen)==-1) return -1;
  30. iconv_close(cd);
  31. return 0;
  32. }

  33. //UNICODE码转为GB2312码
  34. int u2g(char *inbuf,int inlen,char *outbuf,int outlen)
  35. {
  36. return code_convert("utf-8","gb2312",inbuf,inlen,outbuf,outlen);
  37. }
  38. //GB2312码转为UNICODE码
  39. int g2u(char *inbuf,size_t inlen,char *outbuf,size_t outlen)
  40. {
  41. return code_convert("gb2312","utf-8",inbuf,inlen,outbuf,outlen);
  42. }

注:此程序没有问题,只是linux不支持GBK编码。


有兴趣的同学可以看看这篇博文,几种常见字符编码方式详解及由来:http://flyleave.iteye.com/blog/339747

    ICONV库是GNU提供的开源编码转换库,在LINUX下已经默认包含于系统中。对于开发者来说,已经存在/usr/include/iconv.h文件,链接时无需加入库名称。

阅读(4398) | 评论(0) | 转发(1) |
给主人留下些什么吧!~~