glibc带了一套转码函数iconv，使用方便，可识别的码很多，如果你的程序涉及到编码之间的转换，可考虑用它。在学习iconv转码编程之前，我们先看看iconv命令的用法。
$ iconv --list # 显示可识别的编码名称 $ iconv -f GB2312 -t UTF-8 a.html > b.html # 转换GB2312编码的文件a.html为UTF-8编码，存入b.html $ iconv -f GB2312 -t BIG5 a.html > b.html # 转换GB2312编码的文件a.html为BIG5编码，存入b.html
iconv编程涉及到以下glibc库的调用：
#includeiconv_t iconv_open(const char *tocode, const char *fromcode); int iconv_close(iconv_t cd); size_t iconv(iconv_t cd, char **inbuf, size_t *inbytesleft, char **outbuf, size_t *outbytesleft);
在使用iconv转码的时候，我们首先用iconv_open获取转码句柄，然后调用iconv转码，转完了后调用iconv_close关闭句柄。关于iconv函数，这里需要详细说说。
参数cd是用iconv_open调用返回的转码句柄；
参数inbuf指向需要转码的缓冲区；
参数inbytesleft是inbuf所保存的需要转码的字节数；
参数outbuf存放转码结果；
参数outbytesleft存放outbuf空间的大小。
如果调用成功，iconv返回转换的字节数（不可逆转调用的字节数，可逆转调用的字节数不包括在内）。否则返回-1，并设置相应的errno。
iconv逐步扫描inbuf，每转换一个字符，就增加inbuf，减少inbytesleft，并将结果存入outbuf，结果字节数存入outbytesleft。遇到下列情况将停止扫描并返回：
1. 多字节序列无效，这时候errno为EILSEQ，*inbuf指向第一个无效的字符；
2. 有字节留在inbuf尚未转换，errno为EINVAL;
3. outbuf空间不够，errno为E2BIG；
4. 正常转换完备。
对于iconv函数，还有两种调用情况：
1. inbuf或者*inbuf为NULL，outbuf和*outbuf不为NULL，iconv会设置转换状态为初始状态，并保存转换序列到*outbuf。如果outbuf空间不足，errno会设置为E2BIG，返回(size_t)(-1)；
2. inbuf或者*inbuf为NULL，outbuf或者*outbuf也为NULL，iconv设置转换状态为初始状态。
iconv命令的使用固然方便，可是如果转换过程中如果遇到问题则会停止转换，有时候我们希望跳过不能转换的字节序列继续转换。以下是我写的一段程序，能实现这种功能。
/** * siconv.cpp - A simple way to demostrate the usage of iconv calling * * Report bugs to marchday2004@yahoo.com.cn * July 15th, 2006 */ #include#include #include #include #include #include #include #include #include #ifdef DEBUG #define TRACE(fmt, args...) fprintf(stderr, "%s:%s:%d:"fmt, \ __FILE__, __FUNCTION__, __LINE__, ##args) #else #define TRACE(fmt, args...) #endif #define CONVBUF_SIZE 32767 extern int errno; void print_err(const char *fmt, ...) { va_list ap; va_start(ap, fmt); vfprintf(stderr, fmt, ap); va_end(ap); } int print_out(const char* buf, size_t num) { if (num != fwrite(buf, 1, num, stdout)) { return -1; } return 0; } void print_usage() { print_err("Usage: siconv -f encoding -t encoding [-c] " "input-file\n"); } int iconv_string(const char *from, const char *to, const char *src, size_t len, ::std::string& result, int c = 0, size_t buf_size = 512) { iconv_t cd; char *pinbuf = const_cast< char* >(src); size_t inbytesleft = len; char *poutbuf = NULL; size_t outbytesleft = buf_size; char *dst = NULL; size_t retbytes = 0; int done = 0; int errno_save = 0; if ((iconv_t)-1 == (cd = iconv_open(to, from))) { return -1; } dst = new char[buf_size]; while(inbytesleft > 0 && !done) { poutbuf = dst; outbytesleft = buf_size; TRACE("TARGET - in:%p pin:%p left:%d\n", src, pinbuf, inbytesleft); retbytes = iconv(cd, &pinbuf, &inbytesleft, &poutbuf, &outbytesleft); errno_save = errno; if (dst != poutbuf) // we have something to write { TRACE("OK - in:%p pin:%p left:%d done:%d buf:%d\n", src, pinbuf, inbytesleft, pinbuf-src, poutbuf-dst); result.append(dst, poutbuf-dst); } if (retbytes != (size_t)-1) { poutbuf = dst; outbytesleft = buf_size; (void)iconv(cd, NULL, NULL, &poutbuf, &outbytesleft); if (dst != poutbuf) // we have something to write { TRACE("OK - in:%p pin:%p left:%d done:%d buf:%d\n", src, pinbuf, inbytesleft, pinbuf-src, poutbuf-dst); result.append(dst, poutbuf-dst); } errno_save = 0; break; } TRACE("FAIL - in:%p pin:%p left:%d done:%d buf:%d\n", src, pinbuf, inbytesleft, pinbuf-src, poutbuf-dst); switch(errno_save) { case E2BIG: TRACE("E E2BIG\n"); break; case EILSEQ: TRACE("E EILSEQ\n"); if (c) { errno_save = 0; inbytesleft = len-(pinbuf-src); // forward one illegal byte inbytesleft--; pinbuf++; break; } done = 1; break; case EINVAL: TRACE("E EINVAL\n"); done = 1; break; default: TRACE("E Unknown:[%d]%s\n", errno, strerror(errno)); done = 1; break; } } delete[] dst; iconv_close(cd); errno = errno_save; return (errno_save) ? -1 : 0; } int conv_file_fd(const char* from, const char *to, int fd, ::std::string& result, int c) { struct stat st; void *start; if (0 != fstat(fd, &st)) { return -1; } start = mmap(NULL, st.st_size, PROT_READ, MAP_SHARED, fd, 0); if (MAP_FAILED == start) { return -1; } if (iconv_string(from, to, (char*)start, st.st_size, result, c, CONVBUF_SIZE) < 0) { int errno_save = errno; munmap(start, st.st_size); TRACE("\n"); errno = errno_save; return -1; } munmap(start, st.st_size); return 0; } int conv_file(const char* from, const char* to, const char* filename, int c) { ::std::string result; FILE *fp; if (NULL == (fp=fopen(filename, "rb"))) { print_err("open file %s:[%d]%s\n", filename, errno, strerror(errno)); return -1; } if (conv_file_fd(from, to, fileno(fp), result, c) < 0) { print_err("conv file fd:[%d]%s\n", errno, strerror(errno)); fclose(fp); return -1; } print_out(result.data(), result.size()); fclose(fp); return 0; } int main(int argc, char *argv[]) { #ifdef TESTCASE ::std::string strA = "欢迎(welcome ^_^)来到(to)首都北京。"; ::std::string strB = "大喊一声：We are chinese <=> 我们都是中国人。"; ::std::string strC = strA.substr(0, 20) + strB.substr(0, 41); ::std::string result; if (iconv_string("GBK", "UTF-8", strC.data(), strC.size(), result, 1) < 0) { TRACE("ERROR [%d]%s\n", errno, strerror(errno)); } TRACE("CONVERSION RESULT:"); result.append("\n"); print_out(result.data(), result.size()); return 0; #else ::std::string from, to; ::std::string input_file; int o; int c = 0; while (-1 != (c = getopt(argc, argv, "f:t:c"))) { switch(c) { case 'f': from = optarg; break; case 't': to = optarg; break; case 'c': c = 1; break; default: return -1; } } if (from.empty() || to.empty() || optind != (argc-1)) { print_usage(); return -1; } input_file = argv[optind++]; return conv_file(from.c_str(), to.c_str(), input_file.c_str(), c); #endif }
我们用内存映像文件解决文件太大内存缓冲不够的情况。相对于iconv命令，我们加了-c选项，以忽略转换过程中可能引发的问题。
$ g++ -o siconv siconv.cpp
如果在命令行加了-DDEBUG选项，会编译进调试语句，如果加了-DTESTCASE选项，则仅会编译对iconv_string函数测试的情况。
转自:http://www.devfront.com:8080/?q=node/138
感谢这篇文章,但是需要说明的是,在SCO UNIX506下,iconv是不具备上述功能的,所以需要额外的安装iconv.