mysql字符集乱码问题

MySQL处理连接时，外部连接发送过来的SQL请求会根据以下顺序进行转换：

character_set_client           //客户连接所采用的字符集
|
character_set_connection  //MySQL连接字符集
|
character_set_database    //数据库所采用的字符集（表，列）
|
character_set_results        //客户机显示所采用的字符集


一. 产生乱码的根本原因在于：


1.客户机没有正确地设置client字符集，导致原先的SQL语句被转换成connection所指字符集，而这种转换，是会丢失信息的，如果client是utf8格式，那么如果转换成gb2312格式，这其中必定会丢失信息，反之则不会丢失。一定要保证connection的字符集大于client字符集才能保证转换不丢失信息。


2. 数据库字体没有设置正确，如果数据库字体设置不正确，那么connection字符集转换成database字符集照样丢失编码，原因跟上面一样。


二.为什么set names 'gb2312'就可以了呢


set names 'gb2312'相当于这三条语句:


set character_set_client = gb2312;

set character_set_connection = gb2312;

set character_set_results = gb2312;


这样做的话，上述产生乱码的原因1就不存在了，因为编码格式都统一了，但是这样做并不是万金油。原因有：

1.你的client不一定是用gb2312编码发送SQL的，如果编码不是gb2312那么转换成gb2312就会产生问题。

2.你的数据库中的表不一定是gb2312格式，如果不是gb2312格式而是其他的比如说latin1，那么在存储字符集的时候就会产生信息丢失。

综上，终极解决方案如下:

1.首先要明确你的客户端时候何种编码格式，这是最重要的（IE6一般用utf8，命令行一般是gbk，一般程序是gb2312)

2.确保你的数据库使用utf8格式，很简单，所有编码通吃。

3.一定要保证connection字符集大于等于client字符集，不然就会信息丢失，比如latin1


若设置set character_set_client = gb2312，那么至少connection的字符集要大于等于gb2312，否则就会丢失信息

4.以上三步做正确的话，那么所有中文都被正确地转换成utf8格式存储进了数据库，为了适应不同的浏览器，不同的客户端，你可以修改character_set_results来以不同的编码显示中文字体，由于utf8是大方向，因此web应用是我还是倾向于使用utf8格式显示中文的。


我现在在mysql上遇到一个问题,我们的字符集是gb2312.在中文模糊查找时,会有不相关的结果集.

从问题的根本原因分析，还有下面的问题。
例： 
汉字“不”的第1、2字节ascii值分别为：178与187 
汉字“安”的第1、2字节ascii值分别为：176与178 
汉字“花”的第1、2字节ascii值分别为：187与168 

聪明的人已经看出来了：在字符串“安花”中模糊查找字符“不”字时，mysql系统也会认为两者匹配!


出现这个问题的原因是：MySQL在查询字符串时是大小写不敏感的，在编绎MySQL时一般以ISO-8859字符集作为默认的字符集，因此在比较过程中中文编码字符大小写转换造成了这种现象。


方法一:
解决方法是对于包含中文的字段加上"binary"属性，使之作为二进制比较，例如将"name char(10)"改成"name char(10)binary"。 


方法二:
如果你使用源码编译MySQL，可以编译MySQL时使用--with--charset=gbk 参数，这样MySQL就会直接支持中文查找和排序了。


方法三:
可以使用 Mysql 的 locate 函数来判断。以上述问题为例,使用方法为:

SELECT * FROM table WHERE locate(field,'李') > 0;
本站使用的就是这种方法，感觉还不错。:P


方法四:
把您的Select语句改成这样,SELECT * FROM TABLE WHERE FIELDS LIKE BINARY '%FIND%'即可!


升级的根本，如果想使用“正确”的字符集，还是先用mysqldump导出成文件，然后导入。 



数据库编码格式为utf8,表和字段也都是utf8,存进去的格式是utf-8

但是用命令行工具查询命令select * from 表名; 查询出来的中文是乱码

原因:MySQL客户端根本就不能以utf8的形式返回数据

解决如下： SET NAMES GB2312;   在命令行执行即可解决。


关于GBK、GB2312、UTF8


UTF- 8：Unicode Transformation Format-8bit，允许含BOM，但通常不含BOM。是用以解决国际上字符的一种多字节编码，它对英文使用8位（即一个字节），中文使用24为（三个字节）来编码。UTF-8包含全世界所有国家需要用到的字符，是国际编码，通用性强。UTF-8编码的文字可以在各国支持UTF8字符集的浏览器上显示。如，如果是UTF8编码，则在外国人的英文IE上也能显示中文，他们无需下载IE的中文语言支持包。


GBK是国家标准GB2312基础上扩容后兼容GB2312的标准。GBK的文字编码是用双字节来表示的，即不论中、英文字符均使用双字节来表示，为了区分中文，将其最高位都设定成1。GBK包含全部中文字符，是国家编码，通用性比UTF8差，不过UTF8占用的数据库比GBK大。


GBK、GB2312等与UTF8之间都必须通过Unicode编码才能相互转换：

GBK、GB2312－－Unicode－－UTF8

UTF8－－Unicode－－GBK、GB2312


对于一个网站、论坛来说，如果英文字符较多，则建议使用UTF－8节省空间。不过现在很多论坛的插件一般只支持GBK。


GB2312是GBK的子集，GBK是GB18030的子集

GBK是包括中日韩字符的大字符集合

如果是中文的网站 推荐GB2312 GBK有时还是有点问题

为了避免所有乱码问题，应该采用UTF-8，将来要支持国际化也非常方便

UTF-8可以看作是大字符集，它包含了大部分文字的编码。

使用UTF-8的一个好处是其他地区的用户（如香港台湾）无需安装简体中文支持就能正常观看你的文字而不会出现乱码。


gb2312是简体中文的码

gbk支持简体中文及繁体中文

big5支持繁体中文

utf-8支持几乎所有字符

MySQL中涉及的几个字符集


character-set-server/default-character-set：服务器字符集，默认情况下所采用的。

character-set-database：数据库字符集。

character-set-table：数据库表字符集。


优先级依次增加。所以一般情况下只需要设置character-set-server，而在创建数据库和表时不特别指定字符集，这样统一采用character-set-server字符集。


character-set-client：客户端的字符集。客户端默认字符集。当客户端向服务器发送请求时，请求以该字符集进行编码。

character-set-results：结果字符集。服务器向客户端返回结果或者信息时，结果以该字符集进行编码。


在客户端，如果没有定义character-set-results，则采用character-set-client字符集作为默认的字符集。所以只需要设置character-set-client字符集。


要处理中文，则可以将character-set-server和character-set-client均设置为GB2312，如果要同时处理多国语言，则设置为UTF8。


关于MySQL的中文问题


解决乱码的方法是，在执行SQL语句之前，将MySQL以下三个系统参数设置为与服务器字符集character-set-server相同的字符集。

character_set_client：客户端的字符集。
character_set_results：结果字符集。
character_set_connection：连接字符集。


设置这三个系统参数通过向MySQL发送语句：set names gb2312 



mysql> show variables like '%character%';




+--------------------------+--------------------------------+
| Variable_name            | Value                          |
+--------------------------+--------------------------------+
| character_set_client     | utf8                           |
| character_set_connection | utf8                           |
| character_set_database   | utf8                           |
| character_set_filesystem | binary                         |
| character_set_results    | utf8                           |
| character_set_server     | utf8                           |
| character_set_system     | utf8
 
说明服务器端设置正常
然后我又用linux远程连接mysql，查询结果中文乱码
再次查看编码方式：


mysql> show variables like '%character%';


+--------------------------+--------------------------------+
| Variable_name            | Value                          |
+--------------------------+--------------------------------+
| character_set_client     | latin1                         |
| character_set_connection | latin1                         |
| character_set_database   | utf8                           |
| character_set_filesystem | binary                         |
| character_set_results    | latin1                         |
| character_set_server     | utf8                           |
| character_set_system     | utf8



每次查询前设置查询结果集编码为utf8 即set character_set_results=utf8  


解决Mysql导入乱码问题

方法一: 通过增加参数 –default-character-set = utf8 解决乱码问题 


C:\Users\Administrator>mysql -uroot -p yktgl < F:\YIKATONG\application\gl.sql --default-character-set=utf8


方法二: 在命令行导入乱码解决

1.mysql>use gl; 
2.mysql> set names utf8; 
3.mysql>source example.sql 
mysql -u root -p --default-character-set=utf8 
use dbname 
source /root/newsdata.sql

方法三: 直接粘贴sql文件里的代码 
1. 打开SQLyog客户端软件; 
2. 定位到SQL编辑器，然后用记事本打开刚刚导出的SQL文件; 
3. 复制文件中所有SQL语句到SQL编辑器当中，执行这些SQL代码;




二、导出数据
mysqldump -u root -p --default-character-set=utf8 gl> gl.sql
  
定义编码导入
mysql -u root -p --default-character-set=utf8 -f discuss_chi 如还是乱码使用二进导入

mysql -u root -p --default-character-set=binary -f discuss_chi  
还是不行，导出和导入都使用二进方式

导出
mysqldump -u root -p --default-character-set=binary discuss_chi> dis.sql 


导入
mysql -u root -p --default-character-set=binary -f discuss_chi



统一字符集保证不乱码：建议中英文环境选择utf8


1.linux系统语言
/etc/sysconfig/i18n
LANG="zh_CN.utf8"
 
2.mysql客户端
临时：
set names utf8;
永久：
配置文件my.cnf
[client]
default-charater-set=utf8


3.mysql服务端
[mysqld]
character-set-server=utf8
 
4.mysql建库建表语句
指定字符集建库
create database oldboy_utf8 default character set uft8 collate utf8_general_ci;
指定字符集建表
create table student (
id int(4) not null auto_increment,
name char(20) not null,
primary key(id)
)engine=inonodb auto_increment=10 default charset=utf8
 
5.开发程序的字符集


模拟将latin1字符集的数据库修改成GBK字符集的实际过程


1.导出表结构

mysqldump -uroot -p --default-character-set=latin1 -d dbname >alltatale.sql
--default-character-set=latin1 以latin1连接 -d只导表结构

2.编辑alltable.sql将latin1改成gbk
sed替换


3.确保数据库不在更新，导出所有数据
mysqldump -uroot -p --quick --no-create-info --extended-insert --default-character-set=latin1 dbname >alldata.sql 

4.打开alldata.sql将set names latin1修改成set names gbk;(或者修改系统的服务端和客户端）

5.建库

create database dbname default charset bgk;

6.创建表，执行alltable.sql

mysql -uroot -p dbname
7.导入数据
mysql -uroot -dbname < alldata.sql 


一，临时修改字符集
查看库表的字符集


show  create  database  库名\G；
根据结尾的字符集，进行临时修改

set  names 库表的字符集

二，永久更改字符集
这里说下不乱码的思想：把linux,Mysql客户端，Mysql服务端，库，表，程序的字符集全部统一（建议utf8）

1,改my.cnf

[client]
default-character-set=utf8
[mysqld]
default-character-set=utf8   #适合5.1及以前版本
character-set-server=utf8    #适合5.5版本
2,linux字符集修改

vim /etc/sysconfig/i18n   
LANG="zh_CN.UTF-8"
3，库，表

create  database  test_utf8   DEFAULT CHARACTER  SET  utf8   COLLATE  utf8_general_ci；

4，应用程序

选择utf8版本下载

5，查看当前字符集，字符集全部一样修改成功

show   variables   like  'character_set%'; 


MySQL的字符集支持(Character Set Support)有两个方面： 
1、字符集(Character set)
2、排序方式(Collation)。 
对于字符集的支持细化到四个层次: 
1、服务器(server)
2、数据库(database)
3、数据表(table)
4、连接(connection)
注意：MySQL对于字符集的指定可以细化到一个数据库，一张表，一列，应该用什么字符集。
###################################################################


第一问：mysql默认字符集能否进行修改呢？
1、修改配置文件：
[mysqld]
default-character-set = utf8 
default-collation=utf8_general_ci
#character_set_server = utf8
#[client]
#default-character-set=utf8
修改完后，重启mysql的服务，service mysql restart
2、命令修改（不推荐，除非有特殊情况）
mysql> SET character_set_client = utf8 ;  
mysql> SET character_set_connection = utf8 ;   
mysql> SET character_set_database = utf8 ;   
mysql> SET character_set_results = utf8 ;    
mysql> SET character_set_server = utf8 ;   
mysql> SET collation_connection = utf8 ;  
mysql> SET collation_database = utf8 ;   
mysql> SET collation_server = utf8 ; 
有时候设置了表的默认字符集为utf8并且通过UTF-8编码发送查询，存入数据库的仍然是乱码。那connection连接层上可能出了问题。

解决方法是在发送查询前执行一下下面这句： SET NAMES 'utf8';它相当于下面的三句指令：

SET character_set_client = utf8;
SET character_set_results = utf8;
SET character_set_connection = utf8;

注意：具体的参数和MySQL的安装方式以及版本有密切关系，比较成熟的版本默认字符集是utf-8，当然具体怎么定义，可参考官方文档。
###################################################################

第二问：查看MySQL默认字符集(默认情况下，mysql的字符集是latin1) 
通常，查看系统的字符集和排序方式的设定可以通过下面的两条命令：
SHOW VARIABLES LIKE 'character%'; 
SHOW VARIABLES LIKE 'collation_%'; 

###################################################################

第三问：传统的程序在创建数据库和数据表时并没有使用那么复杂的配置，它们用的是默认的配置，那么，默认的配置从何而来呢？ 
(1)编译MySQL 时，指定了一个MySQL默认的字符集，这个字符集是 latin1； 
(2)安装MySQL 时，可以在配置文件 (my.cnf，或者my.ini) 中指定一个默认的的字符集，如果没指定，这个值继承自编译时指定的； 
(3)启动mysqld 时，可以在命令行参数中指定一个默认的的字符集，如果没指定，这个值继承自配置文件中的配置,此时 character_set_server 被设定为这个默认的字符集；
(4)当创建一个新的数据库时，除非明确指定，这个数据库的字符集被缺省设定为character_set_server； 
(5)当选定了一个数据库时，character_set_database 被设定为这个数据库默认的字符集；  
(6)在这个数据库里创建一张表时，表默认的字符集被设定为 character_set_database，也就是这个数据库默认的字符集；
(7)当在表内设置一栏时，除非明确指定，否则此栏缺省的字符集就是表默认的字符集； 
简单的总结一下，如果什么地方都不修改，那么所有的数据库的所有表的所有栏位的都用 latin1 存储，不过我们如果安装 MySQL，一般都会选择多语言支持，也就是说，安装程序会自动在配置文件中把 default_character_set 设置为 UTF-8，这保证了缺省情况下，所有的数据库的所有表的所有栏位的都用 UTF-8 存储。
###################################################################


第四问：还有什么情况下会由于MySQL的原因导致乱码？
这种情况可能和使用高可用软件或者插件导致的，比如mysql-proxy等
例子：mysql proxy 乱码问题 
有时候通过proxy连上数据库之后，查到的字符串始终是乱码，即便手工执行了set names ‘utf8′也没有效果。
解决办法，mysql server必须设置
修改my.cnf文件
[mysqld]


skip-character-set-client-handshake
init-connect='SET NAMES utf8'
default-character-set=utf8
###################################################################


第五问：什么原因还会导致乱码问题？
1、浏览器问题
2、代理问题
3、代码字符集问题
4、数据库代理字符集问题





一、查看 MySQL 数据库服务器和数据库字符集


mysql> show variables like '%char%';
+--------------------------+-------------------------------------+------
| Variable_name            | Value                               |......
+--------------------------+-------------------------------------+------
| character_set_client     | utf8                                |......   -- 客户端字符集
| character_set_connection | utf8                                |......
| character_set_database   | utf8                                |......   -- 数据库字符集
| character_set_filesystem | binary                              |......
| character_set_results    | utf8                                |......
| character_set_server     | utf8                                |......   -- 服务器字符集
| character_set_system     | utf8                                |......
| character_sets_dir       | D:\MySQL Server 5.0\share\charsets\ |......
+--------------------------+-------------------------------------+------


二、查看 MySQL 数据表（table） 的字符集


mysql> show table status from sqlstudy_db like '%countries%';
+-----------+--------+---------+------------+------+-----------------+------
| Name      | Engine | Version | Row_format | Rows | Collation       |......
+-----------+--------+---------+------------+------+-----------------+------
| countries | InnoDB |      10 | Compact    |   11 | utf8_general_ci |......
+-----------+--------+---------+------------+------+-----------------+------


三、查看 MySQL 数据列（column）的字符集


mysql> show full columns from countries;
+----------------------+-------------+-----------------+--------
| Field                | Type        | Collation       | .......
+----------------------+-------------+-----------------+--------
| countries_id         | int(11)     | NULL            | .......
| countries_name       | varchar(64) | utf8_general_ci | .......
| countries_iso_code_2 | char(2)     | utf8_general_ci | .......
| countries_iso_code_3 | char(3)     | utf8_general_ci | .......
| address_format_id    | int(11)     | NULL            | .......
+----------------------+-------------+-----------------+--------


四、查看当前安装的 MySQL 所支持的字符集


mysql> show charset;
+----------+-----------------------------+---------------------+--------+
| Charset | Description                 | Default collation   | Maxlen |
+----------+-----------------------------+---------------------+--------+
| big5     | Big5 Traditional Chinese    | big5_chinese_ci     |      2 |
| dec8     | DEC West European           | dec8_swedish_ci     |      1 |
| cp850    | DOS West European           | cp850_general_ci    |      1 |
| hp8      | HP West European            | hp8_english_ci      |      1 |
| koi8r    | KOI8-R Relcom Russian       | koi8r_general_ci    |      1 |
| latin1   | cp1252 West European        | latin1_swedish_ci   |      1 |
| latin2   | ISO 8859-2 Central European | latin2_general_ci   |      1 |
| swe7     | 7bit Swedish                | swe7_swedish_ci     |      1 |
| ascii    | US ASCII                    | ascii_general_ci    |      1 |
| ujis     | EUC-JP Japanese             | ujis_japanese_ci    |      3 |
| sjis     | Shift-JIS Japanese          | sjis_japanese_ci    |      2 |
| hebrew   | ISO 8859-8 Hebrew           | hebrew_general_ci   |      1 |
| tis620   | TIS620 Thai                 | tis620_thai_ci      |      1 |
| euckr    | EUC-KR Korean               | euckr_korean_ci     |      2 |
| koi8u    | KOI8-U Ukrainian            | koi8u_general_ci    |      1 |
| gb2312   | GB2312 Simplified Chinese   | gb2312_chinese_ci   |      2 |
| greek    | ISO 8859-7 Greek            | greek_general_ci    |      1 |
| cp1250   | Windows Central European    | cp1250_general_ci   |      1 |
| gbk      | GBK Simplified Chinese      | gbk_chinese_ci      |      2 |
| latin5   | ISO 8859-9 Turkish          | latin5_turkish_ci   |      1 |
| armscii8 | ARMSCII-8 Armenian          | armscii8_general_ci |      1 |
| utf8     | UTF-8 Unicode               | utf8_general_ci     |      3 |
| ucs2     | UCS-2 Unicode               | ucs2_general_ci     |      2 |
| cp866    | DOS Russian                 | cp866_general_ci    |      1 |
| keybcs2 | DOS Kamenicky Czech-Slovak | keybcs2_general_ci |      1 |
| macce    | Mac Central European        | macce_general_ci    |      1 |
| macroman | Mac West European           | macroman_general_ci |      1 |
| cp852    | DOS Central European        | cp852_general_ci    |      1 |
| latin7   | ISO 8859-13 Baltic          | latin7_general_ci   |      1 |
| cp1251   | Windows Cyrillic            | cp1251_general_ci   |      1 |
| cp1256   | Windows Arabic              | cp1256_general_ci   |      1 |
| cp1257   | Windows Baltic              | cp1257_general_ci   |      1 |
| binary   | Binary pseudo charset       | binary              |      1 |
| geostd8 | GEOSTD8 Georgian            | geostd8_general_ci |      1 |
| cp932    | SJIS for Windows Japanese   | cp932_japanese_ci   |      2 |
| eucjpms | UJIS for Windows Japanese   | eucjpms_japanese_ci |      3 |
+----------+-----------------------------+---------------------+--------+
以上查看 MySQL 字符集命令，适用于 Windows & Linux
 
Liunx下修改MySQL字符集：


1.查找MySQL的cnf文件的位置


find / -iname '*.cnf' -print

/usr/share/mysql/my-innodb-heavy-4G.cnf
/usr/share/mysql/my-large.cnf
/usr/share/mysql/my-small.cnf
/usr/share/mysql/my-medium.cnf
/usr/share/mysql/my-huge.cnf
/usr/share/texmf/web2c/texmf.cnf
/usr/share/texmf/web2c/mktex.cnf
/usr/share/texmf/web2c/fmtutil.cnf
/usr/share/texmf/tex/xmltex/xmltexfmtutil.cnf
/usr/share/texmf/tex/jadetex/jadefmtutil.cnf
/usr/share/doc/MySQL-server-community-5.1.22/my-innodb-heavy-4G.cnf
/usr/share/doc/MySQL-server-community-5.1.22/my-large.cnf
/usr/share/doc/MySQL-server-community-5.1.22/my-small.cnf
/usr/share/doc/MySQL-server-community-5.1.22/my-medium.cnf
/usr/share/doc/MySQL-server-community-5.1.22/my-huge.cnf


2. 拷贝 small.cnf、my-medium.cnf、my-huge.cnf

    my-innodb-heavy-4G.cnf，其中的一个到/etc下命名为my.cnf


    cp /usr/share/mysql/my-medium.cnf /etc/my.cnf


3. 修改my.cnf


vi /etc/my.cnf

在[client]下添加

default-character-set=utf8

在[mysqld]下添加
default-character-set=utf8


4.重新启动MySQL


[root@bogon ~]# /etc/rc.d/init.d/mysql restart
Shutting down MySQL                                         [ 确定 ]
Starting MySQL.                                                  [ 确定 ]


[root@bogon ~]# mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 1
Server version: 5.1.22-rc-community-log MySQL Community Edition (GPL)
Type 'help;' or '\h' for help. Type '\c' to clear the buffer.


其他的一些设置方法：


修改数据库的字符集


mysql>use mydb
mysql>alter database mydb character set utf-8;
创建数据库指定数据库的字符集


mysql>create database mydb character set utf-8;
通过配置文件修改:


修改/var/lib/mysql/mydb/db.opt

default-character-set=latin1
default-collation=latin1_swedish_ci

为

default-character-set=utf8
default-collation=utf8_general_ci


重起MySQL:
[root@bogon ~]# /etc/rc.d/init.d/mysql restart


通过MySQL命令行修改:


mysql> set character_set_client=utf8;
Query OK, 0 rows affected (0.00 sec)


mysql> set character_set_connection=utf8;
Query OK, 0 rows affected (0.00 sec)


mysql> set character_set_database=utf8;
Query OK, 0 rows affected (0.00 sec)


mysql> set character_set_results=utf8;
Query OK, 0 rows affected (0.00 sec)


mysql> set character_set_server=utf8;
Query OK, 0 rows affected (0.00 sec)


mysql> set character_set_system=utf8;
Query OK, 0 rows affected (0.01 sec)


mysql> set collation_connection=utf8;
Query OK, 0 rows affected (0.01 sec)


mysql> set collation_database=utf8;
Query OK, 0 rows affected (0.01 sec)


mysql> set collation_server=utf8;
Query OK, 0 rows affected (0.01 sec)

清空缓存的方法主要用flush命令 为了执行FLUSH，你必须有reload权限

flush hosts主要是用来清空主机缓存表

flush logs主要是关闭当前的二进制日志文件并创建一个新文件

flush privileges主要是每当重新赋权后，为了以防万一，让新权限立即生效

flush tables主要是关闭所有打开的表，同时该操作将会清空查询缓存中的内容

flush tables with read lock主要是关闭所有打开的表同时对于所有数据库中的表都加一个读锁

flush status重置大多数状态变量到0

flush master删除所有的二进制日志索引文件中的二进制日志文件

flush query cache重整查询缓存，消除其中的碎片，提高性能

flush slave类似于重置复制，让从数据库忘记主数据库的复制位置