bash 数组和mySQL操作

Bash shell中使用数组变量 , 其赋值/定义有两种 :
1. name=(value1 ... valuen) 此时下标从0开始，也可以这样做：name=([1]=a [2]=b [0]=c)
2. name[index] =value
3. declare -a arrayname=(element1 element2 element3)
4. declare -a Unix=('Debian' 'Red hat' 'Red hat' 'Suse' 'Fedora') # 如果单个元素包括括号

操作方式：
1. 数组长度：${#arrary[@]}

2. 遍历数组：for i in ${array[@]} ; do ; echo $i  或者如下：
先得到这个数组的有效索引：${!array[@]}，然后利用 array[$index]来操作。例如：A={[1]=2 [3]=4 [4]=5}
for idx in ${!A[@]} ; do echo ${idx}_${A[$idx]} ; done
需要注意的是 ${A[*]}与${A[@]}的区别：
当两者都没有用""括起来的时候也就是${A[@]} ${A[*]}的效果是一样的，但是有了""
"${A[@]}" ：最大限度的保持原意，比如A[1]='a   b' 那么这样输出的也是a  b这是一个整体，而如果没有""，这输出的是a b这是两个元素！
"${A[*]}"：所有的元素都变成一个字符串了，也就是一个整体

3. 取某一个元素：array[index]，如果单个元素里面包含多个空格，那么保留这多个空格需要""，比如echo "${array[2]}"

4. 使一个字符串变bash shell 数组，可以放在文件里面，然后source file，但是这个file里面的内容的是：array=(value1 value2 ... valuen)这种形式，还有一种最简单的做法：array=(`cat filename`)（此时filename里面就不是array=这种形式了，而是直接value1 value2 value3...） 或者array=(content)

5. 清除一个数组，清0, unset arrayname

6. 连接两个数组，array=("${array1[@]}" "${array2[@]}")，用""的目的是防止元素本身包含空格，前面已经提到过


7. 复制一个数组，跟上面连接一样array=("${array1[@]}")


8. 数组添加元素，原理也跟上面一样array=("${array1[@]}" "xx")


9. 提取数组的元素，${array[@]:3:2} 从第三个位置开始，取两个元素。如果是针对一个元素提取（相当于substring）${array[index]:start:len}



From：http://blog.csdn.net/zbszhangbosen/article/details/7786477
貌似bash shell中没有多维数组，那么该怎么实现呢？我自己想了一个比较笨的方法，这个方法也得对数据的组织形式有要去：
普通的我们一维数组是这样的：
a=(1 2 3 4 5 6)
假设需要一个二维数组：
b=(1 2 3,
4 5 6,
7 8 9)
当然这种写法是不对的，只是便于理解而已。此时我们可以再构造二维数组之前写一个这样的二维数组：
a=('1 2 3'  '4 5 6'  '7 8 9')
然后我们可以利用
for  i  in "${a[@]}" ; do 
echo $i #这一步就得到了每一行，而如果我们需要二维数组，那么可以这样做 
done


for i in "${a[@]}" ; do
b=($i) #此时b就相当于二维数组里面的一维数组了，然后可以再次遍历
for j in "${b[@]}"; do
#do someting
done
done
其实我们有时候完全可以这样做：构造成这样：a=(1 2 3 4 5 6 7 8 9)，然后操作的时候利用第i行j列的元素等于i*len+j，len是数组的第二维度大小，这样做有时候更简单，但是就必须得控制一下边界了，比如3*3的数组，你可能初始化只给出8个元素。

================

1. 连接mysql 数据库

shell中连接数据库的方法很简单，只需要指定用户名，密码，连接的数据库名称，然后通过重定向，输入mysql的语句，如下所示：

mysql -u USERNAME -p PASSWORD DATABASENAME <<EOF 2>/dev/null show databases; EOF

但这并不是一个好办法，任何使用该脚本的用户都能看到该数据库用户的账号和密码，要解决这个问题，可以用mysql 数据库的一个特殊配置文件。mysql 数据库使用$HOME/.my.cnf 文件来读取特殊的启动命令和设置。其中一项设置是由该用户账户发起的mysql 会话的默认密码。要在这个文件中设置默认密码，可以加入下面的内容：

[client] password = 123456

然后，别忘了修改权限：

chmod 400 .my.cnf

这样就可以通过脚本访问mysql数据库了，如下所示：

#!/bin/bash MYSQL=`which mysql` $MYSQL test -u root << EOF
show databases; show tables; select * from employees where salary > 4000; EOF

2. 创建数据库

通过上面的方法连接数据库，再通过重定向输入mysql语句，shell中读写mysql基本就介绍完了。只要把sql语句写对了，通过重定向执行即可，下面来看一个实例：

#!/bin/bash ############################## # @file create_db_mysql.sh # @brief create database and tables in mysql # @author Mingxing LAI # @version 0.1 # @date 2013-01-20 ############################## USER="root" DATABASE="students" TABLE="students" ###################### #crate database mysql -u $USER << EOF 2>/dev/null CREATE DATABASE $DATABASE
EOF [ $? -eq 0 ] && echo "created DB" || echo DB already exists ###################### #create table mysql -u $USER $DATABASE << EOF 2>/dev/null CREATE TABLE $TABLE( id int, name varchar(100), mark int, dept varchar(4) ); EOF [ $? -eq 0 ] && echo "Created table students" || echo "Table students already exist" ###################### #delete data mysql -u $USER $DATABASE << EOF 2>/dev/null DELETE FROM $TABLE; EOF

这个脚本比较简单，就是几条SQL语句，没什么好解释的，下面来看一下，如何读入csv 文件，然后插入到mysql数据库中。

3. 插入csv 文件

上面创建了一个学生表，表中有学生的学号，姓名，成绩，系别，假设有一个csv文件，内容如下：

$cat data 1,Navin M,98,CS 2,Kavya N,70,CS 3,Nawaz O,80,CS 4,Hari S,80,EC 5,Alex M,50,EC 6,Neenu J,70,EC 7,Bob A,30,EC 8,Anu M,90,AE 9,Sruthi,89,AE 10,Andrew,89,AE

为了将csv 文件插入到数据库，我们需要逐行读入，然后给字符串加上双引号，最后生成语句如下：

insert into students VALUES(1, "Navin M", 98, "CS");

要解析csv 文件，最好的工具莫过于awk了，将域的分隔符指定为逗号-F,，awk就自动将各个域拆分出来了，然后在需要双引号的地方打印输出一个双引号，就能够轻松得到下面这样的数据：

1, "Navin M", 98, "CS"

awk 代码如下：

query=`echo $line | awk -F, '{ printf("%s,\"%s\",%s,\"%s\"", $1, $2, $3, $4)}'` statement=`echo "INSERT INTO $TABLE VALUES($query);"` echo $statement

当然了，你也可以用其他办法，不过，几乎没有比awk更简单的了，第2种方法如下：

oldIFS=$IFS
IFS=, values=($line) values[1]="\"`echo ${values[1]} | tr ' ' '#' `\"" values[3]="\"`echo ${values[3]}`\"" query=`echo ${values[@]} | tr ' #' ', '` IFS=$oldIFS

statement=`echo "INSERT INTO $TABLE VALUES($query);"` echo "$statement"

首先通过指定域分隔符，将csv文件解析成一个数组，然后将空格替换成一个特殊的符号"#"（因为后面的替换中，会一次性输出数组，而数组是用空格分隔各字段,我们要将分隔数组的空格替换成逗号，所以这里将数据中的空格替换成"#"） ，给字符串加上双引号，最后再把空格替换成逗号，把"#"替换为空格。这种方法真是让人抓狂，我第一次就没有看明白，尤其是为什么要将空格替换成"#"。

完整的插入数据的程序如下：

#!/bin/bash # # @file write_to_db_mysql.sh # @brief wirte data to database in mysql # @author Mingxing LAI # @version 0.1 # @date 2013-01-20 # USER="root" DATABASE="students" TABLE="students" if [ $# -ne 1 ]; then echo $0 DATAFILE
    echo exit 2 fi data=$1 while read line; do #   query=`echo $line | awk -F, '{ printf("%s,\"%s\",%s,\"%s\"", $1, $2, $3, $4)}'` oldIFS=$IFS
    IFS=, values=($line) values[1]="\"`echo ${values[1]} | tr ' ' '#' `\"" values[3]="\"`echo ${values[3]}`\"" query=`echo ${values[@]} | tr ' #' ', '` IFS=$oldIFS

    statement=`echo "INSERT INTO $TABLE VALUES($query);"` #   echo $statement mysql -u $USER $DATABASE << EOF
    INSERT INTO $TABLE VALUES($query); EOF done < $data if [[ $? -eq 0 ]]; then echo "Wrote data into DB" fi

4. 读取数据

知道怎么在shell 中连接mysql ，也知道了怎么在shell中批量执行sql 语句，读取数据，就没有任何难度了。

#!/bin/bash # # @file read_db_mysql.sh # @brief read data from mysql # @author Mingxing LAI # @version 0.1 # @date 2013-01-20 # USER="root" DATABASE="students" TABLE="students" #用tail 去掉表头 depts=`mysql -u $USER $DATABASE < for d in $depts; do echo Department: $d
    result="`mysql -u $USER $DATABASE << EOF
    set @i:=0;
    SELECT @i:=@i+1 as rank, name, mark FROM students WHERE dept="$d" ORDER BY mark DESC;
EOF`" echo "$result" echo done

我们还可以在mysql语句中，使用选项来控制数据的输出格式

• -H 输出为html
• -X 输出为xml

如下所示：

#!/bin/bash USER="root" DATABASE="students" TABLE="students" mysql -u $USER $DATABASE -H << EOF select * from $TABLE
EOF

html 格式的可读性比较差，输出效果如下：

 BORDER=1>idnamemarkdept1Navin M98CS2 Kavya N70CS3 Nawaz O80CS4Hari S80EC5Alex M50EC6Neenu J70EC7Bob A30EC8Anu M90AE9Sruthi89AE10Andrew89AE

可读性差也可以理解，因为人家觉得，你没必要修改么，直接以html形式展示数据就可以了。

id	name	mark	dept
1	Navin M	98	CS
2	Kavya N	70	CS
3	Nawaz O	80	CS
4	Hari S	80	EC
5	Alex M	50	EC
6	Neenu J	70	EC
7	Bob A	30	EC
8	Anu M	90	AE
9	Sruthi	89	AE
10	Andrew	89	AE

xml形式的数据显示就比较正常了，直接将上面的-H 换成-X,输出如下：

xml version="1.0"?>  statement="select * from students
" xmlns:xsi="">   name="id">1  name="name">Navin M  name="mark">98  name="dept">CS    name="id">2  name="name"> Kavya N  name="mark">70  name="dept">CS  

完。