cloudstack4.5.1+kvm+ceph 私有云架设问题个人汇总（随笔更新）

http://blog.sina.com.cn/s/blog_3dd53f260102vv0c.html

cloudstack4.5.1+kvm+ceph 私有云架设问题个人汇总（随笔更新）

  (2015-06-17 11:25:56)

转载▼

标签：  宠物

分类： cloudstack kvm ceph

基本服务器数量
管理+二级存储  ubuntu14.10*1
计算节点            ubuntu14.10*4
一，在安装CS的时候， 初始化管理程序，遇到日志
javax.naming.ConfigurationException: cluster node IP should be valid local address where the server is running, please check your configuration

在/etc/cloudstack/management/db.properties里 cluster.node.IP=*.*.*.* 这里改成新的ip，然后初始化管理程序成功。
二，初始化数据库的时候， 

cloud-setup-databases cloud:dell_456@localhost --deploy-as=root:dell_456
如果报这个错，

We apologize for below error:

***************************************************************

Encountering an error when executing mysql script

----------------------------------------------------------------------

table:

/usr/share/cloud/setup/create-database.sql

 

Error:

ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2) # 这说明你的mysql还没有启动，需要手动启动

 

 

Sql parameters:

{'passwd': 'dell_456', 'host': 'localhost', 'user': 'root', 'port': 3306}

----------------------------------------------------------------------

 

***************************************************************

Please run:

 

cloud-setup-database -h

三，ubuntu14.10时安装nfs遇到的问题

1先安装
sudo apt-get install nfs-kernel-server
(安装nfs-kernel-server时，apt会自动安装nfs-common和portmap）


分开看就是
1.服务器端：sudo apt-get install portmap
2.服务器端：sudo apt-get install nfs-kernel-server
3.客户端：sudo apt-get install nfs-common

2配置nfs
sudo vim /etc/exports     

在末尾一行加入
/home/book/work *(rw,sync,no_root_squash,no_subtree_check)

这一行的含义
/home/book/work 与nfs服务客户端共享的目录，
*：允许所有的网段访问，也可以使用具体的IP
rw：挂接此目录的客户端对该共享目录具有读写权限
sync：资料同步写入内存和硬盘
no_root_squash：root用户具有对根目录的完全管理访问权限。
no_subtree_check：不检查父目录的权限。更多的参数说明我在文章下面贴出来了！

设置 /home/book/work目录权限
sudo chmod 777 work -R

重启服务：
#sudo /etc/init.d/portmap restart <---重启portmap，
#sudo /etc/init.d/nfs-kernel-server restart <---重启nfs服务
#showmount -e <---显示共享出的目录

另：nfs是一个RPC程序，使用它前，经常要映射好端口，通过portmap设定,不过我这里没设

重启nfs服务有2种方式
book@ubuntu:/mnt$ sudo /etc/init.d/nfs-kernel-server restart
* Stopping NFS kernel daemon [ OK ]
* Unexporting directories for NFS kernel daemon... [ OK ]
* Exporting directories for NFS kernel daemon... [ OK ]
* Starting NFS kernel daemon [ OK ]

book@ubuntu:/mnt$ sudo service nfs-kernel-server restart
* Stopping NFS kernel daemon [ OK ]
* Unexporting directories for NFS kernel daemon... [ OK ]
* Exporting directories for NFS kernel daemon... [ OK ]
* Starting NFS kernel daemon [ OK ]

现在可以在本机上试一下：
sudo mount -t nfs localhost:/home/book/work /mnt
sudo mount 127.0.0.1:/home/book/work /mnt
注：localhost为本机linux的IP地址

这样就把共享目录挂到了/mnt目录，取消挂载用：
sudo umount /mnt

如果用在嵌入式设备上挂载，要加上参数-o nolock
mount -t nfs -o nolock 192.168.1.8:/home/book/work /mnt

============================================================
apt-cache search nfs

nfs 30000000 192.168.1.8:/home/book/work/fs.yaffs2
这和用tftp下载一样的效果
四，后台查看DNS，网关命令
nm-tool
重启网络服务命令
/etc/init.d/networking restart
五，剩下的安装步骤

下载vhd-util

$ sudo wget 

$ sudo mv vhd-util /usr/lib/cloud/common/scripts/vm/hypervisor/xenserver/

 安装配置MySQL数据库

$ sudo apt-get install mysql-server

在弹出的界面中输入密码，如: cloudstack

修改MySQL配置文件参数

$ sudo vim /etc/mysql/my.cnf

在[mysqld]模块中加入以下参数

1	innodb_rollback_on_timeout=1
2	innodb_lock_wait_timeout=600

3	max_connections=350
4	log-bin=mysql-bin

5	binlog-format = 'ROW'

重启MySQL

$ sudo service mysql restart

初始化数据库cloud

$ sudo cloud-setup-databases cloud:cloudstack@localhost --deploy-as=root:cloudstack -e file -m cloudstack -k cloudstack

01	Mysql user name:cloud                                           [ OK ]
02		Mysql user password:cloudstack                                  [ OK ]

03	Mysql server ip:localhost                                       [ OK ]
04	Mysql server port:3306                                          [ OK ]

05	Mysql root user name:root                                       [ OK ]
06		Mysql root user password:cloudstack                             [ OK ]

07		Checking Cloud database files ...                               [ OK ]
08	Checking local machine hostname ...                             [ OK ]

09	Checking SELinux setup ...                                      [ OK ]
10		Detected local IP address as 10.6.203.10,

11		will use as cluster management server node IP                   [ OK ]
12	Preparing /etc/cloud/management/db.properties                   [ OK ]

13	Applying /usr/share/cloud/setup/create-database.sql             [ OK ]
14	Applying /usr/share/cloud/setup/create-schema.sql               [ OK ]

15	Applying /usr/share/cloud/setup/create-database-premium.sql     [ OK ]
16	Applying /usr/share/cloud/setup/create-schema-premium.sql       [ OK ]

17		Applying /usr/share/cloud/setup/server-setup.sql                [ OK ]
18	Applying /usr/share/cloud/setup/templates.sql                   [ OK ]

19		Applying /usr/share/cloud/setup/create-index-fk.sql             [ OK ]
20	Processing encryption ...                                       [ OK ]

21	Finalizing setup ...                                            [ OK ]
22

23	CloudStack has successfully initialized database,
24	you can check your database configuration in /etc/cloud/management/db.properties

 

 准备System VM Template

我们选择KVM作为虚拟化引擎

$ sudo /usr/lib/cloud/common/scripts/storage/secondary/cloud-install-sys-tmplt -m /mnt/secondary \

-u 

整个过程大概需要花费半个小时

安装配置KVM虚拟化Host主机

5.1 安装配置Agent

$ sudo apt-get install cloud-agent

5.2 安装配置libvirt

$ sudo vim /etc/libvirt/libvirtd.conf

修改以下配置

1	listen_tls = 0
2	listen_tcp = 1

3	tcp_port = "16059"
4	auth_tcp = "none"

5	mdns_adv = 0

查看配置

$ cat /etc/libvirt/libvirtd.conf | grep -v '#' | grep -v "^$"

1	listen_tls = 0
2	listen_tcp = 1

3	tcp_port = "16509"
4	mdns_adv = 0

5	unix_sock_group = "libvirtd"
6	unix_sock_rw_perms = "0770"

7	auth_unix_ro = "none"
8	auth_unix_rw = "none"

9	auth_tcp = "none"

$ sudo vim /etc/init/libvirt-bin.conf

修改以下参数

1	env libvirtd_opts="-d -l"

# sudo vim /etc/libvirt/qemu.conf

修改以下参数

1	vnc_listen = "0.0.0.0"

重启服务

$ sudo service libvirt-bin restart

5.3 配置安全策略

$ sudo dpkg --list "apparmor"

1	Desired=Unknown/Install/Remove/Purge/Hold
2	| Status=Not/Inst/Conf-files/Unpacked/halF-conf/Half-inst/trig-aWait/Trig-pend

3		|/ Err?=(none)/Reinst-required (Status,Err: uppercase=bad)
4	||/ Name                                Version                             Description

5	+++-===================================-===================================-======================================================================================
6		ii  apparmor

7	2.7.102-0ubuntu3.1                  User-space parser utility for AppArmor

$ sudo ln -s /etc/apparmor.d/usr.sbin.libvirtd /etc/apparmor.d/disable/

$ sudo ln -s /etc/apparmor.d/usr.lib.libvirt.virt-aa-helper /etc/apparmor.d/disable/

$ sudo apparmor_parser -R /etc/apparmor.d/usr.sbin.libvirtd

$ sudo apparmor_parser -R /etc/apparmor.d/usr.lib.libvirt.virt-aa-helper

5.4 配置网桥

需要注意的是，官方文档给出的配置参数会导致网络不可用。

正确的配置是将物理网卡设置为manual，然后在虚拟网卡上设置IP并桥接到物理网卡上。

$ sudo vim /etc/network/interfaces

01	# This file describes the network interfaces available on your system
02	# and how to activate them. For more information, see interfaces(5).

03
04	# The loopback network interface

05	auto lo
06	iface lo inet loopback

07
08	# The primary network interface

09	auto eth0
10	iface eth0 inet manual

11
12	# Public network

13	auto cloudbr0
14	iface cloudbr0 inet static

15	address 10.6.203.10
16	netmask 255.255.0.0

17	gateway 10.6.255.1
18	bridge_ports eth0

19	bridge_fd 5
20	bridge_stp off

21	bridge_maxwait 1
22	dns-nameservers 10.6.255.253 61.139.2.69

23
24	# Private network

25	auto cloudbr1
26	iface cloudbr1 inet manual

27	bridge_ports eth0
28	bridge_fd 5

29	bridge_stp off
30	bridge_maxwait 1

$ sudo /etc/init.d/networking restart

$ sudo /etc/init.d/networking start

5.5 配置防火墙

$ sudo ufw allow proto tcp from any to any port 22

$ sudo ufw allow proto tcp from any to any port 80

$ sudo ufw allow proto tcp from any to any port 1798

$ sudo ufw allow proto tcp from any to any port 16509

$ sudo ufw allow proto tcp from any to any port 5900:6100

$ sudo ufw allow proto tcp from any to any port 49152:49216

6. 用户界面

禁用系统默认的tomcat服务

$ sudo /etc/init.d/tomcat6 stop

1	* Stopping Tomcat servlet engine tomcat6 [ OK ]

$ sudo update-rc.d -f tomcat6 remove

1	Removing any system startup links for /etc/init.d/tomcat6 ...
2	/etc/rc0.d/K08tomcat6

3	/etc/rc1.d/K08tomcat6
4	/etc/rc2.d/S92tomcat6

5	/etc/rc3.d/S92tomcat6
6	/etc/rc4.d/S92tomcat6

7	/etc/rc5.d/S92tomcat6
8	/etc/rc6.d/K08tomcat6

启动cloud-management

$ cd ~

$ sudo /etc/init.d/cloud-management restart

1	* Starting CloudStack-specific Tomcat servlet engine cloud-management [ OK ]

登陆用户界面

默认账号密码

admin/password