MongoDB 安装及简单管理

博客分类：

声明：本篇博客非本人原作转载自：http://blog.163.com/venus_ke/blog/static/175484399201010895652190/


mongodb由C＋＋写就，其名字来自humongous这个单词的中间部分，从名字可见其野心所在就是海量数据的处理。关于它的一个最简洁描 述为：scalable, high-performance, open source, schema-free, document-oriented database。MongoDB的主要目标是在键/值存储方式（提供了高性能和高度伸缩性）以及传统的RDBMS系统（丰富的功能）架起一座桥梁，集两 者的优势于一身。
安装及使用：
首先在Ubuntu上安装MongoDB。
下载MongoDB, 现在最新的生产版本1.7.0
1.                   解压文件.
$ tar -xvf mongodb-linux-i686-1.4.3.tgz
2.                  为MongoDB创建数据目录，默认情况下它将数据存储在/data/db
$ sudo mkdir -p /data/db/
$ sudo chown `id -u` /data/db
3.                  启动MongoDB服务.
$ cd mongodb-linux-i686-1.4.3/bin
$ ./mongod
4.                  打开另一个终端，并确保你在MongoDB的bin目录，输入如下命令.
$ ./mongo
一些概念 一个mongod服务可以有建立多个数据库，每个数据库可以有多张表，这里的表名叫collection，每个collection可以存放多个文档 （document），每个文档都以BSON（binary json）的形式存放于硬盘中，因此可以存储比较复杂的数据类型。它是以单文档为单位存储的，你可以任意给一个或一批文档新增或删除字段，而不会对其它文 档造成影响，这就是所谓的schema-free，这也是文档型数据库最主要的优点。跟一般的key-value数据库不一样的是，它的value中存储 了结构信息，所以你又可以像关系型数据库那样对某些域进行读写、统计等操作。Mongo最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象 的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。Mongo还可以解决海量数据的查询效率，根据官方文档，当 数据量达到50GB以上数据时，Mongo数据库访问速度是MySQL10 倍以上。
BSON
BSON是Binary JSON 的简称，是一个JSON文档对象的二进制编码格式。BSON同JSON一样支持往其它文档对象和数组中再插入文档对象和数组，同时扩展了JSON的数据类型。如：BSON有Date类型和BinDate类型。
BSON被比作二进制的交换格式，如同Protocol Buffers，但BSON比它更“schema-less”，非常好的灵活性但空间占用稍微大一点。
BSON有以下三个特点：
1．  轻量级
2．  跨平台
3．  效率高
命名空间
MongoDB存储BSON对象到collections,这一系列的数据库名和collection名被称为一个命名空间。如同：java.util.List;用来管理数据库中的数据。
索引 mongodb可以对某个字段建立索引，可以建立组合索引、唯一索引，也可以删除索引，建立索引就意味着增加空间开销。默认情况下每个表都会有一个唯一索 引：_id，如果插入数据时没有指定_id，服务会自动生成一个_id，为了充分利用已有索引，减少空间开销，最好是自己指定一个unique的key为 _id，通常用对象的ID比较合适，比如商品的ID。

shell操作数据库：

   1.  超级用户相关：
         1. #进入数据库admin
use admin
         2. #增加或修改用户密码
          db.addUser('name','pwd')
         3. #查看用户列表
          db.system.users.find()
         4. #用户认证
          db.auth('name','pwd')
         5. #删除用户
          db.removeUser('name')
         6. #查看所有用户
          show users
         7. #查看所有数据库
          show dbs
         8. #查看所有的collection
          show collections
         9. #查看各collection的状态
          db.printCollectionStats()
        10. #查看主从复制状态
          db.printReplicationInfo()
        11. #修复数据库
          db.repairDatabase()
        12. #设置记录profiling，0=off 1=slow 2=all
          db.setProfilingLevel(1)
        13. #查看profiling
          show profile
        14. #拷贝数据库
          db.copyDatabase('mail_addr','mail_addr_tmp')
        15. #删除collection
          db.mail_addr.drop()
        16. #删除当前的数据库
          db.dropDatabase()
       
   2. 增删改
         1. #存储嵌套的对象
db.foo.save({'name':'ysz','address':{'city':'beijing','post':100096},'phone':[138,139]})

         2. #存储数组对象
db.user_addr.save({'Uid':'[e-mail]','Al':['[e-mail]','[e-mail]']})

         3. #根据query条件修改，如果不存在则插入，允许修改多条记录
            db.foo.update({'yy':5},{'$set':{'xx':2}},upsert=true,multi=true)
         4. #删除yy=5的记录
            db.foo.remove({'yy':5})
         5. #删除所有的记录
            db.foo.remove()

   3. 索引
         1. #增加索引：1(ascending),-1(descending)
         2. db.foo.ensureIndex({firstname: 1, lastname: 1}, {unique: true});
         3. #索引子对象
         4. db.user_addr.ensureIndex({'Al.Em': 1})
         5. #查看索引信息
         6. db.foo.getIndexes()
         7. db.foo.getIndexKeys()
         8. #根据索引名删除索引
         9. db.user_addr.dropIndex('Al.Em_1')

   4. 查询
         1. #查找所有
        2. db.foo.find()
        3. #查找一条记录
        4. db.foo.findOne()
        5. #根据条件检索10条记录
        6. db.foo.find({'msg':'Hello 1'}).limit(10)
        7. #sort排序
        8. db.deliver_status.find({'From':'[e-mail]'}).sort({'Dt',-1})
         9. db.deliver_status.find().sort({'Ct':-1}).limit(1)
        10. #count操作
        11. db.user_addr.count()
        12. #distinct操作,查询指定列，去重复
        13. db.foo.distinct('msg')
        14. #”>=”操作
        15. db.foo.find({"timestamp": {"$gte" : 2}})
        16. #子对象的查找
        17. db.foo.find({'address.city':'beijing'})
   5. 管理
         1. #查看collection数据的大小
         2. db.deliver_status.dataSize()
         3. #查看colleciont状态
         4. db.deliver_status.stats()
         5. #查询所有索引的大小
         6. db.deliver_status.totalIndexSize()

5.  advanced queries:高级查询

条件操作符
$gt : >
$lt : <
$gte: >=
$lte: <=
$ne : !=、<>
$in : in
$nin: not in
$all: all
$not: 反匹配(1.3.3及以上版本)

查询 name <> "bruce" and age >= 18 的数据
db.users.find({name: {$ne: "bruce"}, age: {$gte: 18}});

查询 creation_date > '2010-01-01' and creation_date <= '2010-12-31' 的数据
db.users.find({creation_date:{$gt:new Date(2010,0,1), $lte:new Date(2010,11,31)});

查询 age in (20,22,24,26) 的数据
db.users.find({age: {$in: [20,22,24,26]}});

查询 age取模10等于0 的数据
db.users.find('this.age % 10 == 0');
或者
db.users.find({age : {$mod : [10, 0]}});

匹配所有
db.users.find({favorite_number : {$all : [6, 8]}});
可以查询出{name: 'David', age: 26, favorite_number: [ 6, 8, 9 ] }
可以不查询出{name: 'David', age: 26, favorite_number: [ 6, 7, 9 ] }

查询不匹配name=B*带头的记录
db.users.find({name: {$not: /^B.*/}});
查询 age取模10不等于0 的数据
db.users.find({age : {$not: {$mod : [10, 0]}}});

#返回部分字段
选择返回age和_id字段(_id字段总是会被返回)
db.users.find({}, {age:1});
db.users.find({}, {age:3});
db.users.find({}, {age:true});
db.users.find({ name : "bruce" }, {age:1});
0为false, 非0为true

选择返回age、address和_id字段
db.users.find({ name : "bruce" }, {age:1, address:1});

排除返回age、address和_id字段
db.users.find({}, {age:0, address:false});
db.users.find({ name : "bruce" }, {age:0, address:false});

数组元素个数判断
对于{name: 'David', age: 26, favorite_number: [ 6, 7, 9 ] }记录
匹配db.users.find({favorite_number: {$size: 3}});
不匹配db.users.find({favorite_number: {$size: 2}});

$exists判断字段是否存在
查询所有存在name字段的记录
db.users.find({name: {$exists: true}});
查询所有不存在phone字段的记录
db.users.find({phone: {$exists: false}});

$type判断字段类型
查询所有name字段是字符类型的
db.users.find({name: {$type: 2}});
查询所有age字段是整型的
db.users.find({age: {$type: 16}});

对于字符字段，可以使用正则表达式
查询以字母b或者B带头的所有记录
db.users.find({name: /^b.*/i});

$elemMatch(1.3.1及以上版本)
为数组的字段中匹配其中某个元素

Javascript查询和$where查询
查询 age > 18 的记录，以下查询都一样
db.users.find({age: {$gt: 18}});
db.users.find({$where: "this.age > 18"});
db.users.find("this.age > 18");
f = function() {return this.age > 18} db.users.find(f);

排序sort()
以年龄升序asc
db.users.find().sort({age: 1});
以年龄降序desc
db.users.find().sort({age: -1});

限制返回记录数量limit()
返回5条记录
db.users.find().limit(5);
返回3条记录并打印信息
db.users.find().limit(3).forEach(function(user) {print('my age is ' + user.age)});
结果
my age is 18
my age is 19
my age is 20

限制返回记录的开始点skip()
从第3条记录开始，返回5条记录(limit 3, 5)
db.users.find().skip(3).limit(5);

查询记录条数count()
db.users.find().count();
db.users.find({age:18}).count();
以下返回的不是5，而是user表中所有的记录数量
db.users.find().skip(10).limit(5).count();
如果要返回限制之后的记录数量，要使用count(true)或者count(非0)
db.users.find().skip(10).limit(5).count(true);

分组group()
假设test表只有以下一条数据
{ domain: ""
, invoked_at: {d:"2009-11-03", t:"17:14:05"}
, response_time: 0.05
, http_action: "GET /display/DOCS/Aggregation"
}
使用group统计test表11月份的数据count:count(*)、total_time:sum(response_time)、avg_time:total_time/count;
db.test.group(
{ cond: {"invoked_at.d": {$gt: "2009-11", $lt: "2009-12"}}
, key: {http_action: true}
, initial: {count: 0, total_time:0}
, reduce: function(doc, out){ out.count++; out.total_time+=doc.response_time }
, finalize: function(out){ out.avg_time = out.total_time / out.count }
} );

[
{
"http_action" : "GET /display/DOCS/Aggregation",
"count" : 1,
"total_time" : 0.05,
"avg_time" : 0.05
}
]

Java 应用示例
要使用Java操作MongoDB的话，要到官方网站下载一个驱动包，把包导入后，可以尝试来操作了（记得一定要开着服务器）
首先介绍一下比较常用的几个类
Mongo：连接服务器，执行一些数据库操作的选项，如新建立一个数据库等
DB：对应一个数据库，可以用来建立集合等操作
DBCollection：对应一个集合（类似表），可能是我们用得最多的，可以添加删除记录等
DBObjec：接口和BasicDBObject对象：表示一个具体的记录，BasicDBObject实现了DBObject，因为是key-value的数据结构，所以用起来其实和HashMap是基本一致的
DBCursor：用来遍历取得的数据，实现了Iterable和Iterator
接下来实际的操作一下，代码如下：
import java.net.UnknownHostException;
import java.util.List;
import java.util.Set;
import com.mongodb.BasicDBObject;
import com.mongodb.DB;
import com.mongodb.DBCollection;
import com.mongodb.DBCursor;
import com.mongodb.DBObject;
import com.mongodb.Mongo;
import com.mongodb.MongoException;
public class MongoDbTest {
  public static void main(String[] args) throws UnknownHostException, MongoException {
    //Mongo m = new Mongo();
//Mongo m = new Mongo("localhost");
//获得数据库服务
Mongo m = new Mongo("localhost", 27017);
//得到数据库mytest
DB db = m.getDB("mytest");
//得到mytest数据库下所有表名
    Set colls = db.getCollectionNames();
    for (String s : colls) {
        System.out.println(s);
}
//得到testCollection表
DBCollection coll = db.getCollection("testCollection");
//new 一个BasicDBObject对象doc
BasicDBObject doc = new BasicDBObject();
//赋值
    doc.put("name", "MongoDB");
    doc.put("type", "database");
doc.put("count", 1);
//又new 一个BasicDBObject对象info
    BasicDBObject info = new BasicDBObject();
    info.put("x", 203);
info.put("y", 102);
//把info放入doc
doc.put("info", info);
//向testCollection表中插入一条数据
coll.insert(doc);
//查询一条数据
    DBObject myDoc = coll.findOne();
    System.out.println(myDoc);
   
    //循环插入100条数据到testCollection
    for (int i=0; i < 100; i++) {
      coll.insert(new BasicDBObject().append("i", i));
    }
   
   
    //Counting Documents in A Collection
    System.out.println(coll.getCount());
   
    //Using a Cursor to Get All the Documents
    DBCursor cur = coll.find();
    while(cur.hasNext()) {


#以服务方式启动mongodb，要求验证
/elain/apps/mongodb/bin/mongod --fork --port 27001 --auth --dbpath /elain/data/mongodb/db/ --logpath /elain/logs/mongodb/mongodb.log
#注：参数中用到的目录需创建
 
#停止
kill -2 `ps -ef|grep mongod|grep -v grep|awk '{print $2}'`
 
#验证启动
[root@md01 ~]# netstat -ln
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address               Foreign Address             State     
tcp        0      0 0.0.0.0:28001               0.0.0.0:*                   LISTEN     
tcp        0      0 0.0.0.0:27001               0.0.0.0:*                   LISTEN   
 
还可以通过访问： 浏览
 
#远程登录：
mongo --host serverip:27001
#本机登录：
mongo --port 27001
 
[root@md01 ~]# mongo --host localhost:27001
MongoDB shell version: 2.0.0
connecting to: localhost:27001/test
>
 
#获取MongoDB服务器统计信息
> db.runCommand({"serverStatus" : 1})
 
#使用实时监控工具
mongostat -h localhost:27001
 
#查看版本
> db.version()
2.0.0
 
用户管理：
 
> db.addUser("root","123456");    #添加管理员root
 
> use test
switched to db test
> db.addUser("test_w","123456");  #为TEST库添加普通用户test_w
 
> use test
switched to db test
> db.addUser("test_r", "123456", true);   #为TEST库添加只读用户test_r
> db.system.users.remove({"user": "test_w"});    #删除名为test_w的用户
> db.auth("test_w", "123456");            #验证并切换用户身份
> db.system.users.find();                 #查看当前库的所有用户
> show users;                             #查看当前库的所有用户
 
> use admin
> db.runCommand({"buildInfo":1})          #查看系统信息与mongodb版本
 
 
 
数据管理：
 
>use elain         #建库
>db.elain.insert({name:'elain'});    #数据插入
>db.elain.remove({name:'elain'});    #数据删除
>db.elain.remove({name:'elain'});    #数据删除(永久删除)
>show dbs;           #显示
>show collections;   #显示表
>db.elain.find();    #数据查询
>db.elain.findOne(); #只查一行
>db                  #查看当前所在库
>db.collection.count();  #统计colleciton的数量
>db.collection.drop();   #删除此colleciton
>db.foo.find().count    #某个数据的数量  
>db.deliver_status.dataSize();         #查看collection数据的大小 
>db.deliver_status.stats();            #查看colleciont状态 
>db.deliver_status.totalIndexSize();   #查询所有索引的大小
 
#删除数据库
use elain;
db.dropDatabase();
 
#修复数据库
db.repairDatabase();
 
#删除表
db.elain.drop();
 
#查看profiling
show profile
 
>db.test.find({},{"_id":0});  #不显示id列
>db.test.find({'name':/mp/i});  #正则查找忽略大小写
 
db.elain.ensureIndex({"name":1});        #建立索引
db.elain.dropIndex({"name":1});                #删除索引
db.elain.find({"name":"elain"}).explain();  #查看索引
 
---------------------------------------
"$lt"          <
"$lte"         <=
"$gt"          >
"$gte"         >=
"$ne"          <>
"$in"          一个键匹配多个值
"$nin"         一个键不匹配多个值
$not           不匹配
$all           匹配数组全值
$size          数组长度
$slice         返子集合{"$slice”:10}  -10   [10,20]
.              内嵌文档{“name.first”：“xxx”}
$where         *通常情况下不建议使用
-----------------------------------------
 
备份恢复：
数据导出：
/elain/apps/mongodb/bin/mongoexport -h 127.0.0.1:27001 -uroot -p -d elain -c -o elain elain_con.csv
数据导入：
/elain/apps/mongodb/bin/mongoimport -h 127.0.0.1:27001 -uroot -p -d elain -c elain elain_con.csv
备份数据库:
mongodump -h 127.0.0.1:27001 -uroot -p -d elain -o /elain/backup/mongodb
恢复数据库:
mongorestore -h 127.0.0.1:27001 -uroot -p -d elain /elain/backup/mongodb/elain
恢复数据库(恢复前清除已有数据):
mongorestore -h 127.0.0.1:27001 -uroot -p -d elain --drop /elain/backup/mongodb/elain
 
性能测试：
备份方面：mongodump的速度和压缩率都最好，每秒125M的数据，压缩率达28%
恢复方面：
mongoimport速度较快，但不保证数据完整导入
mongorestore，速度较慢，比mongoimport慢2.5倍左右，但是根据mongodump导出的数据，可以完整导入数据。
 
主从复制常用操作：
见本人主从部署文档
 
转载请注明： 转载自