存储研发

传统存储、分布式存储,存储技术QQ群281611442

  • 博客访问: 676223
  • 博文数量: 329
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 3497
  • 用 户 组: 普通用户
  • 注册时间: 2014-04-27 18:52
  • 认证徽章:
个人简介

存储技术QQ群281611442

文章分类

全部博文(329)

文章存档

2017年(1)

2016年(29)

2015年(144)

2014年(155)

微信关注

IT168企业级官微



微信号:IT168qiye



系统架构师大会



微信号:SACC2013

订阅
热词专题

发布时间:2016-10-22 10:52:39

集群管理方式:主备元数据服务器和数据服务器;元数据和数据同时存放在各个节点;去中心化,一致性hash管理; 数据分布:元数据服务器管理数据分布;一致性hash算法计算;普通hash算法计算; CAP原则:更多偏向于AP;强一致性结合最终一致性为主;更普通.........【阅读全文】

阅读(212) | 评论(0) | 转发(0)

发布时间:2016-09-24 12:33:12

    内核用sysfs进行设置管理:    [root@localhost ~]# cat /proc/sys/net/ipv4/tcp_keepalive_time   //大概是2个小时    7200    [root@localhost ~]# cat /proc/sys/net/ipv4/tcp_keepalive_probes //重试9次  &n.........【阅读全文】

阅读(152) | 评论(0) | 转发(0)

发布时间:2016-09-24 12:15:12

Flashcache命令:# flashcache_create Usage: flashcache_create [-v] [-p back|thru|around] [-w] [-b block size] [-m md block size] [-s cache size] [-a associativity] cachedev ssd_.........【阅读全文】

阅读(213) | 评论(0) | 转发(0)

发布时间:2016-09-24 12:12:00

1. 开机自配置bcache的属性# cat /etc/tmpfiles.d/bcache.conf w /sys/block/bcache0/bcache/sequential_cutoff  - - - - 1Mw /sys/block/bcache0/bcache/cache_mode      - - - - writebackw /sys/block/bcache0/bcache/writeback_percent  - - - - 0解释:首先该配置文件必须放在/etc.........【阅读全文】

阅读(360) | 评论(0) | 转发(0)

发布时间:2016-09-24 12:03:32

        glibc中默认对于超过128K的内存分配,malloc走mmap逻辑,mmap不适合用于频繁申请和释放的场景,如果有大块内存的频繁申请释放,则强烈建议自己写个适合自己业务的内存池方案。        而对于没有实现内存方案的应用,如果系统开启了hugepage则,需.........【阅读全文】

阅读(233) | 评论(0) | 转发(0)

发布时间:2016-09-24 11:53:43

        快照技术主流的方式为COW何ROW,其各有优势,均只在特定场景中会有较好的iops。        COW读性能基本不受影响,其问题是随机写IOPS性能差,尤其在对象存储中,以obj size的COW,网络、磁盘、IO多次交互都直接影响性能。可改进的方法:.........【阅读全文】

阅读(686) | 评论(0) | 转发(0)

发布时间:2016-07-31 07:51:58

        1. 可靠性和可用性之间的妥协(强一致性,弱一致性,最终一致性)         2. Paxos和CRUSH无法保证数据的一致性,需额外机制保证        3. 多副本的主备模式,NWR模式各有优势,但均无法保证节点异常集群短时间内IO han.........【阅读全文】

阅读(446) | 评论(0) | 转发(0)

发布时间:2016-07-31 07:24:21

 /*   * Disable glibc's dynamic mmap threshold and set it as 512k,because of IO size is 512K.   *We have to disable dynamic threshold because its inefficiency to release freed memory back to OS. Setting it as 512k practically means allocation larger than or equal to 512k .........【阅读全文】

阅读(552) | 评论(0) | 转发(0)

发布时间:2016-06-19 09:51:41

yum install gperftoolsexport LD_PRELOAD=/usr/lib64/libtcmalloc.soexport LD_PRELOAD=/lib64/libc.so.6替换libc中内存处理接口,貌似性能没明显优势。......【阅读全文】

阅读(623) | 评论(0) | 转发(0)

发布时间:2016-06-11 09:58:15

smartctl -a -d megaraid,device_id /dev/sd*如果显示信息有异常,如SSD的log page等命令未支持时候,可直接用inquery命令,既-i。MegaCli常用参数介绍 MegaCli -adpCount 【显示适配器个数】MegaCli -AdpGetTime –aALL 【显示适配器时间】MegaCli -AdpAllInfo -aAll 【显示所有适配器信息】MegaCli -LD.........【阅读全文】

阅读(594) | 评论(0) | 转发(0)

发布时间:2016-06-05 10:55:21

The APIs provided by Userspace RCU are, by prefix:rcu_: Read-Copy Update (see doc/rcu-api.md)cmm_: Concurrent Memory Modelcaa_: Concurrent Architecture Abstractioncds_: Concurrent Data Structures (see doc/cds-api.md)uatomic_: Userspace Atomic (see .........【阅读全文】

阅读(659) | 评论(0) | 转发(0)

发布时间:2016-05-22 20:02:24

        在一个SSD上进行测试,设置iodepht为64进行测试,util为100%时,iops约5W,说明已经到其极限,但在一些测试场景中,iops才1W,util居然是70%,增大测试端虚拟机FIO个数,后端存储磁盘iops到3W,util还是70,而对于普通HDD而言,一般不会有这种场景,现在就来分析一下。  .........【阅读全文】

阅读(1063) | 评论(0) | 转发(0)

发布时间:2016-04-24 08:49:47

        block和unblock的逻辑一般在处理cluster请求时,需要block zk的操作,大致流程如下:         sheep的收到cluster命令后既queue_cluster_request,会调用zk_block,向ZK发送一个block事件,其实会有多个sheep可以同时发block事.........【阅读全文】

阅读(815) | 评论(0) | 转发(0)

发布时间:2016-04-24 08:48:41

1. 当一个node启动时,在create_cluster中,会通过本地信息更新sys epoch的值,即sys->cinfo.epoch = get_latest_epoch(); 2. 然后它向ZK注册,既调用zk_join,调用add_join_event发送一个EVENT_JOIN事件,该事件调用zk_queue_push更新ZK信息后,在反向触发zk_event_handler的zk_handle_join,之后是执行sd_join_handler.........【阅读全文】

阅读(723) | 评论(0) | 转发(0)

发布时间:2016-04-16 14:42:55

        首先参考文章               http://www.ibm.com/developerworks/cn/linux/l-cn-perf1/                htt.........【阅读全文】

阅读(677) | 评论(0) | 转发(0)

发布时间:2016-04-14 22:37:02

        recovery发生的场景主要有:epcoh变化,EIO。        当读写IO异常后,就会执行移除磁盘操作,然后再node内部进行重构,影响范围很小,如果多个磁盘被移除,直到该sd退出集群。        epcoh的改变,主要是sd的异常.........【阅读全文】

阅读(696) | 评论(0) | 转发(0)

发布时间:2016-04-07 23:22:08

        多队列,多session的维护中,有通用的work模型,会很大程度提高代码的复用度,并且能很好的进行功能扩展。        sheepdog就依赖自己实现的work模型,其原理类似kworker,首先它基于epoll机制,监听大量的事件,并有统一的入口,能保证一些对强一致.........【阅读全文】

阅读(797) | 评论(0) | 转发(0)

发布时间:2016-04-07 22:53:13

    好文:http://blog.csdn.net/sparkliang/article/details/5279393......【阅读全文】

阅读(745) | 评论(0) | 转发(0)

发布时间:2016-04-07 22:19:53

dog端:1. 在dog持续中,创建vdi的入口是vdi_create,其解析完dog命令参数后,执行do_vdi_create,发送SD_OP_NEW_VDI给该节点的GW,其dog_exec_req是个同步等待接口,发送后,等待对方的应答。这一步主要对inode的处理。2. 读取dog_read_object,以确认,然后依次dog_write_object和sd_inode_write_vid。3. dog_write_ob.........【阅读全文】

阅读(686) | 评论(0) | 转发(0)

发布时间:2016-04-06 22:00:14

 通用处理逻辑:1.首先各类queue都有通用的work处理模型,并且支持grow and shrink,核心逻辑在worker_routine中。2.各模块与外部模块的信息交互,都是基于epoll机制,主要关注client_handler,worker_thread_request_done,zk_event_handler3.当gw收到qemu的请求后,会在client_handler中入队列queue_.........【阅读全文】

阅读(799) | 评论(0) | 转发(0)

发布时间:2016-03-28 23:49:53

        sheepdog的代码偏内核风格,比较易懂,其woker的实现和内核的kworker如出一辙。值得学习。点击(此处)折叠或打开sd_store->init(); //tree_store tree_initsheep的核心request.ccreate_listen_port+init_uni.........【阅读全文】

阅读(636) | 评论(0) | 转发(0)

发布时间:2016-03-28 23:45:17

        sheepdog较好的资料:http://sheepdog.github.io/sheepdog/ 和 https://github.com/sheepdog/sheepdog/wiki/Sheepdog-Design        sheepdog依赖Qemu/KVM,实现VDI支持,其中一些概念如下:    &nbs.........【阅读全文】

阅读(654) | 评论(0) | 转发(0)

发布时间:2016-01-25 22:19:07

        统一存储是同时支持OSD,SAN,NAS,Ceph都对其实现支持,并且Ceph还是一个分布式存储系统,兼容性很强。        现在就简单进行centos7.2的ceph部署介绍:        1.    首先建立好4个节点,分别配置网络.........【阅读全文】

阅读(864) | 评论(0) | 转发(0)

发布时间:2016-01-25 20:57:44

        SATA原生支持NCQ命令,可理解为带有数据区的命令,在磁盘内部可以排序,为优化性能,即它可以乱序.       而另一个命令为Non-NCQ,即它只能串行执行,顺序不能被打破,即只能串行执行,如果异常,就需要read buffer去救场。    .........【阅读全文】

阅读(164) | 评论(0) | 转发(0)

发布时间:2016-01-11 22:29:48

        open标准posix接口,通用接口,不带缓冲区,效率和速度不错,用close关闭。        fopen基于posix进行封装,在glibc中,有缓冲区,效率也不错,主要多文件进行操作,用fclose关闭。        如:fopen(“/.........【阅读全文】

阅读(1165) | 评论(0) | 转发(0)
给主人留下些什么吧!~~

lyhabc2015-03-31 11:30

存储大牛

回复  |  举报
留言热议
请登录后留言。

登录 注册