memcached-1.4.15 SLAB页转移过程分析

memcached-1.4.15 SLAB页转移过程分析

 

启动时指定参数 -o slab_reassign,slab_automove=1或2

         此时程序将启动两个线程：slab_maintenance_thread、slab_rebalance_thread

 

一、      slab_maintenance_thread线程为SLAB主线程

代码如下

static void *slab_maintenance_thread(void *arg) {
    int src, dest;
    while (do_run_slab_thread) {
        if (settings.slab_automove == 1) {

            //自动寻找符合条件的需要进行page页转移的两个slabclass id：src和dest
            if (slab_automove_decision(&src, &dest) == 1) {

                //通过pthread_cond_signal唤醒 slab_rebalance_thread 线程进行page页的实际转移
                slabs_reassign(src, dest);
            }
            sleep(1);
        } else {
            /* Don't wake as often if we're not enabled.
             * This is lazier than setting up a condition right now. */
            sleep(5);
        }
    }
    return NULL;
}

(一)            slab_automove = 1 时

    由上边的代码显示出，线程将自动选择符合条件的src slabclass和dest slabclass。选取规则如下：

   （10秒检查一次）{

1.        获取没给slabclass 发生LRU的次数（itemstats[id].evicted）；

2.        找出一个检查了3次（10秒检查一次）并且LRU次数没有增加的、page页数3页以上的class作为src slabclass；

3.        如果本次检查中，LRU次数增加最多的slabclass为连续检查3次都是LRU增加最多的slabclass，则选取当前class为dest slabclass；

4.        当 src slabclass 和 dest slabclass 都选到时，通过pthread_cond_signal唤醒 slab_rebalance_thread线程进行slab转移，否则继续轮询检查（10秒检查一次）。

    }

以上的LRU为没有指定-M选项，并且内存不足无法分配item时。

 

(二)            slab_automove = 2时

当内存不足，无法分配新的item时，发生LRU后，进行slab页转移，转移到当前页。src slabclass选取规则为随机选取，选取规则如下：

1.        第一次LRU时，从slabclass1开始向后查找（查找范围为所有页数的上半部分）一个有2个slab page以上的slabclass作为src slabclass。

2.        第二次发生LRU后，会从上一次选取的class之后进行查找（查找范围为当前class到最大slabclass数量的上半部分）合适的class进作为src slabclass。

 

代码如下：

static int slabs_reassign_pick_any(int dst) { //从前往后获取一个slab page 至少有2个的class
    static int cur = POWER_SMALLEST - 1;
    int tries = power_largest - POWER_SMALLEST + 1;
    for (; tries > 0; tries--) {
        cur++;
        if (cur > power_largest)
            cur = POWER_SMALLEST;
        if (cur == dst)
            continue;
        if (slabclass[cur].slabs > 1) {
            return cur;
        }
    }
    return -1;
}

二、       slab_rebalance_thread线程为SLAB页移动线程。将src slabclass中的第一页移动到dest slabclass中，为最后一页。过程如下：

1.        slab_rebalance_start：赋值 slab_rebal全局变量，将page页的起止位置、结束位置、src slabclass id、dest slabclass id赋值给全局变量 slab_rebal，用于后期处理；并检查dest slabclass的page页链表是否空间充足，如果空间不足则扩展空间为原来的两倍大小。

2.        slab_rebalance_move：将 slab_rebal指向的 page页中chunk存储的所有item从hashtable中删除，并将其从原slabclass的head，tail链表中删除，并从回收链表中删除。

3.        slab_rebalance_finish：重置slab_rebal全局变量，并初始化page为0，并将page分成chunk添加到dest slabclass的slots链表中。

slab_rebalance结构体如下：

struct slab_rebalance {

    void *slab_start;  //待转移page的内存起始地址

    void *slab_end;  //page页的尾地址

    void *slab_pos;  //当前处理的item所在该page中的位置(从前向后处理)

    int s_clsid;      //src slabclass id

    int d_clsid;      //dest slabclass id

    int busy_items;  //busy item的数量（当前item被加锁，所以无法处理）

    uint8_t done;   //是否该页中chunk存储的item已经全部处理完毕(从hashtable中删除、从原slabclass中的回收链表中删除)

};

 

代码如下：

static void *slab_rebalance_thread(void *arg) {
    int was_busy = 0;
    /* So we first pass into cond_wait with the mutex held */
    mutex_lock(&slabs_rebalance_lock);

    while (do_run_slab_rebalance_thread) {
        if (slab_rebalance_signal == 1) {
            //开始移动的准备工作,slab_rebal结构体赋值,dest slabclass page list是否空间足够等
            if (slab_rebalance_start() < 0) {
                /* Handle errors with more specifity as required. */
                slab_rebalance_signal = 0;
            }

            was_busy = 0;
        } else if (slab_rebalance_signal && slab_rebal.slab_start != NULL) {
            //准备工作完毕,将page页中的item从hashtable中删除,从class的head,tail链表体中删除，并将chunk从回收链表中删除
            was_busy = slab_rebalance_move();
        }

        if (slab_rebal.done) {
            //将页移动到新的slabclass中,并将chunk添加到回收链表中,处理完毕
            slab_rebalance_finish();
        } else if (was_busy) {
            /* Stuck waiting for some items to unlock, so slow down a bit
             * to give them a chance to free up */
            usleep(50);
        }

        if (slab_rebalance_signal == 0) {
            /* always hold this lock while we're running */
            pthread_cond_wait(&slab_rebalance_cond, &slabs_rebalance_lock);
        }
    }
    return NULL;
}

未完待续，如有错误，请指正。