storage R&D guy.
全部博文（1000）
分类： 服务器与存储
2015-02-10 11:20:53
一、初始化HTable(Configuration conf, final String tableName)
1、用常量"default"与tableName初始化TableName对象，并存入tableCache缓存中；
2、获取HConnection对象（HConnectionImplementation），HConnectionManager.getConnection(conf)；
3、初始化线程池pool；
4、设置HTable的参数，包括operationTimeout、operationTimeout、operationTimeout、AsyncProcess
3）连接HRegionServer，从.META表中查找满足metaKey的行，然后解析出Region服务器的地址信息（HRegionInfo对象，包括regionname);
4）根据上一步查到的Region服务器信息初始化Region服务器地址对象HRegionLocation；
5）将Region服务器的名称存入Set
二、读过程解析
存储结构背景：
1）每个HRegionServer维护一个Map
2）每个HRegion维护一个Map
1、根据解析到的regionname（与初始化HTable一样）从onlineRegions队列中获取HRegion对象；
2、调用HRegion.getClosestRowBefore(byte[] row, byte[] family)获取满足条件的行内容；
3、根据family从stores队列中获取HStore对象；
4、调用HStore.getRowKeyAtOrBefore(byte[] row)获取从包含此row的最近的KeyValue；
5、根据查到的包含条件row的最近的row(KeyValue.getRow())以及条件family构建Get对象；
6、在HRegion内部调用get(Get get)方法；
7、根据get对象初始化Scan对象，
8、根据Scan对象获取RegionScanner对象，实质调用instantiateRegionScanner(Scan scan,List
最关键的一点:定位! 定scan开始的位置，不过这也是你在客户端调用时指定的，也就是Scan.setStartRow，Scan.setStopRow，如果不指定，那默认就是全表扫描了。具体步骤如下
1）初始化region、maxResultSize、filter、filter、filter、readPt等变量；
2）遍历条件family中的列，
2.1）根据列名从stores队列中获取HStore对象；(假设有个表test，下面有一个Column Family 为A，则HStore表示一个Column Family的存储，也就是对应A)
2.2）调用HStore对象的getScanner(Scan scan, NavigableSet
new StoreScanner(Store store, ScanInfo scanInfo, Scan scan, final NavigableSet
1)首先会new一个ScanQueryMatcher，这是一个查询匹配器，关键方法是match，枚举MatchCode指示scan如何处理当前KeyValue。
2)获取Collection
3)通过StoreFile.Reader包装的HFileReaderV2来创建ScannerV2(HFileScanner)，这个类能通过使用HFile的索引，快速定位。
4)把StoreFile.Reader，ScannerV2包装成StoreFileScanner，然后获取StoreFileScanner对象并存入List
5)获取MemStoreScanner 对象的集合List
6)将上两步的列表合并为一个列表List
7)对合并的列表，通过selectScannersFrom来选择合适的，返回满足条件的List
8）对List
9）将最终合适的列表List
2.3）根据filter的条件判断将StoreScanner对象是存入scanners:List
2.4）根据scanners和KVComparator对象构建KeyValueHeap对象RegionScannerImpl.storeHeap:KeyValueHeap(优先级队列）
2.5）若joinedScanners不为空，则根据joinedScanners和KVComparator对象构建KeyValueHeap对象RegionScannerImpl.joinedHeap；
9、调用HRegion$RegionScannerImpl对象的next(List
1）调用storeHeap.peek()获取队列中的第一个KeyValue：
内部调用KeyValueHeap.current.peek(); 其中KeyValueHeap.current为队列中的第一个StoreScanner对象（在初始化RegionScannerImpl.storeHeap:KeyValueHeap时设置的）；故实质是调用storeHeap队列中第一个StoreScanner对象的peek();
2)调用RegionScannerImpl.populateResult(List
三、基本结构：
HRegion$RegionScannerImpl
—KeyValueHeap
—StoreScanner
—KeyValueHeap
—StoreFileScanner
—StoreFile.Reader
—HFileReaderV2
—ScannerV2
—MemStoreScanner
HBase中的scanner实例关系
首先,无论是GET还是scan的读数据,都是从RegionScanner的next接口中获取
第二,scanner可分为两种InternalScanner和KeyValueScanner,区别如下：
1.InternalScanner,可以理解为包含其他scanner的scanner，它的主要接口为next(),作用是从其包含的scanner中获取下一个KeyValue,它的角色可以理解为雇佣KeyValueScanner
2.KeyValueScanner,从内存或文件中获取KeyValue的scanner,它的主要接口有peek(),seek(KeyValue key),next()等，其中next和peek都能获取scanner中的下一个KeyValue，但是next会移动iterator，peek不会，而seek就是将iterator定位到指定的KeyValue，如果不存在该KeyValue则定位到其后面的那个KeyValue，在scanner初始化的时候都会调用下seek接口,它的角色可以理解为服务InternalScanner
所以，RegionScanner、StoreScanner属于InternalScanner,而MemstoreScanner、StoreFileScanner、StoreScanner属于KeyValueScanner
第三,KeyValue 和 KeyValueScanner是可以比较大小的,即他们在优先队列里是排序存放的
1.KeyValue的大小比较规则,优先级从大到小依次为RowKey cf+cq timestamp type,具体点比如说,在比较2个KeyValue时，先比较RowKey的大小('a' < 'b'),相同的情况下比较cf+cq的大小 ('cf1:q1'<'cf2:q1'<'cf2:q2'),如果还是相同的话就比较时间戳(3042211081<3042211080,注意 我没写错，你没看错，时间戳的long值越大，表示数据越新，在从小到大的队列中越靠前), 如果上述仍然还相同则比较TYPE('DeleteFamily' < 'DeleteColumn' < 'Delete' < Put)
2.KeyValueScanner的大小比较规则：其大小有peek()获取到KeyValue大小决定，即KeyValueScanner1.peek() < KeyValueScanner2.peek() 则KeyValueScanner1 < KeyValueScanner2
看明白以上3点后，则读的流程就比较好懂了，
1.RegionScanner中有一个scanner的优先队列,当然里面放的是StoreScanner
2.StoreScanner中也有一个scanner的优先队列,里面放着地是MemStoreScanner和StoreFileScanner，
3.RegionScanner通过调用next()获取数据时，其实际是从他的scanner队列中poll出一个StoreScanner,然后调用StoreScanner.next()来获取数据，最后再将该StoreScanner继续添加进优先队列中，从而保证队列中的scanner是一直正确有序的
4.第3点中的StoreScanner.next(),其实际是从他的scanner队列中poll出一个StoreFileScanner或者是MemStoreScanner,然后调用next()，再将该scanner添加进队列中
