Plumber分布式数据采集系统（三）时间序列数据库

时间序列数据库
目前备选为influxDB或openTSDB，因为可以和grafana很好的兼容
数据量不大的时候优先influxDB，因为openTSDB需要hbase
influxDB 数据库结构
Agent注册表 register
用于记录Agent的注册信息

name	type	desc
time	-	时间戳
agent	tag	节点名称
ip	field	节点ip
port	field	节点port
type	field	节点类型
state	field	register或unregister
topics	field	topic列表,json格式
tags	field	tag列表,json格式

数据详表 detail

将time截取到小时，记录每个时段的采集状况。详细到Agent级别

name	type	desc
time	-	时间戳段,通常截取到小时
topic	tag	topic名称
agent	tag	agent名称
ip	tag	节点ip
type	tag	agent类型, source/sink
timeMap	tag	时间
fileNumber	field	文件数量
fileSize	field	文件大小
bytesDiff	field	文件大小减去已经读取的字节数，即还有多少字节没有读取
records	field	读取的记录条数

归档表 archive

将time截取到小时，记录每个时段的采集状况。从详表汇总到Topic级别而来

name	type	desc
time	-	时间戳,通常已经截取到了整小时
topic	tag	topic名称
type	tag	agent类型, source/sink
fileNum	field	文件数量
fileSize	field	文件大小
bytesDiff	field	文件大小减去已经读取的字节数，即还有多少字节没有读取
records	field	读取的记录条数

采集性能表 metrics
记录各Agent每个时间点的采集情况,保留几天即可

name	type	desc
time	-	时间戳
topic	tag	topic名称
ip	tag	ip地址
agent	tag	agent id
type	tag	agent类型, source/sink
records	field	读取的记录条数
speed	field	与上一个时间点的record的记录条数差值

tmp_*


临时表，不做格式要求，随用随删