OpenTSDB在HBase上的优化及HiTSDB的优化和提高

使用倒排索引的解决的问题和对比如下：

• 倒排索引在集群中的分片和一致性问题，解决办法：BinLog写入到HDFS，每个分片一个BinLog文件
• 分片策略的问题：按metric，按特定的tag，还是按metric+tags?
• 倒排索引加速了多维度的任意条件查询
• 倒排索引可以方便的实现metric和tagkey/tag value的输入提示
• RowScan vs mget
• 从HBase读取数据是瓶颈，包括网络吞吐率和磁盘IO

高压缩比算法

我们一般认为最近的数据是最热的，我们希望最近的数据能够完全的被内存缓存，但是时序数据量比较大，因此我们需要采用高压缩比算法：平均每个时间点压缩到1.37字节。timestamp采用delta-delta压缩，value采用二进制xor压缩。

高压缩比使得最近一段时间(若干小时)的数据可以完全缓存在内存里，查询的时候避免了HBase的mget操作。解压缩速度很快，而且降精度可以在解压的过程中同时处理，减少内存的开销。

预降精度功能

我们做了预降精度，HiTSDB会在写入之前根据很多预测好的降精度级别将数据计算好，预降精度在逻辑上会有一些问题，包括以下几个方面：

• 数据老化 vs 预降精度
• 预降精度的级别和额外空间开销
• 预降精度和实时降精度结合
• 平均值带来的问题
• 精确计算 vs 概略计算，在预降精度数据上统计P99
• 时间窗口和数据修改