首页 > 学院 > 操作系统 > 正文

hbase 一次大规模数据写入清除测试

2024-06-28 16:04:06
字体:
来源:转载
供稿:网友

 测试过程

10:58 开始打入数据,磁盘使用率44% 11:38 由于内存8G不够,在打入数据的时候,导致falcon监控异常退出,对于本次测试效果不好,开始制作镜像,并运行新的instance 13:07 开始测试,43.394% 18:11 设置TTL,未做大合并 18 12 hbase disk storage usage 从 2539 到1571 共有968MB数据 18 15 machine disk storage usage 从 12483 到 10924 共有 1559MB数据

 全部监控曲线

这里写图片描述

总结

跑CDH最好是16GB内存,cpu至少两核心吧。hbase在存储数据的时候,先是写入到WAL,然后flush到磁盘里面,这个可以设置,我当前设置的64MBhbase数据由WALs目录开始,64MBflush到磁盘,然后本身在某种机制下移动到oldWALs(保留时间很短,分分钟就被系统清理掉了)。hbase的archive,目前没有多少研究,基本上数据也会分分钟消灭掉hbase设置ttl,即使没有在手动major_compact的情况下,依旧会清理掉数据。下图是我设置ttl的过程。

这里写图片描述

今天测试持续8个小时,花费大概10元

这里写图片描述

后记

哎呀,搞了三天了,总算有点果子吃了,哈哈。


发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表