测试hbase预设分区
环境 hbase-0.98.10,hadoop-2.5.2
预设分区使用hbase为了在写入阶段避免个别节点过热,通过数据的分布图,在创建表的时候预设表的分区:
create 'test_splits', {NAME => 'cf', VERSIONS=> 3},{SPLITS => ['a','b','c']}
设置hbase-site.xml
<property>
<name>hbase.hregion.max.filesize</name>
<value>3145728</value>
</property>
<property>
<name>hbase.hregion.memstore.flush.size</name>
<value>1048576</value>
</property>
<property>
<name>hbase.hstore.compactionThreshold</name>
<value>3</value>
</property>
设置hfile为3M,memstore为1M,当storefile的个数等于3的时候,出发合并
手动循环导入数据;
测试结果:
等超过hfile大小后依然采取自动分裂来达到集群平衡,如果避免自动分裂,可以设置filesize的值为足够大,默认10G,比如设置为100G,然后在合适的时间段手动出发分裂
相关推荐
hbase分区merge和split操作,手动操作,不是自动。具体看代码
HBase默认建表时有一个region,这个region的rowkey是没有边界的,即没有start key和end key,在数据写入时,所有数据都会写入这个默认的region,随着数据量的不断增加,region的size越来越大时,大到一定的阀值,...
某大数据公司内部Hbase性能测试详细设计文档及用例 罗列了Hbase性能测试需要注意的一些参数设置,给出了Hbase测试用例
Hive与Hbase的整合,集中两者的优势,使用HiveQL语言,同时具备了实时性
利用loadrunner测试hdfs/hadoop以及hbase上传、下载、上传文件所需要的jar包
本文讲解如何安装和配置YCSB,如何使用YCSB给Hbase加载测试数据,如何使用YCSB命令测试Hbase读写性能。主要解释了各个命令行参数的作用。
hbase性能报告
java 利用 sping-data-hadoop HbaseTemplate 操作hbase find get execute 等方法 可以直接运行
本hbase的jar依赖包主要是基于hbase-1.0.0-cdh5.6.1版本,之所以用cdh版,是因为测试脚本引用的是这个版本的类和方法。 本依赖包在Loadrunner12和Jmeter3.1下测试通过,是从网上收集的基础包组成,能够满足测试所有...
默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都向这一个region写数据,直到这个region足够大了才进行切分。 一种可以加快批量写入速度的方法是通过预先创建一些...
这里详细介绍了hbase的命令行操作,版本信息的一些管理
搭建pinpoint需要的hbase初始化脚本hbase-create.hbase
用phoenix对hbase建立二级索引,利用关系型数据库一样用sql语句操作HBase
1. HBase有哪些基本的特征? 1 HBase特征: 1 2. HBase相对于关系数据库能解决的问题是什么? 2 HBase与关系数据的区别? 2 HBase与RDBMS的区别? 2 3. HBase的数据模式是怎么样的?即有哪些元素?如何存储?等 3 1...
HBase伪分布式环境搭建及数据操作测试 本人成功搭建伪分布式的操作以及截图
HBase(hbase-2.4.9-bin.tar.gz)是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System...
hbase是一个开源的数据库,主要用于大数据集的分布式存储,本身是hadoop的一个子项目,区分于传统的数据库,它是按列存储的
介绍HBase堆外内存测试
Hadoop和Hbase测试题.docxHadoop和Hbase测试题.docxHadoop和Hbase测试题.docxHadoop和Hbase测试题.docxHadoop和Hbase测试题.docxHadoop和Hbase测试题.docxHadoop和Hbase测试题.docxHadoop和Hbase测试题.docx
Hadoop和Hbase测试题.pdfHadoop和Hbase测试题.pdfHadoop和Hbase测试题.pdfHadoop和Hbase测试题.pdfHadoop和Hbase测试题.pdfHadoop和Hbase测试题.pdfHadoop和Hbase测试题.pdfHadoop和Hbase测试题.pdf