HBase常用功能和HBase+MapReduce使用总结
1.HBase如果加了列限定,如果该列不存在时返回的结果为empty.
看下面的代码:
Get get = new Get(Bytes.toBytes("100")); get.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name"));
这里加入了列限定,也就是只返回列族info下面的name字段。但是如果name字段根本不存在,返回的Result在调用result.isEmpty()时则返回为true,也就是说就算其他字段存在,也什么都没返回来,包括rowkey也没有返回来。当然,如果是限定多个列,只要一个列存在就可以正常返回。所以需要注意。
2.HBase在scan时指定的StartRow里面不能加-
看下面的代码:
Scan scan = new Scan(); scan.setStartRow(Bytes.toBytes("3136947-")); scan.setStopRow(Bytes.toBytes("3136947-" + 1));我的本意是查询rowkey以 3136947- 开头的行,但是因为我的里面有一个-(“杠”),所以什么都没返回,去掉-后正常。这说明这里是不能使用-,-也并不是转义字符,转义后也还是scan不出来的。不知道其他字符是不是也不行,没有测试。 所以需要注意。
3.HBase在scan时过滤掉指定列不存在的记录
如果想返回某个字段必须存在的行,不存在该字段的记录过滤掉不返回,方法如下:
Scan scan = new Scan(); scan.setStartRow(Bytes.toBytes("3136947")); scan.setStopRow(Bytes.toBytes("3136947" + 1)); scan.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name")); SingleColumnValueFilter filter = new SingleColumnValueFilter(Bytes.toBytes("info"), Bytes.toBytes("name"), CompareFilter.CompareOp.NOT_EQUAL, Bytes.toBytes("0")); filter.setFilterIfMissing(true); scan.setFilter(filter);
这里的过滤器里面指定该列的字段值必须不等于0(当然,如果你的name里有等于0的当然不能使用0),并且设置setFilterIfMissing为true,也就是设置为如果该列不存在就过滤掉这条数据,默认为false。
4.利用MapReduce导出hbase数据
如果hbase作为数据的输出,job设置如下:
Configuration conf = HBaseConfiguration.create(); Scan scan = new Scan(); scan.setStartRow(Bytes.toBytes("3136947")); scan.setStopRow(Bytes.toBytes("3136947" + 1)); scan.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name")); scan.addFamily(UserStoreHelper.FAMILY_INFO); scan.addColumn(UserStoreHelper.FAMILY_INFO, UserStoreHelper.USER_ID); scan.addColumn(UserStoreHelper.FAMILY_INFO, UserStoreHelper.FRIENDS); scan.addColumn(UserStoreHelper.FAMILY_INFO, UserStoreHelper.LEVEL_CODE); final Job job = new Job(conf, "exportHBaseUser"); job.setJarByClass(TestJobCreator.class); job.setOutputFormatClass(TextOutputFormat.class); FileOutputFormat.setOutputPath(job, new Path("test1")); // job.setReducerClass(HbaseExportReduce.class); // job.setPartitionerClass(UserPartitioner.class); // job.setNumReduceTasks(14); TableMapReduceUtil.initTableMapperJob(Bytes.toBytes("usertable"), scan, TestMapper.class, Text.class, NullWritable.class, job);
5.利用mapReduce插入数据到HBase
如果hbase作为数据的输入。代码如下:
final Configuration conf = HBaseConfiguration.create(); final Job job = new Job(conf, "Sync-To-HBase"); job.setJarByClass(PostStoreExportHBaseJobCreator.class); //我这里是以mongodb为输入 job.setInputFormatClass(MongoInputFormat.class); TableMapReduceUtil.initTableReducerJob("usertable", null, job); //把数据转换为hbase表格式的map job.setMapperClass(TestMapper.class); //直接入hbase库不需要reduce job.setNumReduceTasks(0);
这里map的输出必须是key为ImmutableBytesWritable,value为 Put
本文由用户 jopen 自行上传分享,仅供网友学习交流。所有权归原作者,若您的权利被侵害,请联系管理员。
转载本站原创文章,请注明出处,并保留原始链接、图片水印。
本站是一个以用户分享为主的开源技术平台,欢迎各类分享!