文章目录 分布式NoSQL列存储数据库Hbase（三） 知识点01：课程回顾 知识点02：课程目标 知识点03：Java API：DML：Table 知识点04：Java API：DML：Put 知识点05：Java API：DML：Get 知识点06：Java API：DML：Delete 知识点07：Java API：DML：Scan 知识点08：Java API：DML：Filter 知识点09：存储设计：存储架构 知识点10：存储设计：Table、Region、RegionServer的关系 知识点11：存储设计：Region的划分规则 知识点12：存储设计：Region内部存储结构 知识点13：存储设计：HDFS中的存储结构 知识点11：存储设计：Region的划分规则 知识点12：存储设计：Region内部存储结构 知识点13：存储设计：HDFS中的存储结构 知识点01：课程回顾 Hbase使用场景 集群管理：定时调度管理的脚本定时调度：Azkaban、Oozie、Linux Crontab Hbase脚本将Hbase命令写入一个文件 hbase shell运行文件即可 测试开发：Hbase命令 DDLlist_namespace/create_namespace create/list/desc DML put：插入、更新 插入：每次是为每行插入一列 更新：通过插入数据来代替了更新，用于提高性能 语法put表rowkey列族：列值 delete：删除数据delete：删除列 deleteall：删除行 truncate：清空表 get：获取某个rowkey的数据 优点：查询数据最快的方式，根据rowkey进行查询 缺点 语法get表名rowkey【列族：列】 scan：查询符合条件的数据 优点：返回需要的多条Hbase的数据 缺点：很多情况下是不走索引【不能根据rowkey进行检索】 语法scan 表名
scan 表名 + Filter 生产开发：JavaAPI Connection：连接对象 HbaseAdmin：Hbase管理员对象：用于实现DDL操作 知识点02：课程目标 Hbase JavaAPI实现DML操作【重点内容】put：数据的写入或者更新 get：查询数据 delete：删除数据 scan：扫描数据 Filter：过滤器 Hbase存储设计【掌握原理】 表、RegionServer关系？ 表的分布式如何实现的？Region的划分规则？ 数据如何决定进入哪个分区哪？ 分区内部是如何存储数据的？ 知识点03：Java API：DML：Table 需求：通过JavaAPI实现对Hbase的DML操作 分析step1：构建连接对象 step2：构建Table对象 实现//todo:1-构建一个连接对象
Configuration conf = HBaseConfiguration.create();
//指定Hbase集群的服务端地址：给定ZK的地址
conf.set("hbase.zookeeper.quorum","node1:2181,node2:2181,node3:2181");
Connection conn = ConnectionFactory.createConnection(conf);
//todo:2-所有的DML必须构建一个Table表的对象
//构建一个表的对象
TableName tbname = TableName.valueOf("itcast:t1");
Table table = conn.getTable(tbname); 总结step1：先构建一个连接对象：Connection step2：根据所做的操作决定构建哪种对象 DDL：HbaseAdmin 知识点04：Java API：DML：Put 需求：JavaAPI实现往Hbase表中写入数据put表rowkey列族：列值 分析step1：Hbase中实现put操作，需要构建Put对象 step2：为Put对象添加列族、列名、值 step3：对表执行put操作 实现/**
* 用于实现使用Put插入数据到表中:put表rowkey列族：列值
* @param table
*/
private void putData(Table table) throws IOException {
//step1：构建Put对象,必须指定插入的rowkey的数据
Put put = new Put(Bytes.toBytes("20201001_888"));
//step2：初始化put，添加列族、列、值
put.addColumn(
Bytes.toBytes("basic"),//指定列族
Bytes.toBytes("name"),//指定列的名称
Bytes.toBytes("laoba")//指定列的值
);
//step3：让表执行put操作
table.put(put);
} 总结Put对象：专门用于往Hbase写入数据的对象 table.put 知识点05：Java API：DML：Get 需求：JavaAPI实现从Hbase表中读取某个Rowkey的数据get 表名rowkey【列族，列】 分析 step1：Hbase中实现get操作，需要构建Get对象 step2：为Get对象添加列族、列名 step3：对表执行get操作，获取返回值，打印输出table.get(Get) 实现/**
* 使用Get查询Hbase表中的数据：get 表名rowkey【列族，列】
* @param table
*/
private void getData(Table table) throws IOException {
//step1：构建Get对象，必须指定Rowkey
Get get = new Get(Bytes.toBytes("20201001_888"));
//step2：可选的，配置Get需要的参数：列族、列
// get.addColumn()//指定获取某一列的数据
// get.addFamily()//指定获取某个列族的数据
//step3：表执行get操作
Result result = table.get(get);//Get操作的返回值为Result类型对象
/**
* 迭代输出Result对应的rowkey中的每一列的数据,一个Rowkey包含很多列，循环迭代输出每一列的数据
* Result：一个Result对象就是一个Rowkey的数据
* Cell：一个Cell代表一个rowkey中一列的数据
* 一个Result对象中会包含多个Cell
*/
for(Cell cell : result.rawCells()){
//输出每一列Cell对象中的数据：20201001_888 column=basic:age, timestamp=1616029665232, value=20
System.out.println(
Bytes.toString(CellUtil.cloneRow(cell)) //获取这一列的rowkey，转换为字符串类型
+"\t"+
Bytes.toString(CellUtil.cloneFamily(cell)) //获取这一列的列族，转换为字符串类型
+"\t"+
Bytes.toString(CellUtil.cloneQualifier(cell)) //获取这一列的名称，转换为字符串类型
+"\t"+
Bytes.toString(CellUtil.cloneValue(cell)) //获取这一列的值，转换为字符串类型
+"\t"+
cell.getTimestamp() //获取时间戳
);
}
} 总结step1：先构建Get step2：执行Get，得到返回值 Result：一个Result就是一个Rowkey的数据，包含一个Cell数组 知识点06：Java API：DML：Delete 需求：JavaAPI实现从Hbase表删除某个Rowkey的某列的数据 分析 step1：Hbase中实现delete操作，需要构建Delete对象 step2：为Delete对象添加列族、列名 step3：对表执行delete操作table.delete(Delete) 实现/**
* 删除某个Rowkey的某一列的数据：delete 表名 rowkey 列族：列
* @param table
*/
private void deleteData(Table table) throws IOException {
//step1：构建删除对象
Delete delete = new Delete(Bytes.toBytes("20201001_888"));
//step2：添加删除配置
// delete.addColumn(Bytes.toBytes("basic"),Bytes.toBytes("name")); //只删除最新版本
delete.addColumns(Bytes.toBytes("basic"),Bytes.toBytes("name")); //删除所有版本
//step3：执行删除
table.delete(delete);
} 总结step1：构建Delete对象 step2：根据需求调用配置方法：添加列族、列 step3：表对象指定delete对象即可 知识点07：Java API：DML：Scan 需求：JavaAPI实现从Hbase表中读取所有数据scan 表
scan 表 + filter 分析step1：Hbase中实现scan操作，需要构建Scan对象 step2：对表执行scan操作 step3：获取返回值，取出每个Rowkey的数据，打印输出 实现/**
* 通过Scan，进行Hbase表的数据查询:scan 表
* @param table
*/
private void scanData(Table table) throws IOException {
//step1：构建Scan对象
Scan scan = new Scan();
//step2：执行scan：返回值是ResultScanner，包含了多个Rowkey的数据
ResultScanner rsScan = table.getScanner(scan);
/**
* ResultScanner：包含多个Rowkey的数据，包含了多个Result对象：Iterator<Result>
* Result：一个Rowkey的数据，包含了这个Rowkey多列的数据：Cell[]
* Cell ：一列的数据
*/
//step3：打印数据
//先获取每个rowkey
for(Result rs:rsScan){
//直接输出当前rowkey的值
System.out.println(Bytes.toString(rs.getRow()));
//再获取每个rowkey中的每一列
for(Cell cell : rs.rawCells()){
//输出每一列Cell对象中的数据：20201001_888 column=basic:age, timestamp=1616029665232, value=20
System.out.println(
Bytes.toString(CellUtil.cloneRow(cell)) //获取这一列的rowkey，转换为字符串类型
+"\t"+
Bytes.toString(CellUtil.cloneFamily(cell)) //获取这一列的列族，转换为字符串类型
+"\t"+
Bytes.toString(CellUtil.cloneQualifier(cell)) //获取这一列的名称，转换为字符串类型
+"\t"+
Bytes.toString(CellUtil.cloneValue(cell)) //获取这一列的值，转换为字符串类型
+"\t"+
cell.getTimestamp() //获取时间戳
);
}
System.out.println("----------------------------------------------------------------------");
}
} 总结step1：先构建Scan对象 step2：执行Scan操作 step3：返回值ResultScanner：包含多个Rowkey的数据的集合 Result：一个Rowkey的数据 Cell：一列的数据 知识点08：Java API：DML：Filter 需求：JavaAPI实现从Hbase表中根据条件读取部分需求1：查询2021年1月和2月的数据 需求2：查询2021年的所有数据 需求3：查询所有age = 20的数据 需求4：查询所有数据的name和age这两列 需求5：查询所有年age = 20的人的name和age 分析 Rowkey的设计：时间【年月日】+id 需求1StartRow = 》202101 StopRow = 》202103 需求2 方案一：使用startrow = 2021,stoprow = 2022 方案二：使用Filter：PrefixFilter，Rowkey的前缀过滤器构建过滤器，指定Rowkey前缀 Scan加载过滤器，返回所有符合rowkey前缀的过滤器 需求三：查询所有age = 20的数据 where age = 20Filter：列值过滤器SingleColumnValueFilter：对某一列的值进行过滤 指定列值过滤器：哪个列族下的哪一列的值等于什么值 scan加载过滤器 需求4：查询所有数据的name和age这两列 select name ,age from tableFilter：多列前缀过滤器MutipleColumnPrefixFIlter：用于将每条数据中指定的列过滤出来 指定需要过滤哪些列 scan加载过滤器即可 需求5：查询所有年age = 20的人的name和age select name,age from table where age = 20支持组合过滤器：FilterList列的过滤：MutipleColumnPrefixFIlter 列值过滤：SingleColumnValueFilter 构建两个过滤器，将两个过滤器组合放入过滤器集合 Scan加载过滤器集合 实现 批量写入数据到Hbase/**
* 批量写入数据到Hbase
* @param table
*/
private void putListData(Table table) throws IOException {
//step1：构建Put对象，一个Put对象用于表示一个Rowkey写入的数据
Put put1 = new Put(Bytes.toBytes("20210101_001"));
Put put2 = new Put(Bytes.toBytes("20210201_002"));
Put put3 = new Put(Bytes.toBytes("20210301_003"));
//step2：为Put添加这个Rowkey的每一列
put1.addColumn(Bytes.toBytes("basic"),Bytes.toBytes("name"),Bytes.toBytes("laoda"));
put1.addColumn(Bytes.toBytes("basic"),Bytes.toBytes("age"),Bytes.toBytes("18"));
put1.addColumn(Bytes.toBytes("other"),Bytes.toBytes("phone"),Bytes.toBytes("110"));
put1.addColumn(Bytes.toBytes("other"),Bytes.toBytes("addr"),Bytes.toBytes("shanghai"));
put2.addColumn(Bytes.toBytes("basic"),Bytes.toBytes("name"),Bytes.toBytes("laoer"));
put2.addColumn(Bytes.toBytes("basic"),Bytes.toBytes("age"),Bytes.toBytes("20"));
put2.addColumn(Bytes.toBytes("other"),Bytes.toBytes("phone"),Bytes.toBytes("120"));
put3.addColumn(Bytes.toBytes("basic"),Bytes.toBytes("name"),Bytes.toBytes("laosan"));
put3.addColumn(Bytes.toBytes("basic"),Bytes.toBytes("age"),Bytes.toBytes("22"));
put3.addColumn(Bytes.toBytes("other"),Bytes.toBytes("addr"),Bytes.toBytes("beijing"));
//step3：将多个Put封装到List中
List<Put> puts = new ArrayList<Put>();
puts.add(put1);
puts.add(put2);
puts.add(put3);
//step4：执行PutList
table.put(puts);
} 需求一：实现范围过滤 //需求一：查询2021年1月和2月的数据
scan.withStartRow(Bytes.toBytes("202101"));
scan.withStopRow(Bytes.toBytes("202103")); 需求二实现 //需求2：查询2021年的所有数据
Filter prefixFiter = new PrefixFilter(Bytes.toBytes("2021"));
//将过滤器加载到scan中
scan.setFilter(prefixFiter); 需求三实现 //需求三：查询所有age = 20的数据
/**
* * @param family name of column family
* * @param qualifier name of column qualifier
* * @param op operator
* * @param value value to compare column values against
*/
Filter valueFilter = new SingleColumnValueFilter(
Bytes.toBytes("basic"),//指定列族
Bytes.toBytes("age"),//指定列
CompareOperator.EQUAL,//指定比较器类型
Bytes.toBytes("20") //比较的值
);
//将过滤器加载到scan中
scan.setFilter(valueFilter); 需求四实现 //需求4：查询所有数据的name和age这两列
//构建所有需要过滤的列
byte[][] prefixes = {
Bytes.toBytes("name"),
Bytes.toBytes("age")
};
Filter columnFilter = new MultipleColumnPrefixFilter(prefixes);
//将过滤器加载到scan中
scan.setFilter(columnFilter); 需求五实现 Filter valueFilter = new SingleColumnValueFilter(
Bytes.toBytes("basic"),//指定列族
Bytes.toBytes("age"),//指定列
CompareOperator.EQUAL,//指定比较器类型
Bytes.toBytes("20") //比较的值
);
//需求4：查询所有数据的name和age这两列
//构建所有需要过滤的列
byte[][] prefixes = {
Bytes.toBytes("name"),
Bytes.toBytes("age")
};
Filter columnFilter = new MultipleColumnPrefixFilter(prefixes);
//需求5：查询所有age = 20的人的name和age
//构建FIlterList
FilterList lists = new FilterList();//MUST_PASS_ALL：and,MUST_PASS_ONE：or
//添加过滤器
lists.addFilter(valueFilter);
lists.addFilter(columnFilter);
//将过滤器加载到scan中
scan.setFilter(lists); 总结Rowkey范围过滤：StartRow和StopRow Rowkey前缀过滤：PrefixFilter Rowkey中列的值的过滤：SingleColumnValueFilter Rowkey中列的过滤：MultipleColumnPrefixFilter 多种条件的组合过滤：FilterList 知识点09：存储设计：存储架构 知识点10：存储设计：Table、Region、RegionServer的关系 问题：客户端操作的是表，数据最终存在RegionServer中，表和RegionServer的关系是什么？ 分析 知识点11：存储设计：Region的划分规则 问题：一张表划分为多个Region，划分的规则是什么？写一条数据到表中，这条数据会写入哪个Region，分配规则是什么？ 分析 知识点12：存储设计：Region内部存储结构 问题：数据在Region的内部是如何存储的？ 分析 知识点13：存储设计：HDFS中的存储结构 问题：Hbase的数据在HDFS中是如何存储的？ 分析 问题：客户端操作的是表，数据最终存在RegionServer中，表和RegionServer的关系是什么？ 分析 知识点11：存储设计：Region的划分规则
[外链图片转存中…(img-xGxSZiF6-1616631335582)]
问题：一张表划分为多个Region，划分的规则是什么？写一条数据到表中，这条数据会写入哪个Region，分配规则是什么？ 分析 知识点12：存储设计：Region内部存储结构
[外链图片转存中…(img-KRgBXSLA-1616631335583)]
问题：数据在Region的内部是如何存储的？ 分析 知识点13：存储设计：HDFS中的存储结构
[外链图片转存中…(img-10viiw3z-1616631335583)]
问题：Hbase的数据在HDFS中是如何存储的？ 分析
免责声明：
1. 本站所有资源来自网络搜集或用户上传，仅作为参考不担保其准确性！
2. 本站内容仅供学习和交流使用，版权归原作者所有！© 查看更多
3. 如有内容侵害到您，请联系我们尽快删除，邮箱：kf@codeae.com
数据库
发布于：2021-07-01 09:53
|
阅读数：482
|
评论：0
QQ好友和群
QQ空间
