分布式NoSQL列存储数据库Hbase_列族的设计（五）

绝代码农

　　
　　文章目录

分布式NoSQL列存储数据库Hbase_列族的设计（五）
- 知识点01：课程回顾
- 知识点02：课程目标
- 知识点03：Hbase设计：列族的设计
- 知识点04：聊天系统案例：需求分析
- 知识点05：聊天系统案例：Hbase表设计
- 知识点06：聊天系统案例：环境准备
- 知识点07：聊天系统案例：模拟生成数据
- 知识点08：聊天系统案例：构建Rowkey
- 知识点09：聊天系统案例：测试写入代码
- 知识点10：聊天系统案例：查询需求分析
- 知识点11：聊天系统案例：测试查询代码
- 知识点12：聊天系统案例：查询问题
- 知识点13：二级索引
- 附录一：Maven 依赖

　　分布式NoSQL列存储数据库Hbase_列族的设计（五）
知识点01：课程回顾

　　Hbase存储原理
- 存储架构
  - Hbase：对外提供分布式内存
    - Master：集群管理
    - RegionServer：数据管理
  - HDFS：提供分布式磁盘
    - DataNode
  - Zookeeper：实现辅助选举、实现元数据存储
- 存储结构
  - Table：分布式表，一张表划分了多个Region
  - RegionServer：分布式集群节点，管理所有表的region
    - Region：每张表的每个分区，对表的数据进行划分
      - region的划分规则：按照范围划分，从-oo 到+oo进行有序划分
      - 数据的划分规则：按照Rowkey或者Rowkey前缀，Rowkey属于哪个范围，写入对应的region
      - Store：对分区内部的数据再次划分，按照列族进行划分Store
        
        MemStore：内存区域，用于存储刚写入的数据，使用的RegionServer的JVM内存
        
        如果到达一定的阈值，就会写入HDFS，变成文件
        
        StoreFile：逻辑上属于Store，物理上存储在HDFS【HFILE】
- HDFS存储关系
  - Hbase目录：/hbase
  - Hbase数据：/hbase/data
    - NS目录
      - Table的目录
        
        Region的目录
        
        列族的目录
　　热点问题
- 　　现象：大量的读写请求全部集中在某个Region或者某个RegionServer上
- 　　原因：数据分配的不均衡
  - 情况一：表只有一个分区
  - 情况二：表有多个分区，但是Rowkey是连续的，或者与分区的划分不匹配
    - Rowkey是连续，写入同一个Region
    - 分区都是按照数字划分的，但是Rowkey是字母开头
- 　　解决
  - 　　实现预分区
    - 方式一：创建表时候：SPLITS => [10，30……]
    - 方式二：指定分区的个数，根据数字和字母的Hash组合
      - 应用：Rowkey的前缀是字母和数字组合
    - 方式三：Java API
  - 　　合理的设计Rowkey，根据Rowkey的前缀或者完整的Rowkey来划分分区
    - 　　Rowkey的设计规则
    - 　　业务原则：尽量用最常用的查询条件作为Rowkey的前缀
      - 目的：尽量走索引查询
    - 　　唯一原则：每条Rowkey是不能重复
      - 目的：唯一标识一条数据
    - 　　组合原则：将最常用的几个查询条件组合构建Rowkey
      - 目的：尽量大部分查询都走索引
    - 　　散列原则：Rowkey整体或者前缀不能是连续的，需要构建随机的散列
      - 目的：避免热点问题
    - 　　长度原则：在满足业务需求情况下，越短越好
      - 　　目的：提高性能
        
        　　Rowkey本身每列都会存储：存储占用的空间越大
        
        　　Rowkey会构建索引：内存的占用越大，比较就越慢

知识点02：课程目标

　　聊天系统案例
- 目标
  - 掌握基于业务需求场景的Hbase表的设计
  - 熟练Hbase JavaAPI
- 实现
  - 写：保存【重点】
    - Rowkey构建的代码
    - 数据写入的代码
  - 读：查询【重点】
    - 过滤器代码
　　二级索引【重点】
- 　　问题：如果查询数据的条件，不是rowkey的前缀，怎么解决查询效率的问题？
  - 　　Hbase只支持RowKey作为唯一索引，不支持创建索引
  - 　　与MySQL不一样
```
idnameagesexaddrphone
主键
select * from table where id = 1
select * from table where name=‘zhangsan’
|
create index name on table(name);
```
- 　　本质：基于Rowkey索引之上，自己构建一层索引

知识点03：Hbase设计：列族的设计

　　设计目的
- 　　Hbase特点：按列存储，允许存储一行有非常多的列
- 　　工作中主要处理的场景：对列进行处理
```
select name,count(*) from table group by name;
```
- 　　列族的设计：将列进行分组
- 　　列族的规则：将拥有相似IO属性的列划分为同一列族
  - 要读一起读，要写一起写
　　底层实现
- Store：每个Region中根据列族将不同列族的列存储在不同的Store
　　设计规则
- 个数原则：Hbase列族的个数有一定的要求，大部分情况下建议给2个
- 如果列的个数比较多：30列以上
  - 2 ~ 3
- 如果列的个数比较少，数据量不大
  - 1个
- 长度原则 ：能满足业务需求的情况下，越短越好
- 名称没有其他功能，只要有标示性即可
　　Hbase底层数据结构：KV结构，按列存储
- K：rowkey+列族+列名+Timestamp
- V：value

知识点04：聊天系统案例：需求分析

　　目标
- 掌握Hbase表的设计：Rowkey设计、列族设计
- 熟练应用Hbase Java API
　　需求
- 　　基于Hbase来设计聊天系统的数据存储
- 　　需求1：当用户聊天时，将用户的聊天的信息写入Hbase
  - 　　A发送消息给B
```
发送人ID接受者ID时间内容……
```
  - 　　写入Hbase
- 　　需求2：允许用户查询聊天记录：指定时间查询两个用户的聊天信息
  - 查询某个时间当前用户与其他用户的聊天记录
  - 时间戳
  - 发送人ID
  - 接收人ID
　　数据
　　[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-m51LYFsL-1616666919956)(20210322_分布式NoSQL列存储数据库Hbase（五）.assets/image-20210322092911806.png)]
消息时间发件人昵称发件人账号发件人性别发件人IP发件人系统发件人手机型号发件人网络制式发件人GPS收件人昵称收件人IP收件人账号收件人系统收件人手机型号收件人网络制式收件人GPS收件人性别消息类型双方距离消息msg_timesender_nickynamesender_accountsender_sexsender_ipsender_ossender_phone_typesender_networksender_gpsreceiver_nickynamereceiver_ipreceiver_accountreceiver_osreceiver_phone_typereceiver_networkreceiver_gpsreceiver_sexmsg_typedistancemessage2020/05/08 15:11:33古博易14747877194男48.147.134.255Android 8.0小米 Redmi K304G94.704577,36.247553莱优97.61.25.5217832829395IOS 10.0Apple iPhone 104G84.034145,41.423804女TEXT77.82KM天涯海角惆怅渡，牛郎织女隔天河。佛祖座前长顿首，只求共度一百年。

知识点05：聊天系统案例：Hbase表设计

　　NameSpace的设计
```
create_namespace 'MOMO_CHAT'
```

　　表的设计

　　Rowkey设计：每一条聊天记录都是一个Rowkey的数据,Rowkey怎么设计？
- 　　业务原则
- 　　唯一原则
- 　　散列原则
- 　　组合原则
- 　　长度原则
- 　　需求：根据时间戳、发件人ID、收件人ID查询数据
```
[/list]　　Rowkey：MD5【发件人_收件人_时间戳】取8位_发件人_收件人_时间戳
```
  　　发件人_收件人_时间戳
- 　　列族设计
  - 　　个数原则
  - 　　长度原则
  - 　　需求：存储聊天记录所有列，列的个数不多，给定1个列族C1
- 　　列的设计
  - 直接使用数据中的每一列即可
- 　　预分区
  - 　　规则：划分多个分区，根据Rowkey的设计划分
  - 　　Hbase中提供了数字与字母组合的指定分区个数的方式：HexStringSplit
- 　　建表语句
```
create 'MOMO_CHAT:MSG', {NAME => "C1", COMPRESSION => "GZ"}, { NUMREGIONS => 6, SPLITALGO => 'HexStringSplit'}
```
  - 　　COMPRESSION：压缩
    　　[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fa0jBwS0-1616666919959)(20210322_分布式NoSQL列存储数据库Hbase（五）.assets/image-20210322094757899.png)]

知识点06：聊天系统案例：环境准备

　　参考附录一导入Maven依赖
　　构建以下包，并依次添加代码
　　[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AdmYCQsN-1616666919960)(20210322_分布式NoSQL列存储数据库Hbase（五）.assets/image-20210321214639429.png)]
　　entity：实体类，JavaBean
- 　　Msg：用于将每一条消息封装为一个对象
  　　[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kRiU1ypz-1616666919961)(20210322_分布式NoSQL列存储数据库Hbase（五）.assets/image-20210322101623133.png)]

　　service：应用层

　　ChatMessageService：用于实现用户数据查询的接口

public interface ChatMessageService {
  //根据条件进行查询方法
  List<Msg> getMessage(String date, String sender, String receiver) throws Exception;
  //关闭资源方法
  void close();
}

　　给定时间、发送人、接收人、返回所有聊天记录

　　tool：工具类
- 　　ExcelReader：用于读取Excel表中的数据，从每一列中随机选择一个值，模拟生成用户之间的聊天数据
  - 　　readXlsx：用于接收Excel文件地址和要读取的表名，将每一列和这一列的所有数据构建一个KV
```
//参数一：Excel文件的地址
//参数二：指定读取哪个表格
```
　　//返回值：Map集合
K：String：列名称
V：List：这一列对应的所有数据
public static Map<String, List> readXlsx(String path, String sheetName)
```

　　randomColumn：随机的从某一列总取某一个值

//参数一：Excel中的所有数据
  //参数二：指定获取的列名
  //返回值：从指定列名中随机返回一个值
public static String randomColumn(Map<String, List<String>> resultMap, String columnName)
  ```
  
  - getOneMsg：用于从整张Excel表中让每一列都随机产生一个值，构建一条消息数据
  
  ```java
  //参数：Excel中的所有数据
  //返回值：模拟的数据对应的Msg对象
  public static Msg getOneMsg(Map<String, List<String>> resultMap)
  ```
  
  - 运行测试，得到一条数据
  
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3aHK6cHg-1616666919962)(20210322_分布式NoSQL列存储数据库Hbase（五）.assets/image-20210322103055968.png)]

知识点07：聊天系统案例：模拟生成数据

　　目标
- 模拟产生用户聊天数据，将每条聊天数据写入Hbase表中
　　路径
- step1：读取Excel文件，读取指定表格
- step2：从表格的每一列中随机生成一条数据，构建一条模拟数据
- step3：将模拟数据封装在一个Msg对象中
　　实现
- 　　读取Excel文件
  　　[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XPxKWFGg-1616666919964)(20210322_分布式NoSQL列存储数据库Hbase（五）.assets/image-20210322105117623.png)]
- 　　随机取某一列的一个值
  　　[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9a9g0u0B-1616666919964)(20210322_分布式NoSQL列存储数据库Hbase（五）.assets/image-20210322105145249.png)]
- 　　随机生成一条数据
  　　[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hm39BwML-1616666919965)(20210322_分布式NoSQL列存储数据库Hbase（五）.assets/image-20210322105206464.png)]
　　总结
　　[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GvWhnY47-1616666919965)(20210322_分布式NoSQL列存储数据库Hbase（五）.assets/image-20210322103055968.png)]

知识点08：聊天系统案例：构建Rowkey

　　目标
- 　　基于表的设计构建Rowkey
- 　　HbaseJava API
  - 　　step1：构建连接
  - 　　step2：构建Table对象
  - 　　step3：写入数据
```
table.put(Put)
```
　　路径
- step1：根据每条模拟数据，获取时间、发送人ID、接收人ID
- step2：基于时间戳、发送人ID、接收人ID构建MD5编码
- step3：使用MD5前8位+发送人ID+接收人ID+时间戳，构建Rowkey返回

　　实现

//构建rowkey，根据每条数据的内容来生成rowkey:ROWKEY = MD5Hash8位_发件人账号_收件人账号_时间戳
  private static String getRowKey(Msg msg) throws Exception {
    //构建一个动态字符串，用于拼接Rowkey
    StringBuilder stringBuilder = new StringBuilder(msg.getSender_account());
    stringBuilder.append("_");
    stringBuilder.append(msg.getReceiver_account());
    stringBuilder.append("_");
    //转换时间戳
    stringBuilder.append(input.parse(msg.getMsg_time()).getTime());
    //构建MD5前缀
    byte[] orginkey = Bytes.toBytes(stringBuilder.toString());
    String md5AsHex = MD5Hash.getMD5AsHex(orginkey).substring(0, 8);
    //返回最终rowkey
    return md5AsHex + "_"+stringBuilder.toString();
  }

　　总结
- Rowkey必须根据需求提前设计
- 在构建Put等DML操作时，提前基于数据构建Rowkey即可

知识点09：聊天系统案例：测试写入代码

　　目标
- 将每条模拟数据写入Hbase
　　路径
- step1：基于Rowkey构建Put对象
- step2：获取模拟数据中每一列，添加到Put对象中
- step3：对表执行Put操作，将每条模拟数据，构建一个Put，写入hbase表中中，观察结果

　　实现

//写入Hbase表
  private static void writeToHbase(Table table) throws Exception {
    for(int i = 0;i<100 ;i++){
      //step1：先获取要写入的数据
      Map<String, List<String>> maps = ExcelReader.readXlsx("datas/momo/测试数据集.xlsx", "陌陌数据");
      Msg msg = ExcelReader.getOneMsg(maps);
      //测试
//      System.out.println(msg);
      //step2：构建rowkey
      String rowkey = getRowKey(msg);
//      System.out.println(rowkey);
      //step3：写入Hbase，构建Put对象
      Put put = new Put(Bytes.toBytes(rowkey));
      //添加每一列到put对象中
//      put.addColumn(列族、列、值)
      put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_msg_time), Bytes.toBytes(msg.getMsg_time()));
      put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_sender_nickyname), Bytes.toBytes(msg.getSender_nickyname()));
      put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_sender_account), Bytes.toBytes(msg.getSender_account()));
      put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_sender_sex), Bytes.toBytes(msg.getSender_sex()));
      put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_sender_ip), Bytes.toBytes(msg.getSender_ip()));
      put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_sender_os), Bytes.toBytes(msg.getSender_os()));
      put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_sender_phone_type), Bytes.toBytes(msg.getSender_phone_type()));
      put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_sender_network), Bytes.toBytes(msg.getSender_network()));
      put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_sender_gps), Bytes.toBytes(msg.getSender_gps()));
      put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_receiver_nickyname), Bytes.toBytes(msg.getReceiver_nickyname()));
      put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_receiver_ip), Bytes.toBytes(msg.getReceiver_ip()));
      put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_receiver_account), Bytes.toBytes(msg.getReceiver_account()));
      put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_receiver_os), Bytes.toBytes(msg.getReceiver_os()));
      put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_receiver_phone_type), Bytes.toBytes(msg.getReceiver_phone_type()));
      put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_receiver_network), Bytes.toBytes(msg.getReceiver_network()));
      put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_receiver_gps), Bytes.toBytes(msg.getReceiver_gps()));
      put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_receiver_sex), Bytes.toBytes(msg.getReceiver_sex()));
      put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_msg_type), Bytes.toBytes(msg.getMsg_type()));
      put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_distance), Bytes.toBytes(msg.getDistance()));
      put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_message), Bytes.toBytes(msg.getMessage()));
      //让表执行Put操作
      table.put(put);
    }
  }

　　总结
- 　　写入hbase只要设计好rowkey，构建Put，添加列，执行即可
  　　[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jaacGobF-1616666919966)(20210322_分布式NoSQL列存储数据库Hbase（五）.assets/image-20210322110352464.png)]

知识点10：聊天系统案例：查询需求分析

　　目标
- 　　根据时间【日期】、发送人ID、接收人ID查询用户在指定时间的聊天记录
- 　　Hbase JavaAPI
  - 　　step1：构建连接
  - 　　step2：构建Table
  - 　　step3：读分为两种
    - 　　Get：给定rowkey，只返回一条数据
    - 　　Scan：基于各种条件的复杂查询，返回多条数据
　　路径
- 　　step1：指定时间[2021-03-22]、发送人ID、接收人ID查询条件，构建Scan
- 　　step2：根据条件构建过滤器
```
ff98a62c_17351912952_17742251415_1616381252000
```
  - Rowkey前缀范围过滤：startrow，stoprow
  - Rowkey前缀过滤：PrefixFIlter
  - 列值过滤：SingleColumnValueFilter
    - 发送人ID = 给定的发送人ID
    - 收件人ID = 给定的收件人ID
    - 开始时间：2021-03-22 00:00:00【闭区间】
    - 结束时间：2021-03-23 00:00:00【开区间】
    - 四个条件：并且：and
  - 列的过滤：MultipleColumnPrefixFilter
- 　　step3：在Scan中加载过滤器

　　实现

//构建返回值
    List<Msg> msgs = new ArrayList<>();
    //step1：先构建连接
    Configuration conf = HBaseConfiguration.create();
    conf.set("hbase.zookeeper.quorum","node1:2181,node2:2181,node3:2181");
    conn = ConnectionFactory.createConnection(conf);
    //step2：构建表的对象
    Table table = conn.getTable(tbName);
    //step3：构建Scan + Filter
    Scan scan = new Scan();
    String startTime = date+" 00:00:00";
    String endTime = date+" 23:59:59";
    SingleColumnValueFilter valueFilter1 = new SingleColumnValueFilter(
        Bytes.toBytes(cf_name),
        Bytes.toBytes("msg_time"),
        CompareOperator.GREATER_OR_EQUAL,
        Bytes.toBytes(startTime));
    SingleColumnValueFilter valueFilter2 = new SingleColumnValueFilter(
        Bytes.toBytes(cf_name),
        Bytes.toBytes("msg_time"),
        CompareOperator.LESS_OR_EQUAL,
        Bytes.toBytes(endTime));
    SingleColumnValueFilter valueFilter3 = new SingleColumnValueFilter(
        Bytes.toBytes(cf_name),
        Bytes.toBytes("sender_account"),
        CompareOperator.EQUAL,
        Bytes.toBytes(sender));
    SingleColumnValueFilter valueFilter4 = new SingleColumnValueFilter(
        Bytes.toBytes(cf_name),
        Bytes.toBytes("receiver_account"),
        CompareOperator.EQUAL,
        Bytes.toBytes(receiver));
    FilterList list = new FilterList();
    list.addFilter(valueFilter1);
    list.addFilter(valueFilter2);
    list.addFilter(valueFilter3);
    list.addFilter(valueFilter4);
    scan.setFilter(list);

　　总结
- step1：分析需求，使用哪种过滤器
- step2：构建Scan和过滤器即可

知识点11：聊天系统案例：测试查询代码

　　目标
- 将查询结果，输出打印
　　路径
- step1：将返回的每条Rowkey的数据中的每一列取出
- step2：将每一列赋值为Msg对象的对应属性
- step3：输出每一条Msg数据

　　实现

ResultScanner scanner = table.getScanner(scan);
    //step5：将每个rowkey的数据取出转换为Msg对象，放入集合中
    for (Result result : scanner) {
      //每个rowkey构建一个Msg对象
      Msg msg = new Msg();
      //读取Rowkey中每一列的数据赋值给msg的属性
//      result.getValue(列族，列)
      msg.setSender_nickyname(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_sender_nickyname))));
      msg.setSender_account(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_sender_account))));
      msg.setSender_sex(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_sender_sex))));
      msg.setSender_ip(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_sender_ip))));
      msg.setSender_os(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_sender_os))));
      msg.setSender_phone_type(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_sender_phone_type))));
      msg.setSender_network(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_sender_network))));
      msg.setSender_gps(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_sender_gps))));
      msg.setReceiver_nickyname(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_receiver_nickyname))));
      msg.setReceiver_account(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_receiver_account))));
      msg.setReceiver_sex(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_receiver_sex))));
      msg.setReceiver_ip(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_receiver_ip))));
      msg.setReceiver_os(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_receiver_os))));
      msg.setReceiver_phone_type(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_receiver_phone_type))));
      msg.setReceiver_network(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_receiver_network))));
      msg.setReceiver_gps(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_receiver_gps))));
      msg.setDistance(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_distance))));
      msg.setMsg_type(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_msg_type))));
      msg.setMessage(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_message))));
      msg.setMsg_time(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_msg_time))));
      //将msg放入集合
      msgs.add(msg);
    }
    return msgs;

　　总结
　　[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OteMzxhZ-1616666919966)(20210322_分布式NoSQL列存储数据库Hbase（五）.assets/image-20210322112127417.png)]
- step1：执行Scan，得到所有符合条件的数据
- step2：迭代每条数据进行处理即可

知识点12：聊天系统案例：查询问题

　　问题
- 根据当前Rowkey的设计以及当前的需求，无法实现基于索引查询，性能较差，如何解决？
　　原因
- 　　Rowkey的设计：MD58位+发件人+收件人+消息时间戳
- 　　索引查询：只有根据Rowkey或者Rowkey的前缀查询，才走索引查询
  - 必须：发件人+收件人+消息时间戳
- 　　查询条件：发件人、收件人、时间【天】
- 　　问题：即使Rowkey中包含了我们经常查询的列，但凡查询条件不在Rowkey中，不能做索引查询，怎么解决？
- 　　假设
```
rowkey：id_name_ageidnameageaddrphone
```
  - 走索引
    - 查询id等于001的所有信息
    - 查询id等于001名字为张三的所有信息
    - 查询id等于001名字为张三，并且年龄为18的所有信息
  - 不走索引：全表扫描
    - 查询张三的所有信息
    - 查询18岁的所有信息
    - 查询上海的所有数据信息
    - 查询号码为110的所有信息
　　解决
- 二级索引

知识点13：二级索引

　　目标
- 基于一级索引之上，构建一层索引，通过走两次索引来代替全表扫描
- Hbase中的唯一索引是Rowkey
- 目标：得到所有符合条件的数据
- 思考：能不能先得到所有符合条件的rowkey，再通过rowkey得到所有符合条件的数据
　　路径
- step1：先构建原始数据表
- step2：根据查询需求，构建索引表
- step3：先查询索引表，再查询原始数据表
　　实现
- 　　原始数据表
```
rowkey:name_ididnameagesexaddr
zhangsan_001001zhangsan18maleshanghai
lisi_002002lisi18femalebeijing
zhangsan_003003zhangsan20male
……
```
- 　　哪些查询走索引？
  - name
  - name + id
- 　　哪些查询不走索引？
  - id
  - age
  - sex
  - addr
- 　　需求：根据id查询对应id的所有数据
  - 不走索引
- 　　解决方案：构建二级索引
  - 　　原始数据表：记录所有原始数据
```
rowkey:name_ididnameagesexaddr
zhangsan_001001zhangsan18maleshanghai
lisi_002002lisi18femalebeijing
zhangsan_003003zhangsan20male
```
  - 　　数据索引表：记录查询条件与原表Rowkey的映射关系
```
rowkey:id_namecol：原表的rowkey
001_zhangsanzhangsan_001
002_lisilisi_002
003_zhangsanzhangsan_003
……
```
  - 　　查询过程：查询id = 003
    - 　　step1：先根据条件查询索引表，获取所有符合条件的原表的rowkey
      - 　　根据索引表的前缀匹配
        003_zhangsanzhangsan_003
    - 　　step2：根据原表的rowkey获取数据
```
zhangsan_003003zhangsan20male
```
　　总结
- 在原表之上构建索引表
- 先查询索引表，再查询原表
　　Hive的问题
- 　　Hive中能否执行create index
  - 可以
  - 要求：0.7 ~ 3.x
  - 原因：Hive中索引表不会自动同步原始数据表，必须手动通过MapReduce同步索引表
　　Hbase问题：索引表如何与原表保持一致的问题
- 　　方案一：当客户端往Hbase原表写入时，在客户端中也往索引表写一份
  - 不会用的
  - 优点：最简单
  - 缺点：Hbase无法保证不同表不同的rowkey的事务性，不能实现同时成功或者同时失败，性能很差
- 　　方案二：协处理器，类似于Hive中的UDF
  - 自定义开发代码，让Hbase实现监听原表，如果原表的数据发生变化，索引自动发生变化
  - 优点：Hbase原生发生，可以满足原子性包括性能
  - 缺点：开发比较麻烦
- 　　方案三：第三方工具
  - 　　Phoenix：专门为Hbase所设计的工具，底层通过大量协处理器来实现，提供SQL接口
```
create index
```
    - 自动创建索引表，维护索引同步
  - 　　ES：ElasticSearch / Solr

附录一：Maven 依赖

<repositories>
    <repository>
      <id>aliyun</id>
      <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
    </repository>
  </repositories>
  <properties>
    <hbase.version>2.1.2</hbase.version>
  </properties>
  <dependencies>
    <!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-client -->
    <dependency>
      <groupId>org.apache.hbase</groupId>
      <artifactId>hbase-client</artifactId>
      <version>${hbase.version}</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hbase</groupId>
      <artifactId>hbase-server</artifactId>
      <version>${hbase.version}</version>
    </dependency>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.12</version>
    </dependency>
    <!-- Xml操作相关 -->
    <dependency>
      <groupId>com.github.cloudecho</groupId>
      <artifactId>xmlbean</artifactId>
      <version>1.5.5</version>
    </dependency>
    <!-- 操作Office库 -->
    <dependency>
      <groupId>org.apache.poi</groupId>
      <artifactId>poi</artifactId>
      <version>4.0.1</version>
    </dependency>
    <!-- 操作Office库 -->
    <dependency>
      <groupId>org.apache.poi</groupId>
      <artifactId>poi-ooxml</artifactId>
      <version>4.0.1</version>
    </dependency>
    <!-- 操作Office库 -->
    <dependency>
      <groupId>org.apache.poi</groupId>
      <artifactId>poi-ooxml-schemas</artifactId>
      <version>4.0.1</version>
    </dependency>
    <!-- 操作JSON -->
    <dependency>
      <groupId>com.alibaba</groupId>
      <artifactId>fastjson</artifactId>
      <version>1.2.62</version>
    </dependency>
    <!-- phoenix core -->
    <dependency>
      <groupId>org.apache.phoenix</groupId>
      <artifactId>phoenix-core</artifactId>
      <version>5.0.0-HBase-2.0</version>
    </dependency>
    <!-- phoenix 客户端 -->
    <dependency>
      <groupId>org.apache.phoenix</groupId>
      <artifactId>phoenix-queryserver-client</artifactId>
      <version>5.0.0-HBase-2.0</version>
    </dependency>
  </dependencies>

<!-- 操作Office库 -->
  <dependency>
    <groupId>org.apache.poi</groupId>
    <artifactId>poi-ooxml-schemas</artifactId>
    <version>4.0.1</version>
  </dependency>
  <!-- 操作JSON -->
  <dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>fastjson</artifactId>
    <version>1.2.62</version>
  </dependency>
  <!-- phoenix core -->
  <dependency>
    <groupId>org.apache.phoenix</groupId>
    <artifactId>phoenix-core</artifactId>
    <version>5.0.0-HBase-2.0</version>
  </dependency>
  <!-- phoenix 客户端 -->
  <dependency>
    <groupId>org.apache.phoenix</groupId>
    <artifactId>phoenix-queryserver-client</artifactId>
    <version>5.0.0-HBase-2.0</version>
  </dependency>
</dependencies>

[NoSQL] 分布式NoSQL列存储数据库Hbase_列族的设计（五）

相关帖子

开源 | WLock：高可用分布式锁设计实践

MySql主从同步介绍

QQ秒变网盘超方便的QQ群永久存储功能

MySQL数据库如何给表设置约束详解

MySQL Server 层和存储引擎层是怎么交互数据的？

MySQL存储过程图文实例讲解

MySQL由浅入深掌握连接查询

Win11如何更改默认存储路径

SQLite 基本命令使用方式

绝代码农 LV4