Hbase的三种索引_全局索引,覆盖索引,本地索引（七）

青衣

　　
　　文章目录

分布式NoSQL列存储数据库Hbase（七）
- 知识点02：课程目标
- 知识点03：Phoenix二级索引设计
- 知识点04：二级索引：全局索引设计
- 知识点05：二级索引：全局索引实现
- 知识点06：二级索引：覆盖索引设计
- 知识点07：二级索引：覆盖索引实现
- 知识点08：二级索引：本地索引设计
- 知识点09：二级索引：本地索引实现
- 知识点10：二级索引：函数索引【了解】
- 知识点11：集群角色功能：Master
- 知识点12：集群角色功能：RegionServer
- 知识点13：集群角色功能：HDFS与ZK
- 知识点14：Hbase读写流程：写入流程
- 知识点15：Hbase读写流程：meta表
- 知识点14：Hbase读写流程：写入流程
- 知识点15：Hbase读写流程：meta表

　　分布式NoSQL列存储数据库Hbase（七）

　　如何培养解决错误的能力
- 　　Hbase启动以后，进程会自动消失？
- 　　运行程序时的一些报错？
- 　　所有错误都是有日志的
  - 　　软件的错误：找到软件的日志
    　　[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2aGqsq2h-1616590200777)(20210324_分布式NoSQL列存储数据库Hbase（七）.assets/image-20210324092337557.png)]
```
tail -100f logs/hbase-root-master-node1.log
```
- 　　Java的程序错误：都是Exception
  - 根据Exception的错误，分析原因
  - ArrayOutOfIndexException：数据越界异常
    - 引用了一个不存在的下标
    - 排查：引用元素的位置
  - ConnectionException：Connection Refused：连接拒绝异常
    - 请求地址：hostname：port
      - 主机名不正确
      - 端口不对
    - 进程没有正常启动，端口没有开放
  - NullException：空指针异常
    - 变量的值为null
  - OutOfMemoryException：内存溢出异常
    - 内存空间存储不足
  - ClassNotFoundException：类找不到
    - 缺少jar包，jar包有问题
    - jar包冲突
  - CastClassException：转换异常
- 　　建议
  - 第一：先百度，查询Exception
  - 第二：如果第一步解决不了，超过5分钟咨询老师
  - 第三：总结错误
    - 现象
    - 分析
    - 解决

知识点02：课程目标

Phoenix实现二级索引
- 为什么要构建二级索引？
- 如何构建二级索引？【重点】
  - 全局索引
  - 覆盖索引
  - 本地索引
  - 三种索引区别和各自的应用场景
Hbase整体读写流程
- 集群中每个角色的具体功能
  - Master
  - RegionServer
- Hbase读写数据中：元数据的内容和检索过程==【重点】==

知识点03：Phoenix二级索引设计

　　目标
- 基于Phoenix构建Hbase二级索引并维护二级索引
　　分析
- 为什么需要构建二级索引？
  - 因为Hbase使用Rowkey作为唯一索引，无法满足大部分的查询走索引，导致性能较差
  - 构建二级索引：通过走两次索引代替全表扫描
- Phoenix如何实现二级索引？
  - Phoenix底层构建了大量的协处理器，来实现二级索引的构建
　　实现
- 　　step1：根据数据存储需求，创建原始数据表，将数据写入原始数据表
```
rowkey：idnameage
```
- 　　step2：根据数据查询需求，构建二级索引，Phoenix自动创建索引表
```
create index indexName on tbName(colName);
```
```
rowkey：name_id
```
- 　　step3：查询数据时，Phoenix根据过滤条件是否存在二级索引，优先判断走二级索引代替全表扫描
- 　　step4：原始数据表发生数据变化时，Phoenix会自动更新索引表的数据
　　总结
- 在Phoenix中二级索引实现完全由Phoenix自主实现
- 不需要关心底层的实现，只需要使用语法创建索引即可
- http://phoenix.apache.org/secondary_indexing.html

知识点04：二级索引：全局索引设计

　　目标
- 了解二级索引中全局索引的设计思想
　　分析
- 什么是全局索引？
  - 当为某一列创建全局索引时，Phoenix自动创建一张索引表，将创建索引的这一列加上原表的rowkey作为新的rowkey
　　实现
- 　　原始数据表
```
rowkey：idnameage
```
- 　　需求：根据name进行数据查询
- 　　创建全局索引
```
create index index01 on tbname(name);
```
- 　　自动构建索引表
```
rowkey：name_idcol：占位值
```
- 　　查询
  - 先查询索引表：通过rowkey获取名称对应的id
  - 再查询数据表：通过id查询对应的数据
　　总结
- 　　**特点：**默认只能对构建索引的字段做索引查询，如果查询中包含了不是索引的字段或者条件不是索引字段，不走索引
- 　　走索引
```
select name from table
select name from table where name = value
```
  - 　　不走索引
```
select * from table where name = value
```
- 　　**应用：**写少读多
  - 当原表的数据发生更新操作提交时，会被拦截
  - 先更新所有索引表，然后再更新原表

知识点05：二级索引：全局索引实现

　　目标
- 基于Phoenix实现全局索引的测试
　　分析
- step1：先创建原始数据表
- step2：基于查询条件创建索引
- step3：实现索引查询
　　实现
- 　　不构建索引，先查询，查看执行计划
```
select "user_id" from ORDER_DTL where "user_id" = '8237476';
explain select "user_id" from ORDER_DTL where "user_id" = '8237476';
```
  　　[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DCGxHMk7-1616590200779)(20210324_分布式NoSQL列存储数据库Hbase（七）.assets/image-20210324102219687.png)]
- 　　基于user_id构建全局索引
```
create index GBL_IDX_ORDER_DTL on ORDER_DTL(C1."user_id");
```
- 　　查看索引表
```
!tables
```
  　　[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dmsKS7ME-1616590200780)(20210324_分布式NoSQL列存储数据库Hbase（七）.assets/image-20210324102348151.png)]
  　　[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HLoZolzn-1616590200781)(20210324_分布式NoSQL列存储数据库Hbase（七）.assets/image-20210324102530846.png)]
  　　[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TQk7O8T7-1616590200782)(20210324_分布式NoSQL列存储数据库Hbase（七）.assets/image-20210324102548631.png)]
- 　　查询数据及查询计划
```
select "user_id" from ORDER_DTL where "user_id" = '8237476';
explain select "user_id" from ORDER_DTL where "user_id" = '8237476';
```
  　　[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Rr9tNjVj-1616590200783)(20210324_分布式NoSQL列存储数据库Hbase（七）.assets/image-20210324102631657.png)]
- 　　如果查询条件不是索引字段
```
explain select "user_id" from ORDER_DTL where "money" = 9390.0;
```
- 　　如果查询内容不是索引字段，查看执行计划
```
explain select "user_id", "id", "money" from ORDER_DTL where "user_id" = '8237476';
```
- 　　强制走索引
```
explain select /*+ INDEX(ORDER_DTL GBL_IDX_ORDER_DTL) */ * from ORDER_DTL where "user_id" = '8237476';
```
- 　　删除索引
```
drop index GBL_IDX_ORDER_DTL on ORDER_DTL;
```
　　总结
- 全局索引是最常用的基础二级索引类型
- 索引表结构
  - rowkey：查询条件字段 + 原表rowkey
- 应用：适合于读多写少的场景
- 特点：如果查询条件或者查询内容中包含非索引字段，将不走索引，可以强制走索引

知识点06：二级索引：覆盖索引设计

　　目标
- 了解二级索引中覆盖索引的设计思想
　　分析
- 什么是覆盖索引？
  - 在构建全局索引时，将经常作为查询条件的列放入索引表中，直接通过索引表来返回数据结果

　　实现

　　原始数据表
```
rowkey：idnameage  addr  phone
```
　　需求：根据name进行数据查询
　　创建全局索引
```
create index index01 on tbname(name);
```
　　自动构建索引表
```
rowkey：name_idcol：占位值
```
　　如果需求发生改变，查询name和age，上面的全局索引会失效

　　创建全局+覆盖：include(age)

create index index01 on tbname(name) include(age);

　　自动构建索引表

rowkey:name_idcol：age

select name from table;
select name from table where age = 20
select name , age from table

　　总结
- **特点：**基于全局索引构建，将常用的查询结果放入索引表中，直接从索引表返回结果
- **应用：**适合于查询条件比较固定，数据量比较小的场景下
- 注意：不建议将大部分列都放入覆盖索引，导致索引表过大，性能降低

知识点07：二级索引：覆盖索引实现

　　目标
- 基于Phoenix实现覆盖索引的测试
　　分析
- step1：先创建原始数据表
- step2：基于查询条件创建覆盖索引
- step3：实现索引查询
　　实现
- 　　不构建索引，先查询，查看执行计划
```
select "user_id", "id", "money" from ORDER_DTL where "user_id" = '8237476';
explain select "user_id", "id", "money" from ORDER_DTL where "user_id" = '8237476';
```
- 　　基于user_id构建全局索引，运行通过user_id查询订单id和支付金额
```
create index GBL_IDX_ORDER_DTL on ORDER_DTL(C1."user_id") INCLUDE("id", C1."money");
```
- 　　查看索引表
```
!tables
```
  　　[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WeyeOlZG-1616590200784)(20210324_分布式NoSQL列存储数据库Hbase（七）.assets/image-20210324104259966.png)]
  　　[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qJodnjuq-1616590200784)(20210324_分布式NoSQL列存储数据库Hbase（七）.assets/image-20210324104408082.png)]
- 　　查询数据
```
select "user_id", "id", "money" from ORDER_DTL where "user_id" = '8237476';
```
- 　　查看执行计划
```
explain select "user_id", "id", "money" from ORDER_DTL where "user_id" = '8237476';
```
  　　[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oWBK8XF7-1616590200785)(20210324_分布式NoSQL列存储数据库Hbase（七）.assets/image-20210324104452747.png)]
- 　　如果查询条件不是索引字段
```
[/list]　　explain select “user_id”, “id”, “money” from ORDER_DTL where “pay_way” = 1;

- 如果查询内容不是索引字段，查看执行计划
```sql
  explain select "user_id", "id", "pay_way" from ORDER_DTL where "user_id" = '8237476';
```
- 　　使用HINT强制走索引
```
  explain select /*+ INDEX(ORDER_DTL GBL_IDX_ORDER_DTL) */ * from ORDER_DTL where "user_id" = '8237476';
```
- 　　删除索引
```
  drop index GBL_IDX_ORDER_DTL on ORDER_DTL;
```
- 　　总结
  - 　　覆盖索引是基于全局索引实现的
  - 　　目的是将常用的查询结果放入索引表中，直接从索引表返回数据
知识点08：二级索引：本地索引设计
- 　　目标
  - 了解二级索引中本地索引的设计思想
- 　　分析
  - 什么是本地索引？
    - 将索引数据与对应的原始数据放在同一台机器，避免了跨网络传输，提高了写的性能
- 　　实现
  - 构建索引数据时，将索引数据直接存储在原表中，用一个列族来实现
- 　　总结
  - 特点
    - 即使查询数据中包含了非索引字段，也会走本地索引
    - 本地索引会修改原始数据
      - 如果构建了本地索引，不能通过Hbase的API来读写数据的，必须通过Phoenix来实现读写
    - 本地索引对盐表不生效的
  - 应用：写多读少
    - 提高构建索引时对写的性能的影响
    - 最终所有索引都是为了提高读的性能的
知识点09：二级索引：本地索引实现

知识点10：二级索引：函数索引【了解】
- 　　目标
  - 了解Hbase中的函数索引的概念
- 　　分析
  - 本地、覆盖、全局：都是基于查询的列构建索引
  - 什么是函数索引？
    - 可以基于一个函数表达式去构建索引
- 　　实现
  - 　　查询：过滤的条件是一个函数
```
SELECT EMP_ID FROM EMP WHERE UPPER(FIRST_NAME||' '||LAST_NAME)='JOHN DOE'
```
  - 　　构建索引
```
CREATE INDEX UPPER_NAME_IDX ON EMP (UPPER(FIRST_NAME||' '||LAST_NAME))
```
  - 　　Hive中
    - 　　SQL：语法
    - 　　函数
      - 　　字符串
        
        substr
      - 　　replace_regex
        
        　　concat/concat_ws
        
        concat：直接拼接每个字符串，只有有1列为null，整个结果为null
        
        concat(str1,str2,str3……)
        
        　　concat_ws：可以指定分隔符，只要有1列不为null，整个结果不为null
        concat(分隔符,str1,str2,str3……)
        
        　　instr
        
        　　……
      - 　　日期
        
        转换类：from_unix，unix_timestamp
        
        获取：year、ceil、quator、month、day、hour
      - 　　条件
        
        if
        
        case when
      - 　　JSON处理：json_tuple，get_json_object
      - 　　窗口函数：重点：row_number，rank，dense_rank,lead,lag，sum
      - 　　URL解析：parse_url_tuple
- 　　总结
  - 函数索引就是基于函数表达式创建索引，当执行相同的函数表达式查询时，可以通过索引实现快速查询
  - 一般不用
知识点11：集群角色功能：Master
　　[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5qsDzwNT-1616590200786)(20210324_分布式NoSQL列存储数据库Hbase（七）.assets/image-20210323223056968.png)]
- 　　管理所有从节点：RegionServer
  - 　　监听Regionserver的状态，如果RegionServer发生故障，会实现这台RegionServer的数据恢复
  - 　　基本原理：所有RegionServer会在ZK中注册一个临时节点，Master会监听Zookeeper中的这些节点
    - 类似于HA选举的原理
  - 　　数据是如何恢复的？
    - 　　数据存储的位置
    - 　　内存：RegionServer的内存中
      - 　　如果RegionServer断电故障，内存中的数据丢失
      - 　　解决：通过持久化日志来实现
        
        　　WAL：HLog，write ahead log：预写日志
        
        数据在写入内存之前，会将这个操作记录在WAL中
        
        如果内存数据丢失，可以通过WAL进行恢复
        
        存储在HDFS上
        
        　　[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JK77zwSO-1616590200786)(20210324_分布式NoSQL列存储数据库Hbase（七）.assets/image-20210324113740340.png)]
        　　[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GGdmPWuF-1616590200786)(20210324_分布式NoSQL列存储数据库Hbase（七）.assets/image-20210324113753586.png)]
    - 　　磁盘：HDFS中
      - 如果RegionServer故障，不影响HDFS的数据
- 　　管理元数据
  - Master会接受所有DDL请求
  - Master启动时会加载meta表和namespace的数据，获取元数据记录在ZK中
  - Master会将所有管理类的元数据存储在ZK中
  　　[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Lohj84Ke-1616590200787)(20210324_分布式NoSQL列存储数据库Hbase（七）.assets/image-20210324114021119.png)]
- 　　管理Region的分配
  - 创建表、分配region
  - regionserver故障，重新分配region到别的regionserver上
  - region分裂，将新的region分配到regionserver上
知识点12：集群角色功能：RegionServer
　　[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9prEEpeU-1616590200787)(20210324_分布式NoSQL列存储数据库Hbase（七）.assets/image-20210323223219354.png)]
- 负责管理所有Region的数据读写，接受客户端对于region的读写请求
- 维护所有存储角色
  - 　　WAL：write ahead log：预写日志
  - 　　Region：存储分区
  - 　　Store：列族，存储单元
  - 　　Memstore：写缓存，数据先写入MemStore
  - 　　BlockCache：读缓存，如果第一次从HDFS中读取，可以配置将读取的结果放入读缓存，下次直接从读缓存中读取
    - 　　读的顺序
      - 　　先读memstore
      - 　　如果没有，数据在HDFS的文件中：怎么能让Hbase读HDFS文件能很快？
        
        Rowkey是有序的
        
        列族的设计
        
        二进制文件
      - 　　可以指定对列族的数据是否开启读缓存，如果开启了读缓存
        
        　　第一次从HDFS读取完成以后，将结果放入读缓存BlockCache：内存区域
        
        　　第二次开始
        
        　　先读memstore
        
        　　再读Blockcache
        
        　　再读HDFS
  - 　　StoreFile：如果MemStore存储的容量达到一定条件，将MEMStore中的数据写入HDFS
- 实现分布式内存存储
知识点13：集群角色功能：HDFS与ZK
- 　　HDFS功能
  - 用于实现HBASE大量数据的持久化存储
  - 当MemStore中的数据过多，就会进行Flush【Spill】：将数据从内存溢写到HDFS上
- 　　ZooKeeper功能
  - 用于实现HMaster的HA，辅助选举
  - 用于存储核心元数据：管理元数据
    - 供Master实现管理操作
      - Hbase中有哪些ns、哪些表、哪些rs、master是谁，正在执行的操作
  - 表的元数据不在Zookeeper中
    - 表的元数据在meta表中
    - 表的元数据：表有几个region，每个region的范围、region所在的地址
知识点14：Hbase读写流程：写入流程
　　[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iB5AlLvh-1616590200788)(20210324_分布式NoSQL列存储数据库Hbase（七）.assets/image-20210323223403690.png)]
- 　　目标
  - 　　掌握Hbase数据写入的流程
  - 　　当执行一条Put操作，数据是如何写入Hbase的？
```
put 表名rowkey列族：列值
```
- 　　分析
  - 　　step1：根据表名获取这张表对应的所有Region的信息
  - 　　step2：根据Rowkey判断具体写入哪个Region
  - 　　step3：将put操作提交给这个Region所在的RegionServer
  - 　　step4：RegionServer将数据写入Region，根据列族判断写入哪个Store
- 　　总结
知识点15：Hbase读写流程：meta表
- 　　目标
  - 了解hbase:meta表的存储内容及功能
  - 问题1：如何知道这张表对应的region有哪些？
  - 问题2：如何知道每个Region的范围的？
  - 问题3：如何知道Region所在的RegionServer地址的？
- 　　分析
  - 肯定有个地方存储了表与Region的关系以及Region的信息
- 　　实现
  - hbase:meta表
- 　　总结
　　中的数据过多，就会进行Flush【Spill】：将数据从内存溢写到HDFS上
- 　　ZooKeeper功能
  - 用于实现HMaster的HA，辅助选举
  - 用于存储核心元数据：管理元数据
    - 供Master实现管理操作
      - Hbase中有哪些ns、哪些表、哪些rs、master是谁，正在执行的操作
  - 表的元数据不在Zookeeper中
    - 表的元数据在meta表中
    - 表的元数据：表有几个region，每个region的范围、region所在的地址
知识点14：Hbase读写流程：写入流程
　　[外链图片转存中…(img-iB5AlLvh-1616590200788)]
- 　　目标
  - 　　掌握Hbase数据写入的流程
  - 　　当执行一条Put操作，数据是如何写入Hbase的？
```
put 表名rowkey列族：列值
```
- 　　分析
  - 　　step1：根据表名获取这张表对应的所有Region的信息
  - 　　step2：根据Rowkey判断具体写入哪个Region
  - 　　step3：将put操作提交给这个Region所在的RegionServer
  - 　　step4：RegionServer将数据写入Region，根据列族判断写入哪个Store
- 　　总结
知识点15：Hbase读写流程：meta表
- 　　目标
  - 了解hbase:meta表的存储内容及功能
  - 问题1：如何知道这张表对应的region有哪些？
  - 问题2：如何知道每个Region的范围的？
  - 问题3：如何知道Region所在的RegionServer地址的？
- 　　分析
  - 肯定有个地方存储了表与Region的关系以及Region的信息
- 　　实现
  - hbase:meta表
- 　　总结

[NoSQL] Hbase的三种索引_全局索引,覆盖索引,本地索引（七）

相关帖子

一文详解｜Go 分布式链路追踪实现原理

Elasticsearch 在地理信息空间索引的探索和演进

MySQL的索引你了解吗

万字总结：分布式系统的38个知识点

开源 | WLock：高可用分布式锁设计实践

一篇带给你MySQL索引知识详解

MySQL视图和索引专篇精讲

青衣 LV4