[Sybase] 数据库，我们该如何选型？

• 数据量：是否海量数据，单表数据量太大会考验数据库的性能
• 数据结构：结构化 (每条记录的结构都一样) 还是非结构化的 (不同记录的结构可以不一样)
• 是否宽表：一条记录是 10 个域，还是成百上千个域
• 数据属性：是基本数据 (比如用户信息)、业务数据 (比如用户行为)、辅助数据 (比如日志)、缓存数据
• 是否要求事务性：一个事务由多个操作组成，必须全部成功或全部回滚，不允许部分成功
• 实时性：对写延迟，或读延迟有没有要求，比如有的业务允许写延迟高但要求读延迟低
• 查询量：比如有的业务要求查询大量记录的少数列，有的要求查询少数记录的所有列
• 排序要求：比如有的业务是针对时间序列操作的
• 可靠性要求：对数据丢失的容忍度
• 一致性要求：是否要求读到的一定是最新写入的数据
• 对增删查改的要求：有的业务要能快速的对单条数据做增删查改 (比如用户信息)，有的要求批量导入，有的不需要修改删除单条记录 (比如日志、用户行为)，有的要求检索少量数据 (比如日志)，有的要求快速读取大量数据 (比如展示报表)，有的要求大量读取并计算数据 (比如分析用户行为)
• 是否需要支持多表操作
  
  

• 行列式表存储
• 结构化数据
• 需要预定义数据类型
• 数据量和查询量都不大，如果数据量大要做分表
• 对数据一致性、完整性约束、事务性、可靠性要求比较高
• 支持多表 Join 操作
• 支持多表间的完整性，要删除 A 表的某条数据，可能需要先删除 B 表的某些数据
• SQL 的增删改查功能强
• 较为通用，技术比较成熟
• 大数据量性能不足
• 高并发性能不足
• 无法应用于非结构化数据
• 扩展困难
  
  

• 表结构较灵活，比如列存储，键值对存储，文档存储，图形存储
• 支持非结构化数据
• 有的不需要预定义数据类型，有的甚至不需要预定义表
• 支持大数据量
• 多数都支持分布式
• 扩展性好
• 基本查询能力，高并发能力比较强 (因为采用非结构化、分布式，并牺牲一致性、完整性、事务性等功能)
• 对数据一致性要求比较低
• 通常不支持事务性，或是有限支持
• 通常不支持完整性，复杂业务场景支持较差
• 通常不支持多表 Join，或是有限支持
• 非 SQL 查询语言，或类 SQL 查询语言，但功能都比较弱，有的甚至不支持修改删除数据
• 不是很通用，技术多样，市场变化比较大
  
  

• 列式：HBase、Cassandra、ClickHouse
• 键值：Redis、Memcached
• 文档：MongoDB
• 时序：InfluxDB、Prometheus
• 搜索：Elasticsearch
  
  

• 主要做实时事务处理
• 比如处理用户基本信息、处理订单合同、处理银行转账业务、企业的 ERP 系统和 OA 系统，等等
• 频繁地，对少量数据，甚至是单条数据，做实时的增删改查
• 数据库经常更新
• 通常对规范化、实时性、稳定性、事务性、一致性、完整性等有要求
• 操作较为固定，比如订单业务，可能永远就那几个固定的操作
• 数据库主要模型是 3NF 或 BCNF 模型
  
  

• 数据仓库，主要做历史数据分析，为商业决策提供支持
• 比如对大量的用户行为做分析，对设备的状态、使用率、性能做分析
• 频率较低地，对大量数据，做读取、聚合、计算、分析，实时性要求不高，对吞吐能力要求较高
• 通常列的数量比较多，但每次分析的时候只取少部分列的数据
• 通常是批量导入数据
• 通常数据导入后不会修改，主要是读取操作，写少读多
• 通常对规范化、事务性、一致性、完整性等要求较低，甚至一个查询操作失败了也不会有什么影响
• 操作较为灵活，比如一个海量用户行为数据表，可以想出许多不同的方法，从不同的角度对用户做分析
• 数据库主要是星型、雪花模型
• 不使用高性能的 OLAP 之前，更传统的做法是通过离线业务构建 T+1 的离线数据，比较滞后
  
  

• Oracle：甲骨文开发的商业数据库，不开源，支持所有主流平台，性能好，功能强，稳定性好，安全性好，支持大数据量，比较复杂，收费昂贵
• SQL Server：微软开发的商业数据库，只能在 Windows 运行
• MySQL：甲骨文拥有的开源数据库，支持多种操作系统，体积小，功能弱些，简单的操作性能好，复杂的操作性能差些
• PostgreSQL：使用 BSD 协议的完全开源免费的项目，支持多种操作系统，功能更强大，可以和多种开源工具配合
• SQLite：开源、轻型、无服务器、零配置，一个数据库就只是一个文件，在应用程序内执行操作，占用资源小，可用于嵌入式或小型应用
  
  

• 基于 Hadoop 的 HDFS 分布式文件系统
• 分布式数据库，需要 ZooKeeper 作为节点间的协调器
• 支持宽表，支持非结构化数据，不需要预定义列和数据类型
• 列式存储，每个 HFile 文件只存储一个列族的数据，一个列族可以有多个 HFile，而 HFile 内部按 Key-Value 格式存储，其中 Key 是 rowkey, column family, column, timestamp 的组合并且按 rowkey 在 HFile 中按序存储，而 value 就是 Column Cell 的值
• 支持海量数据 (千亿级数据表)
• 数据先写入内存，达到阀值再写入磁盘，性能好，占用内存大
• 不支持 SQL，不支持 Join，有自己专用的语句，支持增删改查
• 自动分区、负载均衡、可线性扩展
• 自动故障迁移
• 强一致性 (每个分区 Region 只由一个 Region Server 负责，容易实现强一致性)
• CP 模型 (不保证可用性，每个 Region 只由一个 Region Server 负责，Server 挂了得做迁移导致暂时不可用)
• 不支持事务、二级索引
  
  

• 嵌入到 HBase 的 Region Server 的数据库引擎
• 支持 SQL
• 支持 Join
• 支持事务 (需要在定义表的时候配置)
• 支持二级索引
• 支持撒盐
• 支持 JDBC
  
  

• 无单点故障：Cassandra 节点按环形排列，没有中心节点，每个节点独立互联地扮演相同角色，每个节点都可以接受读写请求，数据可以有多个副本存储在多个节点，节点之间通过 Gossip (P2P) 协议交换状态信息，集群中有若干节点配为种子节点，用于新加入的节点获取集群拓扑结构并启动 Gossip 协议
• 提供类 SQL 语言 CQL
• 适合结构化、非结构化数据
• Table 需要定义 Partition Key、Clustering Key、以及普通列，其中 Partition Key 用于分区和排序，即按照 Partition Key 的 Hash Token 决定了数据被分配到哪个节点，并且在节点内也是按该 Hash Token 按序存储的，有相同 Partition Key 的数据会存在一起，并且按照 Clustering Key 排序存储，有点类似于 HBase 的 RowKey、ColumnFamily、Column，不过 HBase 是相同 CF 存一起，内部再按 RowKey 排序存储，再取 Column 值 (Column 值不排序)，而 Cassandra 是先按 Partition Key 的 Token 排序存储，内部再按 Clustering 排序存储，再取普通 Column 的值 (Column 值不排序)
• 高度可扩展，允许添加硬件、节点以提高数据容量，同时保持快速的响应时间
• 通过 Consistency 命令可以配置一致性级别，主要是通知客户端操作前，必须确保的 replica 的成功数量
• Cassandra 采用的是最终一致性，是 CAP 理论里的 AP
• Cassandra 不支持 Join 和子查询
  
  

• 由 C 语言编写
• 支持多种数据类型如 strings，hashes，lists，sets，sorted sets，bitmaps，hyperloglogs，geospatial 等
• 操作原子性，保证了两个客户端同时访问服务器将获得更新后的值
• 数据存储在内存中
• 可以配置持久化，周期性的把更新数据写入磁盘，或周期性地把修改操作写入追加记录文件，也可以关闭持久化功能，将 Redis 作为一个高效的网络缓存数据功能使用
• 支持主从同步，数据可以从主服务器向任意数量的从服务器同步，从服务器可以是关联其他从服务器的主服务器，这使得 Redis 可执行单层树复制，存盘可以有意无意的对数据进行写操作，由于完全实现了发布/订阅机制，使得从数据库在任何地方同步树时，可订阅一个频道并接收主服务器完整的消息发布记录，同步对读取操作的可扩展性和数据冗余很有帮助
• 支持消息的发布/订阅（Pub/Sub）模式
• 单线程模式，即网络 IO、数据读写，都由一个线程完成，正因为如此保证了原子性、稳定性、代码容易维护，之所以单线程不影响性能，是因为数据都在内存，操作本来就高效，当然这里的单线程指网络 IO、数据读写这个主功能，实际上还有其他线程，比如周期性写入硬盘的线程
• 高版本在网络 IO 这块使用了多线程 (因为在高并发操作时，网络 IO 成为了瓶颈)，但读写操作还是单线程 (操作内存数据性能还是非常高的，能应付高并发场景)
  
  

• 开源、高性能、分布式的基于内存的 Key-Value 数据存储，作用类似于 Redis
• 存储 String/RawData，不定义数据结构 (Redis 有 hash、list、set 等多种结构)
• 数据通常由 key，flags，expire time，bytes，value 组成
• 服务端基本上只能简单的读写数据，服务端能支持的操作比较少
• 包含 Server 组件和 Client 组件，可以有多个 server 但 server 之间是独立的，没有同步广播等机制，需要选择哪个 server 由 client 的 API 决定的
• 数据只在内存，不会落到硬盘
• 没有安全机制
• 协议简单性能高效
  
  

• 之所以说是文档数据库，是因为它的数据是以 JSON 文档的形式存储
• MongoDB 的概念和很多数据库不一样，它的 collection 相当于表，document 相当于行，field 相当于列
  
  

db.user.insert(
  {
"name": "Lin",
"age": 30
"address": {
"street": "Zhongshan Road",
"city": "Guangzhou",
"zip": 510000
    },
"hobbies": ["surfing", "coding"]
  }
)

• 可以看到，mongodb 是非结构化数据，不需要预定义 collection，也不需要预定义数据结构
• 提供丰富的查询表达式
• 支持二级索引，自动负载平衡，读效率比写高
• 支持分布式、支持故障恢复、数据冗余、分片、水平扩展
• 可以配置存储引擎，WiredTiger Storage Engine (默认) 会做内存到文件的映射以提高性能，但内存消耗大，In-Memory Storage Engine (企业版支持) 只存在内存，不会落盘
• 高版本支持 Join，支持事务
• 支持安全认证功能
• 提供扩展，比如实现可视化的工具，实现 BI 集成的工具
  
  

• Hive 是基于 Hadoop 的一个数据仓库工具
• 数据存储在 HDFS，创建表的时候要通过 STORED AS 命令指定存储格式比如 TEXTFILE、ORCFILE、PARQUET，也可以通过 STORED BY 命令指定为 HBase，可以创建新表也可以创建已有 HBase 表的映射
• 查询通过 MapReduce、Spark 等作业完成
• 提供了类 SQL 查询语言 HQL (HiveQL)，支持用户定义函数 (UDF)
• 高版本支持事务 (需要创建表时指定)
• 支持海量数据
• 结构化数据
• 支持增删改查
  
  

• Cloudera 开发的基于内存的分布式并行计算的数据库查询引擎
• 主要由 C++ 实现，和 Hadoop 的交互使用 JNI
• Impala 使用和 Hive 一样的 metadata、SQL、ODBC driver、UI，这样在提高了 HDFS 的 SQL 查询性能的同时，又提供了相似的用户使用体验
• 和 Hive 一样可以通过 STORED AS 指定 HDFS 的存储格式比如 TEXTFILE、ORCFILE、PARQUET
• 通过 Hive 操作的表，需要手动同步到 Impala
• Impala 不仅 SQL 和 Hive 一样，实际上元数据也存在 Hive 中
• 表数据除了 HDFS，也可以存储到 HBase，但需要在 HBase 建表，然后在 Hive 通过 STORED BY 建立映射表，由于 Impala 和 Hive 使用一样的 metadata，在 Hive 建好表后，只要在 Impala 执行刷新命令 INVALIDATE METADATA，就可以看到对应的 HBase 表
• 支持 Join、Aggregate 等功能
• 支持 JDBC、ODBC
• 和 Hive 不同，Impala 不依赖于 MapReduce，而是在每个 HDFS DataNode 上运行自己的引擎实现并行处理
• Impala 的并行处理引擎主要由 state store、catalog service、多个 impala daemon 组成
• 每个 impala daemon 都可以接收 client 的请求，impala daemon 由 query planner、query coordinator、query executor 组成，planner 接收 client 的 SQL 查询，然后分解为多个子查询，由 coordinator 将子查询分发到各个 daemon 的 executor 执行，daemon 获取 HDFS、HBase 数据、计算、然后返回给 coordinator，然后由 coordinator 聚合后将最终结果返回给 client
• Impala 是无中心结构，每个 daemon 都可以接受连接查询，可以通过 HA Proxy 实现多个 daemon 的负载均衡
• state store 用于收集监控各个 daemon 的状态
• catalog service 将 SQL 做出的元数据变化通知给集群中所有的 impala daemon
• Impala 的计算都在内存进行，对内存要求比较高
• Impala 在 2.8 以后才支持 update 操作，但是只限于 Kudu 存储，需要安装 Kudu，并通过 STORED AS 指定 Kudu 作为数据库的存储，Kudu 是 Cloudera 开发的列式存储管理器，目的是做 OLAP，并且平衡 HDFS 和 HBase 的性能，Kude 的随机读写性能比 HDFS（比如 Parquet）好，但是比 HBase 差，而大数据量查询性能比 HDFS（比如 Parquet）差，但比 HBase 好，Kude 和 Impala 高度集成，也可以和 MapReduce/Spark 集成，用 Kudu 替换 HDFS/HBase 这样 Impala 就可以做 update，兼顾 OLAP 和改数据的需求，适合于以 OLAP 为主又有一定的 Update 需求的场景，Kudu 可以配置一致性，采用结构化表数据模型，需要定义主键，不使用 HDFS 而是有自己的组件存储和管理数据, 采用 c++ 没有 full gc 风险
  

• Facebook 推出的基于内存的分布式并行计算的数据库查询引擎
• 由 coordinator server、discovery server (通常集成在 coordinator 里，也可以独立)、多个 worker server 组成
• coordinator 负责与 client 交互，负责管理 worker，负责解析 statement、规划 query、创建一系列的 stage、再转换成一系列的 task 分发到不同 worker 并发执行
• worker 负责执行 task 和处理数据，会通过 connector 获取数据，和其他 worker 交互中间数据，最终结果会由 coordinator 返回给 client
• connector 是适配器，使得 Presto 可以访问不同的数据库
• 内建的 connector 主要是 Hive，此外有很多三方开发的 connector 比如 cassandra、es、kafka、kudu、redis、mysql、postgresql 等等
• 需要在配置文件配置 catalog，这里 catalog 维护 schema 并通过 connector 指向一个数据源，定位 presto 表都是从 catalog 开始的，比如 hive.test_data.test 指的是 hive catalog 下的 test_data schema 下面的 test 表，而 schema 的概念则依赖于具体的 connector，比如对于 mysql 而言，presto 的 schema 就是 mysql 的 schema，而对于 cassandra 而言，presto 的 schema 就是 cassandra 的 keyspace，可以建立多个 catalog 关联同一个 connector 比如环境里有多个 kafka 集群那可以有 kafka1 和 kafka2 两个 catalog
• statement 可以认为就是 presto 收到的 sql 语句，然后会解析成 query plan，然后 query 又被分为多个 stages，这些 stages 组成一个树的结构，每个 stage 会聚合计算它下面的其他 stages 的结果，每个 stage 又分为一个或多个 tasks，这些 task 会分发到不同的 worker 并行执行，每个 task 处理不同的数据分片，每个 task 又有一个或多个 driver 并发处理数据
• Presto 支持 JDBC 接口，JDBC 的 URL 格式为 jdbc:presto://host:port/catalog/schema 或 jdbc:presto://host:port/catalog 或 jdbc:presto://host:port
• 支持 Join 查询，并且支持多数据源的 join 查询 (多张大表的 join 可能会影响性能)，跨数据源查询的时候需要指定完整的表名即 [catalog].[schema].[table]，并且使用 presto://host:port 连接 JDBC，不指定 catalog 和 schema
• 有限支持子查询
• 不支持 update 操作
• 支持安全机制
• 支持标准的 ANSI SQL
• 扩展性好
• 可以和 Tableau 集成
• 支持 Spark
  

• 基于多个 PostgreSQL 的分布式并行计算的数据库查询引擎
• 内部的 PostgreSQL 有做改动以适应并行分布式计算
• 主要由一个 master、多个 segments、一个 interconnect 组成
• master 维护元数据，接收并认证 client 的链接，接收 SQL 请求，解析 SQL，生成 query plan，并将任务分发到 segments，协调聚合 segments 的返回结果，并将最终结果返回给 client，可以设置 master 为主从配置
• 每个 segment 有个独立的 PostgreSQL 数据库，每个 segment 负责存储部分数据，并执行相应的查询计算，segment 也可以配置备份机制
• Interconnect 是 Greenplum 的网络层，负责 master 和 segment 的链接，以及各个 segment 之间的链接
• 链接和 SQL 语法都和 PostgreSQL 兼容，支持 JDBC、ODBC
• 创建表时可以指定是用列存储、行存储、外部表 (数据在其他系统比如 HDFS 而 GP 只存储元数据)
• 操作外部数据，需要安装 PXF (Platform Extension Framework)，有了 PXF 可以支持 Hive、HBase、Parquet、S3、MySQL、ORACLE 等等
• 支持安全、权限配置
• 支持分布式事务，支持 ACID，保证数据的强一致性，不是使用锁，而是使用 MVCC (Multi-Version Concurrency Control) 来保证数据一致性
• shared-nothing 架构
  

• 创建 Project
• 同步 Hive 表或 Kafka 表
• 创建 Data Model
• 
  
  • 创建并命名 Model
  • 选择 Fact Table (事实表) 和 Lookup Table (查找表，主要是维度信息)，以及 Join 字段
  • 从 Fact Table 和 Lookup Table 中挑选维度列 (可以被 Cube 做 group by)
  • 从 Fact Table 选择指标列 (可以被 Cube 做 aggregation)
  • 从 Fact Table 选择用于日期分区的列，不需要就留空
  • 添加 Filter (可以被 Cube 用来做 Where 操作)
    
    • 
      
    
    
• 创建 Cube
  

• 创建并命名 Cube，并选择要关联的 Data Model
• 添加维度列 (必须从 Data Model 配置的维度列中选择)
• 添加指标列 (必须从 Data Model 配置的指标列中选择)
• 共有 8 种 aggregation 操作可以配置给指标列：SUM, MAX, MIN, COUNT, COUNT_DISTINCT, TOP_N, EXTENDED_COLUMN and PERCENTILE (如果要查 avg 实际上就是用 sum 除以 count 得出，所以这里不需要配置 avg 等可以通过预计算结果进一步计算出的操作)
  

• build Cube，实际是通过 MapReduce/Spark 计算，任务完成后结果会写入 HBase
• build 成功后即可直接用 SQL 查询了，实际是根据维度查 RowKey，然后把 Column 存的聚合结果取出，如果必要的话再做进一步计算
• 如果数据源有改动，需要重新 build Cube
  

• 俄罗斯企业 Yandex 开发的 OLAP 数据库
  
• 列存储对于 OLAP 的好处
  
  • 由于 OLAP 经常是在大量数据列中检索少量列，如果采用行存储，意味着要逐行扫描，并且每行都很大，而采用列存储只需要扫描要检索的列，能减少 IO
  • 假设有的记录并没有存储要检索的列，行存储依然要扫描该记录才知道，而对于列存储则不存在这样的问题，因为没存储，自热而然就不会扫描到
  • 因为同一列的数据类型、大小比较一致，列存储更容易压缩，效率更高，进一步减少 IO
  • IO 的减少还意味着有更多数据可以被缓存到内存
    
    
• 向量化计算
  
  • SIMD (Single Instruction，Multiple Data，单指令流多数据流)，现在的 CPU 支持这样的功能，通过一条指令即可利用多核对一组数据 (也就是向量) 进行 CPU 层面的并发计算，适用于纯基础计算的场景，如果有判断、跳转、分支的场景则不合适
  • ClickHouse 有一个向量计算引擎，尽可能地使用 SMID 指令，批量并行地处理数据，大大提升了处理能力
    
    
• 主要由 C++ 实现
• 无中心化结构，由一个集群的 server 组成，并且每个 server 都可以接受客户端的链接查询，server 收到请求后会和其他 server 协调做并行计算，每个 server 都是多线程的，server 之间通过 ZooKeeper 协调同步
  
  
• 支持分片（shard），数据可以跨节点存储在不同分片中，一个分片就是一个节点，或者多个节点组成一个有副本备份的分片，由配置文件配置
• 支持分区，通过 Partition By 命令创建表
• 分片和分区有时候不好区分，分片更多指的是表的数据分布在不同节点，而且一个节点可以存储多个数据库、多个表的数据，而分区更多指的是按某列数据将一个大表分成多个小表，比如按日期列分区，每天一个分区表，既可以查分区表，也可以查大表
• 支持副本备份、支持数据完整性
  
  
• 表引擎（Table Engine）
  
  • 在某个 server 创建的表只是该 server 的本地表，不是分布式的，如果要创建分布式表，需要在每个 server 创建相同名字的表，再在其中一台 server 上创建分布式表（会自动在所有 server 上都创建），这个分布式表是个逻辑表，不真正存储数据，而是映射到各个 server 的本地表，会自动做并行计算
  • ENGINE = Distributed(cluster_name, database, table, [sharding_key])
  • cluster_name 是在配置文件里配置的
    
    
  • ENGINE = Memory 数据存在内存
  • ENGINE = ODBC(connection_settings, external_database, external_table)
  • ENGINE = JDBC(dbms_uri, external_database, external_table)
  • ENGINE = MySQL('host:port', 'database', 'table', 'user', 'password')
  • ENGINE = PostgreSQL('host:port', 'database', 'table', 'user', 'password')
  • ENGINE = MongoDB(host:port, database, collection, user, password)
  • ENGINE = HDFS(URI, format)
  • ENGINE = Kafka() SETTINGS kafka_broker_list = 'host:port', kafka_topic_list = 'topic1'
  • ENGINE = Log;
  • ENGINE = TinyLog;
  • ENGINE = MergeTree()
  • ENGINE = AggregatingMergeTree()
  • 创建表的时候要通过 Engine 命令指定要用的表引擎，决定如何存储数据
  • 最常用的是 MergeTree 系列引擎，比如
  • 比较轻量级的 Log 系列引擎
  • 允许从其他数据源查询，比如
  • 特殊类型，比如
  • 分布式
    
    
• 通常使用 MergeTree 存储，数据可以快速地按序 append 到一颗 MergeTree 的后面，后台会做合并和压缩操作，这样提升了数据插入的性能
• 主索引，数据按 Primary Key 排序
• 也可以在创建表时通过 Order By 指定排序的字段
• 支持二级索引，也叫跳数索引 data skipping index，比如 minmax 索引，会统计每一段数据内某列数据（或是某个表达式）的最大值和最小值，检索的时候可以依据 minmax 决定是否跳过这段数据（感觉比较怪，性能应该比重建一张索引表的做法要差吧）
• 支持 TTL，包括列级别、行级别、分区级别的 TTL
  
• 支持 HTTP、TCP 接口
• 支持 JDBC、ODBC
• 有三方工具支持将其他数据库如 PG 的数据导入 ClickHouse
• 有三方工具支持和一些可视化工具如 Grafana、DBeaver、Tabix 集成
• 有三方工具支持 Kafka、Flink、Spark 等
  
• 支持 SQL，支持 group by、order by、join、部分子查询等功能
• 支持 array、json、tuple、set 等复杂数据类型
• 支持近似计算，比如计算平均值，可以取部分数据计算，这样提升了性能，但降低了准度
• 自适应 Join 算法，比如优先使用 Hash-Join，如果有多张大表则自动改用 Merge-Join
  
• 安全机制、基于 Role 的权限控制
• 支持错误恢复、扩展性好
  
  

• 对高并发的支持不足
• 没有成熟的事务功能
• 修改、删除数据的性能比较差，并且仅提供有限支持
• Primary Key 是采用稀疏索引，即索引只能指向一段数据，具体的数据还得一条条查，所以如果是查少量数据，或者查询单条数据，性能会比较差
  

• Elastic Stack 是一组组件包括 Elasticsearch、Logstash、Filebeat、Kibana 等
• Elasticsearch 是基于 Apache Lucene 开发的搜索引擎，主要由 Java 开发
  
• Elasticsearch 集群主要由 master、data、ingest、coordinating 节点组成
• 每个节点可以同时配置多种角色，比如即是 master 又是 data，但在大型集群中，通常每个节点只负担一种功能
• coordinating 是每个节点都会有的功能，不需要配置，即无论 master 还是 data 都会有 coordinating 功能，用于接收 client 的读写请求，然后将请求转发给相应节点处理，然后将处理结果合并后返回给 client，在大型集群中为了不对 master/data 等节点造成太大压力，可以配置多个专门的 coordinating，通过将 role 配置为空或是将 master、data、ingest 设置为 false (取决于不同版本) 即可，这样这些 coordinating 节点就只负责接收响应 client 请求不做其他工作，就像是一个反向代理的负载均衡一样，能提高并发性能
• master 负责管理整个集群，负责对 index 的创建删除等管理操作，决定数据要分片到哪个节点，管理其他节点的状态等等，可以配置多个 master 做 HA，需要单数个，至少要 3 个，系统实际上自动选举其中一个做 master，如果该 master 挂了，会从其他配置为 master 的节点中重新选举一个，master 的配置可以低一些
• data 负责存储、计算、处理数据，对资源要求比较高，data 还可以进一步配置，指定节点用于存储 hot data、warm data、cold data 等等
• Ingest 是可选节点，专门用于针对某些数据和操作，做流水线预处理
  
• Elasticsearch 的数据存储主要由 index，type，document 组成
• index 就类似于 SQL 中的一个数据库，可以直接创建 index，也可以通过 index template 作为模板创建 index，模板通常用于具有相同配置的多个 index，比如每天都建立一个 index 用于存储当天的日志
• type 就类似于 SQL 中的表 (这种说法不完全对，官方有澄清过，因为不同的 type 并不是完全独立无关的)，早期版本中，一个 index 下可以有多个 type，从 6.0 开始只能有一个 type，从 7.0 开不建议使用 type 这个概念，据说从 8.0 开始将完全不支持 type
• document 就是像是 SQL 中的一行记录，document 使用的是非结构化的数据，由 JSON 格式表示，JSON 的每个 field 就相当于一个列
• 每个 document 会一个唯一的 _id，如果不指定则由系统自动生成
• 每个 document 有严格递增的序号 _seq_no 代表文档写入/更新的先后顺序
• 每个 document 有 _version 字段，每次更改这个字段就加 1
• 可以先建立 index，也可以不提前建立 index，写入数据时自动创建
• 不需要提前设置 document 的 field，写入数据时自动创建，每个 document 的 field 可以不一样，也可以提前设置 field，使得每个 document 的 field 必须一样
  
• Elasticsearch 会自动对所有 field 建立索引，并且会自动做分词处理，即把一个句子比如 "hello world" 自动分成 "hello" 和 "world" 两个词做索引，没有分词的 "hello world" 是 keyword，大小限制是 256，经过分词的比如 "hello" 是一个 text
• Elasticsearch 采用倒索引 (inverted index)，主要由三部分组成：Term Index (单词索引)、Term Dictionary (单词字典)、Posting List (索引项列表)
• Term Index 存在内存中，不保存所有单词，而是保存单词的前缀，比如保存 he、wor、ad、sar 等等，指出以这些前缀作为开头的单词在 Term Dictionary 中的起始位置，这样 Term Index 的大小就比较小，可以存在内存中，并且可以帮助快速定位要读取的内容在 Term Dictionary 中的位置，可以大大减少磁盘 IO 的次数
• Term Dictionary 存在磁盘中，通常单词量会非常大，记录着 index 的每个单词到 Posting List 的关联关系，通过 B+ 树或 Hash 表方式以满足高性能的插入与查询
• Posting List 记录着：出现该单词的所有 document 的 id，该单词在该 document 中出现的次数，该单词在该 document 中的位置
• 搜索引擎通过这样的倒排序索引找到对应的 document，再做进一步处理
• 由于会对所有 field 做索引，数据量会非常大
  
  
• 数据先写入内存，然后定期将数据落盘形成一个个 segment，当 segment 多了之后会进行 merge 组成更大的 segment
• 为了防止内存中还没落盘的数据丢失，会写入 translog，类似于 HBase 的 WAL，其实这也需要磁盘 IO，会影响性能，但比落盘数据要简单
• segment 由多个文件组成，记录着元数据、field 信息、正排序的索引信息 (即从 document id 找到相应的数据)、field 数据 (相当于按列存储)、倒排序索引数据、等等
• 更多信息 ​​https://elasticsearch.cn/article/6178​​
• 支持 REST API 接口操作，通过在 Body 的 JSON 格式数据提高丰富的语法，可以执行很多操作
• 支持 Event Query Language (EQL)：for event-based time series data, such as logs, metrics, and traces, 通过 REST API 的 Body 指定
• 支持 JDBC、ODBC，这里 table 指定的是 index，而 column 指定的是 field，这里的 SQL 不支持 JOIN
  
  
• 不支持事务
• 跨表查询不完全支持，而且要定义父子文档，要定义 join 类型的 field，比较复杂
• 读写有一定延时性，即写入的数据无法立刻索引到，至少要等 1 秒钟
• 和传统的数据库有一定差异，需要一定的学习成本
  
  

curl localhost:9200              # 查看集群基本信息
curl localhost:9200/_cluster/health?pretty   # 查看集群健康 (pretty 是 JSON 格式化输出)
curl localhost:9200/_cluster/state?pretty  # 查看集群状态
curl localhost:9200/_cluster/stats?pretty  # 查看统计信息
curl localhost:9200/_nodes?pretty      # 查看节点信息


curl localhost:9200/_cat           # 列出可以查看的各种信息 (cat 命令列出的信息比较简化)
curl localhost:9200/_cat/health
curl localhost:9200/_cat/nodes
curl localhost:9200/_cat/indices


curl -X PUT 'http://localhost:9200/my_index/my_doc/123'  -H 'Content-Type: application/json' -d '{
"name": "Lin", "title": "senior designer", "age": 30
}'    ## 指定 document id 为 123，会自动创建 my_index，my_doc 以及各个 fields


curl -X POST 'http://localhost:9200/my_index/my_doc'  -H 'Content-Type: application/json' -d '{
"name": "Wang", "title": "senior designer", "age": 35
}'    ## 由系统自动创建 document id


curl -X POST 'http://localhost:9200/my_index/my_doc_2'  -H 'Content-Type: application/json' -d '{
"name": "n_1", "type": "t_1", "value": 1
}'    ## 报错，不允许 index 下有两个 type


curl -X POST 'http://localhost:9200/my_index/_doc'  -H 'Content-Type: application/json' -d '{
"name": "n_1", "type": "t_1", "value": 1
}'    ## 允许，_doc 就是 my_doc（可以一开始就只用 _doc 而不需要 type 名）


curl -X POST 'http://localhost:9200/my_index/_doc'  -H 'Content-Type: application/json' -d '{
"name": "Li",
"address": {"city": "guangzhou", "district": "tianhe"}
}'    ## 允许新的 fields，允许复杂类型，貌似不支持列表 "address": ["xxx"]


curl localhost:9200/my_index/my_doc/123?pretty    ## 查看 id 为 123 的记录
curl localhost:9200/my_index/my_doc/_search?pretty  ## 查看所有记录
curl localhost:9200/my_index/_search?pretty


curl localhost:9200/_all?pretty           ## 列出所有 index 的设置和 mapping (就是 field 的信息)
curl localhost:9200/my_index?pretty         ## 查看 my_index 的设置和 mapping
curl localhost:9200/my_index/_mapping?pretty    ## 查看 my_index 的 mapping


curl -X GET -H "Content-Type: application/json"  localhost:9200/my_index/_search?pretty -d '{
"query": {
"term":{
"name":"lin"
}
}
}'    ## 简单的查询，还有更多的语法和功能


curl -X GET -H "Content-Type: application/json"  localhost:9200/my_index/_search?pretty -d '{
"query": {
"term":{
"title.keyword":"senior designer"
}
}
}'    ## 默认查询的是分词，如果要查没分词的，应该加上 keyword


curl -X GET -H "Content-Type: application/json"  localhost:9200/my_index/_search?pretty -d '{
"query": {
"term":{
"address.city":"guangzhou"
}
}
}'    ## 查询嵌套的字段


curl localhost:9200/_search?pretty    ## 在所有 index 中查找


curl -H "Content-Type: application/json" localhost:9200/my_index/_analyze?pretty -d '{
"analyzer" : "standard",  
"text" : "This is the apple"
}'    ## 如何分析一段文字


curl -X PUT 'http://localhost:9200/my_index_3'  ## 创建 index


curl -X PUT -H "Content-Type: application/json" 'http://localhost:9200/my_index_6' -d  '{
"settings": {
"number_of_shards": 1,
"number_of_replicas": 1
},
"mappings": {
"properties": {
"name": {
"type": "text"
},
"title": {
"type": "text"
},
"value": {
"type": "long"
}
}
}
}'     ## 创建 index 同时指定 field，在版本 7 以后不需要指定 type (不需要指定 my_doc 之类的)