大数据Hadoop之DorisDB核心概念介绍与简单使用（StarRocks）

　　一、前言
　　DorisDB的介绍与环境部署（StarRocks）可以参考我之前的文章哦：大数据Hadoop之——DorisDB介绍与环境部署（StarRocks）
　　官方文档：https://docs.starrocks.com/zh-cn/main/loading/Loading_intro 二、简单使用1）连接 StarRocks
　　在成功 部署 StarRocks 集群 后，您可以通过 MySQL 客户端连接任意一个 FE 节点的 query_port（默认为  9030  ）以连接 StarRocks。StarRocks 内置 root 用户，密码默认为空。cd $STARROCKS_HOME # 启动FE ./fe/bin/start_fe.sh --daemon # 启动BE ./be/bin/start_be.sh --daemon # 启动broker ./apache_hdfs_broker/bin/start_broker.sh --daemon # 连接 mysql -h 127.0.0.1 -P9030 -uroot  show proc ＂/frontends＂G; show proc ＂/backends＂G;
　　web UI：http://192.168.182.110:8030/system 2）创建数据库
　　使用 root 用户创建 example_db 数据库。  CREATE DATABASE example_db; show databases;
　　说明：与 MySQL 的表结构类似，Information_schema 包含当前 StarRocks 集群的元数据信息。 3）创建表use example_db; CREATE TABLE IF NOT EXISTS detailDemo (     recruit_date  DATE           NOT NULL COMMENT ＂YYYY-MM-DD＂,     region_num    TINYINT        COMMENT ＂range [-128, 127]＂,     num_plate     SMALLINT       COMMENT ＂range [-32768, 32767] ＂,     tel           INT            COMMENT ＂range [-2147483648, 2147483647]＂,     id            BIGINT         COMMENT ＂range [-2^63 + 1 ~ 2^63 - 1]＂,     password      LARGEINT       COMMENT ＂range [-2^127 + 1 ~ 2^127 - 1]＂,     name          CHAR(20)       NOT NULL COMMENT ＂range char(m),m in (1-255) ＂,     profile       VARCHAR(500)   NOT NULL COMMENT ＂upper limit value 65533 bytes＂,     hobby         STRING         NOT NULL COMMENT ＂upper limit value 65533 bytes＂,     leave_time    DATETIME       COMMENT ＂YYYY-MM-DD HH:MM:SS＂,     channel       FLOAT          COMMENT ＂4 bytes＂,     income        DOUBLE         COMMENT ＂8 bytes＂,     account       DECIMAL(12,4)  COMMENT ＂＂,     ispass        BOOLEAN        COMMENT ＂true/false＂ ) ENGINE=OLAP DUPLICATE KEY(recruit_date, region_num) DISTRIBUTED BY HASH(recruit_date, region_num) BUCKETS 8;
　　【错误】 ERROR 1064 (HY000): Failed to find enough host in all backends. need: 3
　　【原因】这是因为默认需要3个副本，副本数必须是<=BE数，需要带上PROPERTIES，设置副本数。 use example_db; CREATE TABLE IF NOT EXISTS detailDemo (     recruit_date  DATE           NOT NULL COMMENT ＂YYYY-MM-DD＂,     region_num    TINYINT        COMMENT ＂range [-128, 127]＂,     num_plate     SMALLINT       COMMENT ＂range [-32768, 32767] ＂,     tel           INT            COMMENT ＂range [-2147483648, 2147483647]＂,     id            BIGINT         COMMENT ＂range [-2^63 + 1 ~ 2^63 - 1]＂,     password      LARGEINT       COMMENT ＂range [-2^127 + 1 ~ 2^127 - 1]＂,     name          CHAR(20)       NOT NULL COMMENT ＂range char(m),m in (1-255) ＂,     profile       VARCHAR(500)   NOT NULL COMMENT ＂upper limit value 65533 bytes＂,     hobby         STRING         NOT NULL COMMENT ＂upper limit value 65533 bytes＂,     leave_time    DATETIME       COMMENT ＂YYYY-MM-DD HH:MM:SS＂,     channel       FLOAT          COMMENT ＂4 bytes＂,     income        DOUBLE         COMMENT ＂8 bytes＂,     account       DECIMAL(12,4)  COMMENT ＂＂,     ispass        BOOLEAN        COMMENT ＂true/false＂ ) ENGINE=OLAP DUPLICATE KEY(recruit_date, region_num) DISTRIBUTED BY HASH(recruit_date, region_num) BUCKETS 8 PROPERTIES(＂replication_num＂ = ＂2＂);
　　【温馨提示】注意：在 StarRocks 中，字段名不区分大小写，表名区分大小写。 4）建表语句说明1、排序键
　　StarRocks 表内部组织存储数据时会按照指定列排序，这些列为排序列（Sort Key）。明细模型中由  DUPLICATE KEY   指定排序列。以上示例中的 recruit_date 以及 region_num 两列为排序列。
　　【温馨提示】排序列在建表时应定义在其他列之前。排序键详细描述以及不同数据模型的表的设置方法请参考 排序键。 2、字段类型
　　StarRocks 表中支持多种字段类型， 除以上示例中已经列举的字段类型 ，还支持  BITMAP   类型，HLL  类型，ARRAY   类型，字段类型介绍详见官方文档 数据类型章节。
　　【温馨提示】在建表时，您应尽量使用精确的类型。例如，整形数据不应使用字符串类型，INT 类型即可满足的数据不应使用 BIGINT 类型。精确的数据类型能够更好的发挥数据库的性能。 3、分区分桶分区的定义 : 对数据进行水平切分， 水平切分 之后数据是完全物理隔离的，每个分区即为一个物理文件夹。 分桶的定义: 对数据进行 垂直切分 ，各个分桶相互独立，每个分桶即为一个文件。 PARTITION   关键字用于给表 创建分区，StarRocks 支持动态生成分区，详见 动态分区管理。DISTRIBUTED   关键字用于给表 创建分桶，以上示例中使用 recruit_date 以及 region_num 两个字段通过 Hash 算法创建 8 个桶。创建表时合理的分区和分桶设计可以优化表的查询性能。有关分区分桶列如何选择，详见 数据分布。 4、数据模型
　　DUPLICATE   关键字表示当前表为明细模型，KEY   中的列表示当前表的排序列。StarRocks 支持多种数据模型，分别为 明细模型，聚合模型，更新模型，主键模型。不同模型的适用于多种业务场景，合理选择可优化查询效率。5、索引
　　StarRocks 默认会给 Key 列创建稀疏索引加速查询，具体规则见 排序键。支持的索引类型有 Bitmap 索引，Bloomfilter 索引 等。 6、ENGINE 类型
　　默认 ENGINE（引擎） 类型为  OLAP  ，对应 StarRocks 集群内部表。其他可选项包括 mysql，elasticsearch，hive，以及 ICEBERG，分别代表所创建的表为相应类型的 外部表。7、修改表结构
　　您可以通过  ALTER TABLE   命令可以修改表的 Schema，包括增加列，删除列，修改列类型（暂不支持修改列名称），改变列顺序。
　　【增加列】 ALTER TABLE detailDemo ADD COLUMN uv BIGINT DEFAULT ＂0＂ after ispass;
　　【查看修改表结构作业状态】 SHOW ALTER TABLE COLUMNG;
　　当作业状态为  FINISHED  ，则表示作业完成，新的表结构修改已生效。
　　【取消修改表结构】
　　您可以通过以下命令取消当前正在执行的作业。CANCEL ALTER TABLE COLUMN FROM table_nameG;
　　【创建用户并授权】
　　example_db 数据库创建完成之后，您可以使用 root 账户创建 test 账户，并授予其 example_db 的读写权限 。 CREATE USER ＂test＂ IDENTIFIED by ＂123456＂; GRANT ALL on example_db to test;
　　通过登录被授权的 test 账户,其他用户就可以操作 example_db 数据库了。 mysql -h 127.0.0.1 -P9030 -utest -p 输入密码：123456 show databases; show tables from example_db;三、表设计1）列式存储
　　StarRocks 中的表和关系型数据相同，由 行和列构成 。 每行数据对应用户一条记录，每列数据具有相同的数据类型。 所有数据行的列数相同，可以动态增删列。 在 StarRocks 中，一张表的列可以分为维度列（也称为 Key 列）和指标列（也称为 Value 列）。 在 StarRocks 中，表的数据按 列存储 。物理上，一列数据会经过 分块编码、压缩 等操作，然后持久化存储到非易失设备上。 维度列用于分组和排序，指标列的值可以通过聚合函数 SUM、COUNT、MIN、MAX、REPLACE、HLL_UNION 和 BITMAP_UNION 等累加起来。因此，StarRocks 中的表也可以认为是多维的 Key 到多维指标的映射。 2）稀疏索引
　　范围查找时，使用前缀索引 (Prefix Index)，如下图所示。
　　一张表中的数据组织主要由三部分构成： 前缀索引 ：表中每 1024 行数据构成一个 逻辑数据块 (Data Block) 。每个逻辑数据块在前缀索引表中存储 一项索引 ，内容为表的维度列的前缀，并且长度 不超过 36 字节 。 前缀索引 是一种 稀疏索引 ，使用某行数据的维度列的前缀查找索引表，可以确定该行数据所在逻辑数据块的起始行号。 Per-column data block ：表中每列数据都按  64 KB 分块存储 。数据块作为一个单位单独编码、压缩，也作为 I/O 单位，整体写回设备或者读出。 Per-column cardinal index ：表中每列数据都有各自的 行号索引表 。  列的数据块和行号索引一一对应 ，索引由数据块的起始行号及数据块的位置和长度信息构成。用数据行的行号查找行号索引表，可以获取包含该行号的数据块所在的位置，读取目标数据块后，可以进一步查找数据。
　　由此可见，查找维度列的前缀的过程包含以下五个步骤： 先查找前缀索引，获得逻辑数据块的起始行号。 查找维度列的行号索引，定位到维度列的数据块。 读取数据块。 解压、解码数据块。 从数据块中找到维度列前缀对应的数据项。 3）列级索引
　　StarRocks 支持 布隆过滤器 (Bloom Filter) 、 ZoneMap 索引 和  位图 (Bitmap) 索引 等列级别的索引技术： 布隆过滤器有助于快速判断数据块中不含所查找的值。 ZoneMap 索引有助于通过数据范围快速过滤出待查找的值。 位图索引有助于快速计算出枚举类型的列满足一定条件的行。 4）数据模型建表时，您需要指定数据模型 (Data Model)，这样数据导入至数据模型时，StarRocks 会按照排序健对数据进行排序、处理和存储。 StarRocks 支持四种数据模型，分别是 明细模型 (Duplicate Key Model) 、 聚合模型 (Aggregate Key Model) 、 更新模型 (Unique Key Model)  和 主键模型 (Primary Key Model) 。这四种数据模型能够支持多种数据分析场景，例如日志分析、数据汇总分析、实时分析等。 1、明细模型 (Duplicate Key Model)
　　明细模型是 默认 的建表模型。创建表时，支持 定义排序键 。如果查询的过滤条件包含排序键，则 StarRocks 能够快速地过滤数据， 提高查询效率 。 明细模型适用于分析日志数据等，支持追加新数据，不支持修改历史数据 。
　　【适用场景】 分析原始数据，例如原始日志、原始操作记录等。 查询方式灵活，不需要局限于预聚合的分析方式。 导入日志数据或者时序数据，主要特点是旧数据不会更新，只会追加新的数据。
　　【示例】
　　例如，需要分析某时间范围的某一类事件的数据，则可以将事件时间（event_time）和事件类型（event_type）作为排序键。 CREATE TABLE IF NOT EXISTS detail (     event_time DATETIME NOT NULL COMMENT ＂datetime of event＂,     event_type INT NOT NULL COMMENT ＂type of event＂,     user_id INT COMMENT ＂id of user＂,     device_code INT COMMENT ＂device code＂,     channel INT COMMENT ＂＂ ) DUPLICATE KEY(event_time, event_type) DISTRIBUTED BY HASH(user_id) BUCKETS 8 PROPERTIES(＂replication_num＂ = ＂2＂);2、聚合模型 (Aggregate Key Model)
　　建表时，支持 定义排序键和指标列 ， 并为指标列指定聚合函数 。当多条数据具有相同的排序键时，指标列会进行聚合。在分析统计和汇总数据时，聚合模型能够减少查询时所需要处理的数据，提升查询效率。
　　【适用场景】
　　适用于分析统计和汇总数据。比如: 通过分析网站或 APP 的访问流量，统计用户的访问总时长、访问总次数。 广告厂商为广告主提供的广告点击总量、展示总量、消费统计等。 通过分析电商的全年交易数据，获得指定季度或者月份中，各类消费人群的爆款商品。
　　【示例】
　　例如某一段时间内，来自不同城市的用户，访问不同网页的总次数。则可以将网页地址 site_id、日期 date 和城市代码 city_code 作为排序键，将访问次数 pv 作为指标列，并为指标列 pv 指定聚合函数为 SUM。 CREATE TABLE IF NOT EXISTS example_db.aggregate_tbl (     site_id LARGEINT NOT NULL COMMENT ＂id of site＂,     date DATE NOT NULL COMMENT ＂time of event＂,     city_code VARCHAR(20) COMMENT ＂city_code of user＂,     pv BIGINT SUM DEFAULT ＂0＂ COMMENT ＂total page views＂ ) DISTRIBUTED BY HASH(site_id) BUCKETS 8 PROPERTIES(＂replication_num＂ = ＂2＂);3、更新模型 (Unique Key Model)
　　建表时，支持 定义主键和指标列 ， 查询时返回主键相同的一组数据中的最新数据 。相对于明细模型，更新模型简化了数据导入流程，能够更好地支撑实时和 频繁更新 的场景。
　　【适用场景】
　　实时和频繁更新的业务场景 ，例如分析电商订单。在电商场景中，订单的状态经常会发生变化，每天的订单更新量可突破上亿。
　　【示例】
　　在电商订单分析场景中，经常按照日期对订单状态进行统计分析，则可以将经常使用的过滤字段订单创建时间 create_time、订单编号 order_id 作为主键，其余列订单状态 order_state 和订单总价 total_price 作为指标列。这样既能够满足实时更新订单状态的需求，又能够在查询中进行快速过滤。 CREATE TABLE IF NOT EXISTS orders (     create_time DATE NOT NULL COMMENT ＂create time of an order＂,     order_id BIGINT NOT NULL COMMENT ＂id of an order＂,     order_state INT COMMENT ＂state of an order＂,     total_price BIGINT COMMENT ＂price of an order＂ ) UNIQUE KEY(create_time, order_id) DISTRIBUTED BY HASH(order_id) BUCKETS 8 PROPERTIES(＂replication_num＂ = ＂2＂);4、主键模型 (Primary Key Model)
　　StarRocks 1.19   版本推出了主键模型 (Primary Key Model) 。建表时，支持定义主键和指标列，查询时返回主键相同的一组数据中的最新数据。相对于更新模型，主键模型在查询时不需要执行聚合操作，并且支持谓词下推和索引使用，能够在支持实时和频繁更新等场景的同时，提供高效查询。
　　【适用场景】
　　主键模型适用于实时和频繁更新的场景，例如： 主实时对接事务型数据至 StarRocks 。事务型数据库中，除了插入数据外，一般还会涉及较多更新和删除数据的操作，因此事务型数据库的数据同步至 StarRocks 时，建议使用主键模型。 利用部分列更新轻松实现多流 JOIN 。在用户画像等分析场景中，一般会采用大宽表方式来提升多维分析的性能，同时简化数据分析师的使用模型。
　　【示例】
　　例如，需要实时分析用户情况，则可以将用户 ID user_id 作为主键，其余为指标列。建表语句如下： create table orders (     dt date NOT NULL,     order_id bigint NOT NULL,     user_id int NOT NULL,     merchant_id int NOT NULL,     good_id int NOT NULL,     good_name string NOT NULL,     price int NOT NULL,     cnt int NOT NULL,     revenue int NOT NULL,     state tinyint NOT NULL ) PRIMARY KEY (dt, order_id) PARTITION BY RANGE(`dt`) (     PARTITION p20210820 VALUES [(＂2021-08-20＂), (＂2021-08-21＂)),     PARTITION p20210821 VALUES [(＂2021-08-21＂), (＂2021-08-22＂)),     PARTITION p20210929 VALUES [(＂2021-09-29＂), (＂2021-09-30＂)),     PARTITION p20210930 VALUES [(＂2021-09-30＂), (＂2021-10-01＂)) ) DISTRIBUTED BY HASH(order_id) BUCKETS 4 PROPERTIES(＂replication_num＂ = ＂2＂);
　　【温馨提示】 enable_persistent_index  ：是否持久化主键索引，同时使用磁盘和内存存储主键索引，避免主键索引占用过大内存空间。取值为 true 或者 false。如果磁盘为固态硬盘 SSD，则建议设置为 true。自 2.3.0   版本起，StarRocks 支持配置该参数。5）数据分布1、常见的四种数据分布方式
　　现代分布式数据库中，常见的数据分布方式有如下四种： Round-Robin  、Range  、List   和 Hash  。如下图所示:
　　Round-Robin  ：以轮询的方式把数据逐个放置在相邻节点上。Range  ：按区间进行数据分布。如上图所示，区间 [1-3]、[4-6] 分别对应不同的范围 (Range)。List  ：直接基于离散的各个取值做数据分布，性别、省份等数据就满足这种离散的特性。每个离散值会映射到一个节点上，多个不同的取值可能也会映射到相同节点上。Hash  ：通过哈希函数把数据映射到不同节点上。
　　为了更灵活地划分数据，除了单独采用上述四种数据分布方式之一以外，您 还可以根据具体的业务场景需求组合使用这些数据分布方式 。常见的组合方式有  Hash+Hash  、Range+Hash  、Hash+List  。2、StarRocks 的数据分布方式
　　StarRocks 支持如下两种数据分布方式： Hash 数据分布方式 ：一张表为一个分区，分区按照分桶键和分桶数量进一步进行数据划分。采用 Hash 分布的建表语句如下，其中分桶键为 site_id： CREATE TABLE site_access( site_id INT DEFAULT ＂10＂, city_code SMALLINT, user_name VARCHAR(32) DEFAULT ＂＂, pv BIGINT SUM DEFAULT ＂0＂ ) AGGREGATE KEY(site_id, city_code, user_name) DISTRIBUTED BY HASH(site_id) BUCKETS 10 PROPERTIES(＂replication_num＂ = ＂2＂);Range+Hash 数据分布方式 ：一张表拆分成多个分区，每个分区按照分桶键和分桶数量进一步进行数据划分。采用Range+Hash组合分布的建表语句如下，其中分区键为 event_day，分桶键为 site_id： CREATE TABLE site_access2( event_day DATE, site_id INT DEFAULT ＂10＂, city_code VARCHAR(100), user_name VARCHAR(32) DEFAULT ＂＂, pv BIGINT SUM DEFAULT ＂0＂ ) AGGREGATE KEY(event_day, site_id, city_code, user_name) PARTITION BY RANGE(event_day) ( PARTITION p1 VALUES LESS THAN (＂2020-01-31＂), PARTITION p2 VALUES LESS THAN (＂2020-02-29＂), PARTITION p3 VALUES LESS THAN (＂2020-03-31＂) ) DISTRIBUTED BY HASH(site_id) BUCKETS 10 PROPERTIES(＂replication_num＂ = ＂2＂);6）排序键和前缀索引为加速查询，StarRocks 在内部组织和存储数据时，会 把表中数据按照指定的一个或多个列进行排序 。这些用于 排序的列，称之为排序健 (Sort Key) 。 为减少内存开销，StarRocks  在排序健的基础上又引入了前缀索引 (Prefix Index) 。 表中每 1024 行数据构成一个 逻辑数据块 (Data Block) 。 每个逻辑数据块在前缀索引表中存储一项索引，内容为表的维度列的前缀，并且长度不超过 36 字节。 前缀索引是一种稀疏索引，使用某行数据的维度列的前缀查找索引表，可以确定该行数据所在逻辑数据块的起始行号。 前缀索引的大小会比数据量少 1024 倍，因此会全量缓存在内存中，在实际查找的过程中可以有效加速查询。 四、数据导入
　　StarRocks 支持两种导入模式： 同步导入 和 异步导入 。
　　1）同步导入
　　同步导入是指用户创建 导入作业 ，StarRocks  同步执行 ，执行完成后返回导入结果。您可以 通过返回的导入结果判断导入作业是否成功 。
　　支持同步模式的导入方式有  Stream Load   和 INSERT INTO  。
　　导入过程如下： 创建导入作业。 查看 StarRocks 返回的导入结果。 判断导入结果。如果导入结果为失败，可以重试导入作业。
　　【示例】Stream Load
　　先创建测试库表 create database testDb; CREATE TABLE testDb.testTbl( id INT DEFAULT ＂10＂, city VARCHAR(32) DEFAULT ＂＂ ) DISTRIBUTED BY HASH(id) BUCKETS 10 PROPERTIES(＂replication_num＂ = ＂2＂);
　　样例数据： cat>jsontest.json<

理解别人，也是成全自己永远不要轻易讨厌一个人在网上看到这样一张漫画。一个人从门缝里看人，却责怪别人长得扁。生活中，我们常常因为一件事一句话，而讨厌一个人。但其实，未必是别人的错，也可能是你看到的不是事物的全貌。放下心中的成见登山偶遇今天天气晴朗，我们徒步爬山，山连绵，不很高，也有消防通道，供人们日常远足。走着走着，不期而遇了六七个年轻人，一众骑行山地车，身着专业装备，英姿飒飒！到了一个石块凌乱的小山坡前，停车只要不走回头路，所有的道路都是正确的道路标杆精益作者夏冰全文总计908字，需阅读3分钟，以下为正文打一战的时候，有一支德国军队在瑞士阿尔卑斯山迷路了，他们被困在大山里面，食物和水越来越少，士气也越来越低落。更最要命的是，几百人的孙兴慜灵光闪现黄喜灿绝杀韩国晋级世界杯16强尽管韩国队和孙兴慜在小组赛前两轮比赛中的表现乏善可陈，但在对阵葡萄牙两队僵持到第90分钟韩国队即将打道回府的关键时刻，亚洲一哥孙兴慜在3人包夹中送出他在本届世界杯上最致命的一记直传带你沉浸式游八达岭长城，不吃亏北京的12月已经零下13度，城里的河流已经结冰，已经有人开始在河面滑冰了。12月是长城的淡季，也是风大的时候，体重没有二百斤还镇不住。很多小姑娘都腿软了，搂着扶手就坐台阶上不动了。支付宝每日答题答案大全今日答案支付宝每日答题支付宝每日答题现在分为三个答题板块庄园小课堂职业小知识问答每日任务答题学海洋知识。蚂蚁庄园小课堂，每天答题后，可以领1次小鸡饲料。职业小知识问答，答对产速3时，答错12022各种投资品的收益怎么样？你是赚翻了还是亏麻了？接近年底，准备盘算下手头的理财产品，不知道今年以来的各类熟悉的投资品，都怎么样了？（1）股市2022年前三季度，上证综指跌16。91，深证成指跌27。45，创业板指跌31。11。其为了超额收益，我选择了一条更艰难的道路大家好，我是价投愚公。今天想和大家聊一聊主动选股和指数投资的问题，因为这直接关系到投资道路的选择，事关重大！（本人金融学硕士，拥有近10年的股票投资经历，并取得良好正收益。曾在金融杜兰特本赛季要打破的5个记录总得分进入前十，单场50超越天勾前言作为NBA史上最出色的的分手之一，杜兰特不仅是NBA史上最年轻的得分王，还是现役唯一拥有4次得分王的球星。自2007年被雷霆以榜眼签选中后，新秀赛季便以场均20。3分4。4篮板田海蓉短发造型辣眼睛，勒出胃臃肿邋遢，拖地薄纱却没有仙气感今天穿什么田海蓉不仅实力受肯定，颜值与身材也是大美人级别，不过她本人气质偏温柔婉约不适合短发，但红毯造型却以超短发现身看起来有些辣眼睛，连银色绑带薄纱裙也没能凸显气质。上半身利用银交易黑马出现！曝湖人或得到5届全明星，威少终究还是得离开凭借着三巨头的集体大爆发，在全场湖人队送出26次助攻，仅有四次失误的情况下，他们在东部六连客的第一站中，击败了联盟第二的雄鹿，并且在面对字母哥的时候，浓眉也完全不落下风。在最近的几
<<<<<<－>>>>>>