带你认识一下数仓的分区自动管理

　　摘要：本文从分区自动管理的作用、用法、原理等方面进行介绍。
　　本文分享自华为云社区《GaussDB（DWS）分区自动管理介绍云社区华为云》，作者：Attila。
　　对于分区列为时间的分区表，分区自动管理功能可以自动创建新分区和删除过期分区，降低分区表的维护成本，改善查询性能。下面将从分区自动管理的作用、用法、原理等方面进行介绍。1。分区自动管理作用
　　为了便于查询和维护数据，客户通常使用分区列为时间的分区表来存储时间相关的数据，例如电商的订单信息、物联网采集的实时数据。这些时间相关的数据导入分区表时，需要保证分区表要有对应时间的分区，由于普通的分区表不会自动创建新的分区和删除过期分区，所以维护人员需要定期创建新分区和删除过期分区，提高了运维成本。
　　为解决上述问题，GaussDB（DWS）引入了分区自动管理特性。使用者可通过设置表级参数period、ttl开启分区自动管理功能，使分区表可以自动创建新分区和删除过期分区，降低分区表的维护成本，改善查询性能。其中，period既表示新分区的时间范围，也表示自动创建新分区和自动删除过期分区的周期；ttl表示分区过期时间。period和ttl的值均为Interval类型，例如’1hour’、‘1day’、‘1week’、‘1month’、‘1year’、1month2days3hours’等。1。1自动创建新分区
　　分区自动管理每隔period的时间就会自动创建分区，每次创建一个或多个时间范围为period的新分区，以推进最大的分区边界时间，保证其大于nowTime30period。由于每次创建分区时，都动态地为未来时间创建了预留分区，所以只要有一次自动创建新分区成功，就可以保证在未来30个period的时间之内，都不会出现实时数据因为没有对应分区而导入失败的情况。
　　1。2自动删除过期分区
　　边界时间早于nowTimettl的分区被认为是过期分区。分区自动管理每隔period的时间就会遍历检测所有分区，并删除其中的过期分区，如果所有的分区都是过期分区，则保留一个分区，并truncate该表。2。分区自动管理用法2。1分区管理功能约束
　　在使用分区管理功能时，需要满足如下约束：
　　1）不支持在小型机、加速集群、单机集群上使用。
　　2）不支持在8。1。3版本以下的版本中使用。
　　3）仅支持行存范围分区表、列存范围分区表、时序表以及冷热表。
　　4）分区键唯一并且类型仅支持timestamp、timestamptz、date类型。
　　5）不支持存在maxvalue分区。
　　6）（nowTimeboundaryTime）period需要小于分区个数上限，其中nowTime为当前时间，boundaryTime为现有分区中最早的分区边界时间。
　　7）period、ttl取值范围为1hour100years。另外，在兼容Teradata或MySQL的数据库中，分区键类型为date时，period不能小于1day。
　　8）表级参数ttl不支持单独存在，必须要提前或同时设置period，并且要大于或等于period。
　　9）集群在线扩容期间，自动增加分区会失败，但是由于每次增分区时，都预留了足够的分区，所以不影响使用。2。2开启分区管理功能
　　分区管理功能是和表级参数period、ttl绑定的，只要成功设置了表级参数period，即开启了自动创建新分区功能；成功设置了表级参数ttl，即开启了自动删除过期分区功能。第一次自动创建分区或删除分区的时间为设置period或ttl后30秒。
　　有两种开启分区管理功能的方式，具体如下：
　　1）建表时指定period、ttl
　　该方式适用于新建分区管理表时使用。新建分区管理表有两种语法，一种是建表时指定分区，另一种是建表时不指定分区。
　　建分区管理表时如果指定分区，则语法规则和建普通分区表相同，唯一的区别就是会指定表级参数period、ttl，具体示例如下。在该示例中，分区过期时间为7days，新分区的时间范围以及自动分区任务周期为1day。CREATETABLECPU1（idinteger，IPtext，timetimestamp）with（TTL7days，PERIOD1day）partitionbyrange（time）（PARTITIONP1VALUESLESSTHAN（2022010516：32：45），PARTITIONP2VALUESLESSTHAN（2022010616：56：12））；
　　建分区管理表时可以只指定分区键不指定分区，此时将创建两个默认分区，这两个默认分区的分区时间范围均为period。其中，第一个默认分区的边界时间是大于当前时间的第一个整时整天整周整月整年的时间，具体选择哪种整点时间取决于period的最大单位；第二个默认分区的边界时间是第一个分区边界时间加period。假设当前时间是2022021716：32：45，各种情况的第一个默认分区的分区边界选择如下表：
　　建表时不指定分区的具体示例如下：CREATETABLECPU2（idinteger，IPtext，timetimestamp）with（TTL7days，PERIOD1day）partitionbyrange（time）；
　　2）使用altertableset的方式设置period、ttl
　　该方式适用于给一张满足分区管理约束的普通分区表增加分区管理功能。
　　假设cpu3表是一张满足分区管理约束的普通分区表，给该表增加分区管理功能的示例如下：同时开启自动创建和自动删除分区功能ALTERTABLEcpu3SET（PERIOD1day，TTL7days）；只开启自动创建分区功能ALTERTABLEcpu3SET（PERIOD1day）；只开启自动删除分区功能，如果没有提前开启自动创建分区功能，则开启失败ALTERTABLEcpu3SET（TTL7days）；2。3修改分区管理功能
　　修改分区管理功能主要是修改period和ttl，可以通过altertableset的方式修改。
　　假设cpu4表是一张分区管理表，修改其period和ttl示例如下：同时修改periodALTERTABLEcpu4SET（TTL10days，PERIOD2days）；2。4关闭分区管理功能
　　使用altertablereset的方式可以删除表级参数period、ttl，进而关闭相应的分区管理功能。需要注意的是，不能在存在ttl的情况下，单独删除period。另外，时序表不支持altertablereset。
　　假设cpu5表是一张具有period和ttl的分区管理表，关闭其分区管理功能示例如下：同时关闭自动创建和自动删除分区功能ALTERTABLEcpu5RESET（PERIOD，TTL）；只关闭自动删除分区功能ALTERTABLEcpu5RESET（TTL）；只关闭自动创建分区功能，如果该表有ttl参数，则关闭失败ALTERTABLEcpu5RESET（PERIOD）；3。分区自动管理原理3。1基本原理
　　分区管理的实现依托了pgtask自动调度任务，即设置periodttl时，向scheduler。pgtask表中插入了自增自减分区管理任务，其中自增分区任务的任务内容为procaddpartition（relname，period）函数，自减分区任务为procdroppartition（relname，ttl）函数，两种任务的调用周期均为period，第一次执行时间为任务插入时间后30秒。
　　使用管理员权限，可以查看scheduler。pgtask表中任务具体的信息，例如任务内容（what字段）、任务执行周期（interval字段）、任务上一次成功执行的时间（actualendtime字段）、任务状态（taskstatus字段）。当自动调度任务执行失败时，用户可以复制scheduler。pgtask表中分区管理任务的what字段，然后手动执行该任务。查看scheduler。pgtask表以及手动执行自增分区任务示例如下：mydatabaseSELECTwhat，intervalFROMscheduler。pgtask；whatintervalcallprocaddpartition（public。cpu1，interval1day）；1daycallprocdroppartition（public。cpu1，interval7days）；1day（2rows）mydatabasecallprocaddpartition（public。cpu1，interval1day）；procaddpartition（1row）3。2procaddpartition（relnameregclass，boundariesintervalinterval）
　　该函数用于自动添加分区，具体实现流程如下图。函数运行时，会在分区表现有分区边界的基础上，创建多个时间范围为boundariesinterval的新分区，直到新的boundary距离当前时间大于29个boundariesinterval，之后再额外多创建一个分区，保证该函数运行时，一定会创建一个新分区。
　　3。3procdroppartition（relnameregclass，olderthaninterval）
　　该函数用于自动删除过期分区。函数运行时，会遍历分区表所有分区，并删除其中boundary早于（nowtimeolderthan）的分区；如果所有分区都满足删除条件，则保留一个分区，并truncate该表。
　　点击下方，第一时间了解华为云新鲜技术
　　华为云博客大数据博客AI博客云计算博客开发者中心华为云