GaussDB（DWS）性能调优indexscan导致的性能

　　本文分享自华为云社区《GaussDB（DWS）性能调优：indexscan导致的性能问题识别与优化【玩转PB级数仓GaussDB（DWS）】云社区华为云》，作者：譡里个檔。
　　通常跑批加工场景下，都是大数量做关联操作，通常不建议使用索引。有些时候因为计划误判导致使用索引的可能会导致严重的性能问题。本文从一个典型的索引导致性能的场景重发，剖析此类问题的特征，定位方法和解决方法
　　1）在某局点POC测试时发现某SQL语句比较慢，原始SQL如下WITHetl1165837960703994644LOADABLEas（selectboqreltypeid，topuid，toversion，cycleid，partoffsetflag，toboqid，descr，fromcontractid，fromversion，frompuid，ssid，tocontractid，fromboqid，enableflag，lastupdatedatefrom（SELECTPARALLEL（4）BOQREL。FROMBOQID，BOQREL。TOBOQID，BOQREL。FROMPUID，BOQREL。TOPUID，BOQREL。PARTOFFSETFLAG，BOQREL。DESCR，BOQREL。SSID，BOQREL。CYCLEID，NVL（BOQREL。FROMVERSION，SNULL）FROMVERSION，NVL（BOQREL。TOVERSION，SNULL）TOVERSION，BOQREL。LASTUPDATEDATE，FROMCON。CONTRACTIDASFROMCONTRACTID，TOCON。CONTRACTIDASTOCONTRACTID，CLA。CLASSIDASBOQRELTYPEID，BOQREL。ENABLEFLAGFROM（SELECTA。FROMBOQID，A。TOBOQID，A。FROMPUID，A。TOPUID，A。FROMCONTRACTNUMBER，A。TOCONTRACTNUMBER，A。BOQRELTYPECODE，A。PARTOFFSETFLAG，A。DESCR，A。SSID，A。FROMVERSION，A。TOVERSION，A。LASTUPDATEDATE，A。CYCLEID，A。ENABLEFLAG，DECODE（A。SSID，2820，2600，A。SSID）SSIDTMP，ROWNUMBER（）OVER（PARTITIONBYFROMBOQID，TOBOQID，FROMPUID，TOPUID，FROMCONTRACTNUMBER，TOCONTRACTNUMBER，BOQRELTYPECODE，FROMVERSION，TOVERSIONORDERBYDECODE（A。SSID，2820，1，2600，2，3））RNFROMLDBMDBOQRELA）BOQREL，（SELECTCONTRACTID，HWCONTRACTNUM，SSIDFROMDWIMDCONTRACTWHERECONTRACTIDISNOTNULLANDENDTIMETODATE（47121231，YYYYMMDD））FROMCON，（SELECTCONTRACTID，HWCONTRACTNUM，SSIDFROMDWIMDCONTRACTWHERECONTRACTIDISNOTNULLANDENDTIMETODATE（47121231，YYYYMMDD））TOCON，（SELECTCLASSID，CODE，CLASSTYPEID，SSIDFROMDWIMDCLASSWHERECLASSTYPEID193）CLAWHEREBOQREL。RN1ANDBOQREL。FROMCONTRACTNUMBERFROMCON。HWCONTRACTNUMANDBOQREL。SSIDFROMCON。SSIDANDBOQREL。TOCONTRACTNUMBERTOCON。HWCONTRACTNUMANDBOQREL。SSIDTOCON。SSIDANDBOQREL。BOQRELTYPECODECLA。CODEANDBOQREL。SSIDTMPCLA。SSID）t），BEFORETARGETas（selectfromcontractid，frompuid，ssid，fromboqid，fromversion，toversion，crtcycleid，topuid，toboqid，delflag，lastupdcycleid，lastupdatedate，descr，enableflag，crtjobinstanceid，dqimproveflag，updjobinstanceid，tocontractid，partoffsetflag，boqreltypeidfrom（SELECTPARALLEL（4）FROMBOQID，TOBOQID，FROMPUID，TOPUID，FROMCONTRACTID，TOCONTRACTID，BOQRELTYPEID，PARTOFFSETFLAG，DESCR，SSID，CRTCYCLEID，LASTUPDCYCLEID，DELFLAG，DQIMPROVEFLAG，CRTJOBINSTANCEID，UPDJOBINSTANCEID，NVL（FROMVERSION，SNULL）FROMVERSION，NVL（TOVERSION，SNULL）TOVERSION，LASTUPDATEDATE，ENABLEFLAGFROMDWIMDBOQREL）t），CDCas（selectLOADABLE。ssid，LOADABLE。fromversion，LOADABLE。fromboqid，LOADABLE。partoffsetflag，LOADABLE。frompuid，casewhenBEFORETARGET。BOQRELTYPEIDisnullandBEFORETARGET。FROMBOQIDisnullandBEFORETARGET。FROMCONTRACTIDisnullandBEFORETARGET。FROMPUIDisnullandBEFORETARGET。FROMVERSIONisnullandBEFORETARGET。TOBOQIDisnullandBEFORETARGET。TOCONTRACTIDisnullandBEFORETARGET。TOPUIDisnullandBEFORETARGET。TOVERSIONisnullthen1else3endaschangecode，LOADABLE。toversion，LOADABLE。boqreltypeid，LOADABLE。fromcontractid，LOADABLE。tocontractid，LOADABLE。descr，LOADABLE。lastupdatedate，LOADABLE。topuid，LOADABLE。enableflag，LOADABLE。cycleid，LOADABLE。toboqidfromLOADABLEleftjoinBEFORETARGETonLOADABLE。BOQRELTYPEIDBEFORETARGET。BOQRELTYPEIDandLOADABLE。FROMBOQIDBEFORETARGET。FROMBOQIDandLOADABLE。FROMCONTRACTIDBEFORETARGET。FROMCONTRACTIDandLOADABLE。FROMPUIDBEFORETARGET。FROMPUIDandLOADABLE。FROMVERSIONBEFORETARGET。FROMVERSIONandLOADABLE。TOBOQIDBEFORETARGET。TOBOQIDandLOADABLE。TOCONTRACTIDBEFORETARGET。TOCONTRACTIDandLOADABLE。TOPUIDBEFORETARGET。TOPUIDandLOADABLE。TOVERSIONBEFORETARGET。TOVERSION），TFMFILTERDATATARGETOUTPUTUas（selectCDC。topuid，CDC。boqreltypeid，CDC。ssid，CurrentTimestamp（）asdwlastupdatedate，CDC。toversion，CDC。fromversion，20230104000000aslastupdcycleid，CDC。fromcontractid，CDC。lastupdatedate，CDC。descr，Nasdelflag，CDC。fromboqid，CDC。toboqid，CDC。enableflag，CDC。frompuid，1asupdjobinstanceid，Nasdqimproveflag，CDC。tocontractid，CDC。partoffsetflagfromCDCwhereCDC。changecode3）updateDWIMDBOQRELTARGETUsetdqimproveflagTFMFILTERDATATARGETOUTPUTU。dqimproveflag，dwlastupdatedateTFMFILTERDATATARGETOUTPUTU。dwlastupdatedate，updjobinstanceidTFMFILTERDATATARGETOUTPUTU。updjobinstanceid，descrTFMFILTERDATATARGETOUTPUTU。descr，partoffsetflagTFMFILTERDATATARGETOUTPUTU。partoffsetflag，lastupdatedateTFMFILTERDATATARGETOUTPUTU。lastupdatedate，delflagTFMFILTERDATATARGETOUTPUTU。delflag，lastupdcycleidTFMFILTERDATATARGETOUTPUTU。lastupdcycleid，enableflagTFMFILTERDATATARGETOUTPUTU。enableflag，ssidTFMFILTERDATATARGETOUTPUTU。ssidfromTFMFILTERDATATARGETOUTPUTUwhereTARGETU。boqreltypeidTFMFILTERDATATARGETOUTPUTU。boqreltypeidandTARGETU。toversionTFMFILTERDATATARGETOUTPUTU。toversionandTARGETU。toversionTFMFILTERDATATARGETOUTPUTU。toversionandTARGETU。topuidTFMFILTERDATATARGETOUTPUTU。topuidandTARGETU。topuidTFMFILTERDATATARGETOUTPUTU。topuidandTARGETU。tocontractidTFMFILTERDATATARGETOUTPUTU。tocontractidandTARGETU。tocontractidTFMFILTERDATATARGETOUTPUTU。tocontractidandTARGETU。toboqidTFMFILTERDATATARGETOUTPUTU。toboqidandTARGETU。toboqidTFMFILTERDATATARGETOUTPUTU。toboqidandTARGETU。fromversionTFMFILTERDATATARGETOUTPUTU。fromversionandTARGETU。fromversionTFMFILTERDATATARGETOUTPUTU。fromversionandTARGETU。frompuidTFMFILTERDATATARGETOUTPUTU。frompuidandTARGETU。frompuidTFMFILTERDATATARGETOUTPUTU。frompuidandTARGETU。fromcontractidTFMFILTERDATATARGETOUTPUTU。fromcontractidandTARGETU。fromcontractidTFMFILTERDATATARGETOUTPUTU。fromcontractidandTARGETU。fromboqidTFMFILTERDATATARGETOUTPUTU。fromboqidandTARGETU。fromboqidTFMFILTERDATATARGETOUTPUTU。fromboqidandTARGETU。boqreltypeidTFMFILTERDATATARGETOUTPUTU。boqreltypeid；
　　2）查询此query的topSQL信息的warning字段，发现SQL自诊断信息中有索引相关告警信息。
　　3）查询此query的topSQL信息（如下图），分析历史执行信息，发现id20的CStoreIndexScan算子的耗时为90796。980ms，SQL执行总时长137135。658ms。CStoreIndexScan算子的耗时占比为66
　　4）找到原始SQL语句，对查询语句中出现的表dwimd。dwimdcontract进行hint，强制其走顺序扫描，避免走indexscan（全量语句见附件）
　　5）对语句进行explainverbose，查看计划，发现计划符合预期（即表dwimd。dwimdcontract走tablescan，对于列存表计划上显式为CStoreScan）
　　6）对语句执行EXPLAINANALYZE操作（即实际执行语句），查看实际执行时间如下，发现SQL语句性能提升近10倍。全量的执行信息见附件
　　附件：hint后的explainanalyze华为云博客大数据博客AI博客云计算博客开发者博客技术博客华为云附件：hint后的query鍗庝负浜戝崥瀹澶暟鎹崥瀹AI鍗氬浜戣绠楀崥瀹寮鍙戣呭崥瀹鎶鏈崥瀹鍗庝负浜
　　点击下方，第一时间了解华为云新鲜技术
　　华为云博客大数据博客AI博客云计算博客开发者中心华为云
　　华为云开发者联盟