[opt](nereids) tabe row count priority: user injected > BE report > analyzed (2.0)

[englefly]

Proposed changes

pick #40529
Issue Number: close #xxx

[doris-robot]

Thank you for your contribution to Apache Doris.
Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website.
See Doris Document.

[englefly]

run buildall

[doris-robot]

TPC-H: Total hot run time: 49012 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 8bc977d4ccb087c765b455232a913d48aef63829, data reload: false

------ Round 1 ----------------------------------
q1	17895	4375	4356	4356
q2	12635	155	141	141
q3	9805	1907	1915	1907
q4	10288	1260	1325	1260
q5	8403	3865	3878	3865
q6	235	124	125	124
q7	2052	1596	1610	1596
q8	9415	2710	2698	2698
q9	11617	9723	9771	9723
q10	8615	3496	3508	3496
q11	410	255	248	248
q12	472	297	297	297
q13	18371	3961	3985	3961
q14	359	337	335	335
q15	513	447	465	447
q16	522	468	450	450
q17	1132	947	931	931
q18	7196	6902	6870	6870
q19	1687	1574	1578	1574
q20	534	325	312	312
q21	4418	4107	4026	4026
q22	493	401	395	395
Total cold run time: 127067 ms
Total hot run time: 49012 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4306	4295	4285	4285
q2	321	228	221	221
q3	4139	4107	4154	4107
q4	2740	2727	2728	2727
q5	7167	7077	7132	7077
q6	236	119	119	119
q7	3185	2821	2822	2821
q8	4323	4465	4508	4465
q9	13715	13294	13600	13294
q10	4236	4232	4246	4232
q11	767	672	688	672
q12	1038	860	843	843
q13	7072	3732	3729	3729
q14	451	424	419	419
q15	494	457	463	457
q16	612	585	581	581
q17	3787	3775	3889	3775
q18	8846	8849	8750	8750
q19	1699	1682	1653	1653
q20	2390	2154	2087	2087
q21	8424	8391	8471	8391
q22	1019	930	947	930
Total cold run time: 80967 ms
Total hot run time: 75635 ms

[doris-robot]

TPC-DS: Total hot run time: 211398 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 8bc977d4ccb087c765b455232a913d48aef63829, data reload: false

query1	1500	530	516	516
query2	6517	2500	2327	2327
query3	9086	199	198	198
query4	27834	21873	21356	21356
query5	19142	6505	6441	6441
query6	286	212	241	212
query7	3596	294	318	294
query8	254	289	238	238
query9	3079	2638	2544	2544
query10	413	289	304	289
query11	15390	14825	14891	14825
query12	130	78	75	75
query13	872	469	431	431
query14	17531	13607	13737	13607
query15	327	215	223	215
query16	6345	277	262	262
query17	1567	929	890	890
query18	850	312	317	312
query19	202	151	146	146
query20	99	100	106	100
query21	192	94	94	94
query22	5092	5029	5115	5029
query23	34067	33503	33489	33489
query24	7571	6308	6250	6250
query25	526	438	415	415
query26	1079	160	160	160
query27	2388	295	306	295
query28	5202	2225	2195	2195
query29	2788	2630	2720	2630
query30	239	168	169	168
query31	955	726	744	726
query32	63	60	61	60
query33	450	250	244	244
query34	858	478	472	472
query35	1058	933	933	933
query36	1296	1149	1004	1004
query37	121	59	58	58
query38	3049	2935	2936	2935
query39	1370	1307	1315	1307
query40	304	94	94	94
query41	40	36	37	36
query42	84	92	86	86
query43	576	613	537	537
query44	1166	706	704	704
query45	246	228	224	224
query46	1239	942	948	942
query47	1905	1750	1994	1750
query48	505	412	413	412
query49	652	378	372	372
query50	849	609	610	609
query51	4729	4710	4732	4710
query52	99	80	81	80
query53	228	188	186	186
query54	2648	2457	2468	2457
query55	89	81	87	81
query56	219	199	205	199
query57	1328	1212	1158	1158
query58	220	209	235	209
query59	3445	3090	3485	3090
query60	213	207	198	198
query61	91	89	94	89
query62	871	454	474	454
query63	203	179	177	177
query64	3632	1570	1378	1378
query65	3585	3557	3537	3537
query66	739	419	411	411
query67	15826	17072	14858	14858
query68	9683	635	620	620
query69	508	263	276	263
query70	1492	1336	1381	1336
query71	397	299	308	299
query72	6045	4903	4720	4720
query73	765	323	318	318
query74	6310	5764	5863	5764
query75	5036	3788	3658	3658
query76	5069	1151	1205	1151
query77	779	250	250	250
query78	12474	11689	11740	11689
query79	7741	628	640	628
query80	2085	377	408	377
query81	456	235	239	235
query82	1607	98	95	95
query83	167	130	133	130
query84	263	70	72	70
query85	984	322	314	314
query86	350	303	305	303
query87	3284	3021	3015	3015
query88	4716	2280	2305	2280
query89	496	293	302	293
query90	2115	218	217	217
query91	156	126	125	125
query92	61	51	53	51
query93	7525	588	578	578
query94	897	206	212	206
query95	1970	2034	1974	1974
query96	657	320	318	318
query97	6443	6383	6313	6313
query98	245	206	204	204
query99	3093	824	825	824
Total cold run time: 322984 ms
Total hot run time: 211398 ms

[doris-robot]

ClickBench: Total hot run time: 32.52 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 8bc977d4ccb087c765b455232a913d48aef63829, data reload: false

query1	0.21	0.21	0.20
query2	0.07	0.03	0.02
query3	0.25	0.04	0.04
query4	1.81	0.07	0.07
query5	0.54	0.52	0.52
query6	1.25	0.61	0.62
query7	0.08	0.04	0.05
query8	0.03	0.02	0.03
query9	0.52	0.49	0.46
query10	0.52	0.54	0.54
query11	0.12	0.10	0.09
query12	0.13	0.09	0.10
query13	0.62	0.62	0.60
query14	0.79	0.79	0.80
query15	0.77	0.77	0.76
query16	0.58	0.57	0.56
query17	1.67	1.63	1.64
query18	0.86	0.97	0.93
query19	3.42	1.87	1.81
query20	0.02	0.02	0.03
query21	15.40	0.54	0.54
query22	1.91	2.31	1.41
query23	17.23	0.99	0.96
query24	4.46	1.18	3.17
query25	0.36	0.07	0.06
query26	0.78	0.16	0.15
query27	0.03	0.04	0.04
query28	6.36	0.77	0.76
query29	12.65	2.40	2.26
query30	0.56	0.52	0.52
query31	2.82	0.38	0.39
query32	3.40	0.49	0.49
query33	3.06	3.09	3.08
query34	15.27	4.78	4.78
query35	4.87	4.85	4.84
query36	1.08	1.01	1.02
query37	0.06	0.05	0.05
query38	0.04	0.02	0.03
query39	0.02	0.01	0.01
query40	0.16	0.14	0.15
query41	0.07	0.02	0.01
query42	0.02	0.01	0.01
query43	0.02	0.02	0.02
Total cold run time: 104.89 s
Total hot run time: 32.52 s

[doris-robot]

Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'

Load test result on commit 8bc977d4ccb087c765b455232a913d48aef63829 with default session variables
Stream load json:         20 seconds loaded 2358488459 Bytes, about 112 MB/s
Stream load orc:          58 seconds loaded 1101869774 Bytes, about 18 MB/s
Stream load parquet:      31 seconds loaded 861443392 Bytes, about 26 MB/s
Insert into select:       22.3 seconds inserted 10000000 Rows, about 448K ops/s

[englefly]

run buildall

[englefly]

run buildall

[doris-robot]

TPC-H: Total hot run time: 50338 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 1fdd0984fec8048b70251cde3b2c007f202b66de, data reload: false

------ Round 1 ----------------------------------
q1	17628	4370	4385	4370
q2	2913	1893	1765	1765
q3	9996	1886	1962	1886
q4	10313	1234	1327	1234
q5	8418	3880	3868	3868
q6	226	123	124	123
q7	2037	1587	1591	1587
q8	9336	2709	2700	2700
q9	10211	9709	9712	9709
q10	8618	3515	3476	3476
q11	412	257	248	248
q12	464	295	297	295
q13	18339	3997	4019	3997
q14	355	335	335	335
q15	519	447	457	447
q16	543	452	472	452
q17	1137	963	940	940
q18	7213	6706	6812	6706
q19	1697	1599	1482	1482
q20	550	326	302	302
q21	4444	4090	4029	4029
q22	491	387	400	387
Total cold run time: 115860 ms
Total hot run time: 50338 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4301	4290	4279	4279
q2	321	225	225	225
q3	4143	4143	4120	4120
q4	2749	2718	2735	2718
q5	7180	7109	7101	7101
q6	238	121	122	121
q7	3193	2775	2880	2775
q8	4334	4457	4414	4414
q9	13716	13637	13563	13563
q10	4205	4298	4272	4272
q11	753	671	687	671
q12	1011	864	856	856
q13	6973	3761	3768	3761
q14	453	443	430	430
q15	509	453	466	453
q16	622	574	603	574
q17	3895	3776	3818	3776
q18	8916	8873	8839	8839
q19	1710	1649	1659	1649
q20	2394	2123	2118	2118
q21	8530	8533	8527	8527
q22	1051	910	973	910
Total cold run time: 81197 ms
Total hot run time: 76152 ms

[doris-robot]

TPC-DS: Total hot run time: 212277 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 1fdd0984fec8048b70251cde3b2c007f202b66de, data reload: false

query1	981	449	488	449
query2	6535	2284	1952	1952
query3	8675	208	215	208
query4	42928	21863	21590	21590
query5	24367	6530	6584	6530
query6	365	224	234	224
query7	4927	319	313	313
query8	252	266	234	234
query9	3079	2628	2576	2576
query10	480	297	293	293
query11	15697	14826	14927	14826
query12	127	73	75	73
query13	1022	433	438	433
query14	19093	13376	13867	13376
query15	362	217	235	217
query16	6215	273	260	260
query17	1580	922	908	908
query18	881	312	320	312
query19	216	144	152	144
query20	110	90	96	90
query21	191	97	97	97
query22	5229	5282	4969	4969
query23	34338	33444	33692	33444
query24	6681	6369	6367	6367
query25	519	424	431	424
query26	1016	165	173	165
query27	2247	303	294	294
query28	6076	2256	2196	2196
query29	2787	2714	2656	2656
query30	242	167	164	164
query31	974	761	738	738
query32	71	62	56	56
query33	442	260	250	250
query34	857	488	484	484
query35	1131	887	952	887
query36	1393	1223	1056	1056
query37	92	62	59	59
query38	3100	2922	2892	2892
query39	1370	1325	1334	1325
query40	227	98	96	96
query41	39	36	36	36
query42	86	89	89	89
query43	631	621	693	621
query44	1165	710	710	710
query45	240	236	229	229
query46	1233	993	965	965
query47	1996	1799	1975	1799
query48	523	424	409	409
query49	621	375	375	375
query50	850	607	595	595
query51	4786	4688	4694	4688
query52	93	89	82	82
query53	236	193	194	193
query54	2668	2474	2501	2474
query55	85	85	82	82
query56	226	205	188	188
query57	1230	1157	1156	1156
query58	229	207	223	207
query59	3538	3521	3216	3216
query60	222	210	213	210
query61	97	99	92	92
query62	863	476	480	476
query63	207	180	181	180
query64	5020	1651	1452	1452
query65	3605	3584	3553	3553
query66	587	471	391	391
query67	17872	15608	15110	15110
query68	9221	654	656	654
query69	530	278	280	278
query70	1728	1529	1399	1399
query71	383	306	318	306
query72	6937	4761	4674	4674
query73	756	319	316	316
query74	6258	5784	5809	5784
query75	4876	3680	3681	3680
query76	4942	1176	1157	1157
query77	675	248	251	248
query78	12480	12335	11836	11836
query79	8219	656	658	656
query80	1643	389	397	389
query81	482	236	241	236
query82	1130	97	102	97
query83	172	129	130	129
query84	257	70	73	70
query85	1000	317	316	316
query86	351	321	319	319
query87	3238	3063	3028	3028
query88	4590	2293	2286	2286
query89	477	287	290	287
query90	1676	212	216	212
query91	168	126	136	126
query92	56	55	54	54
query93	5991	604	611	604
query94	780	208	210	208
query95	2131	1981	2016	1981
query96	680	335	321	321
query97	6509	6368	6416	6368
query98	230	212	204	204
query99	2968	935	849	849
Total cold run time: 347357 ms
Total hot run time: 212277 ms

[doris-robot]

ClickBench: Total hot run time: 30.3 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 1fdd0984fec8048b70251cde3b2c007f202b66de, data reload: false

query1	0.02	0.02	0.02
query2	0.07	0.03	0.02
query3	0.25	0.05	0.05
query4	1.80	0.07	0.06
query5	0.54	0.53	0.53
query6	1.24	0.61	0.62
query7	0.02	0.01	0.01
query8	0.03	0.02	0.02
query9	0.53	0.49	0.49
query10	0.54	0.53	0.53
query11	0.12	0.09	0.09
query12	0.12	0.09	0.09
query13	0.62	0.61	0.62
query14	0.78	0.80	0.80
query15	0.80	0.76	0.76
query16	0.37	0.36	0.37
query17	0.99	1.01	1.02
query18	0.23	0.25	0.24
query19	1.94	1.84	1.88
query20	0.01	0.02	0.01
query21	15.43	0.55	0.53
query22	2.16	2.39	1.44
query23	16.89	0.96	0.94
query24	4.42	0.70	1.39
query25	0.39	0.11	0.05
query26	0.49	0.17	0.15
query27	0.04	0.04	0.03
query28	8.65	0.76	0.72
query29	12.60	2.29	2.36
query30	0.62	0.52	0.54
query31	2.82	0.40	0.39
query32	3.35	0.50	0.50
query33	3.06	3.08	3.04
query34	15.24	4.79	4.75
query35	4.86	4.84	4.84
query36	1.08	1.02	1.01
query37	0.06	0.05	0.04
query38	0.03	0.02	0.02
query39	0.02	0.01	0.02
query40	0.17	0.14	0.14
query41	0.06	0.02	0.01
query42	0.02	0.02	0.01
query43	0.02	0.02	0.02
Total cold run time: 103.5 s
Total hot run time: 30.3 s

[doris-robot]

Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'

Load test result on commit 1fdd0984fec8048b70251cde3b2c007f202b66de with default session variables
Stream load json:         20 seconds loaded 2358488459 Bytes, about 112 MB/s
Stream load orc:          58 seconds loaded 1101869774 Bytes, about 18 MB/s
Stream load parquet:      32 seconds loaded 861443392 Bytes, about 25 MB/s
Insert into select:       21.3 seconds inserted 10000000 Rows, about 469K ops/s

[englefly]

run buildall

[doris-robot]

TPC-H: Total hot run time: 50291 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 7ea4f4e978d8632f3e916685e5fffc850d8f4005, data reload: false

------ Round 1 ----------------------------------
q1	17837	4355	4347	4347
q2	2970	1827	1773	1773
q3	10011	1803	1912	1803
q4	10297	1222	1298	1222
q5	8446	3868	3900	3868
q6	235	127	123	123
q7	2014	1616	1633	1616
q8	9315	2797	2715	2715
q9	10196	9846	9626	9626
q10	8651	3533	3495	3495
q11	446	246	244	244
q12	472	304	298	298
q13	18352	3942	4030	3942
q14	365	324	336	324
q15	513	455	461	455
q16	537	456	450	450
q17	1125	942	946	942
q18	7243	6930	6778	6778
q19	1677	1500	1508	1500
q20	518	310	307	307
q21	4448	4152	4061	4061
q22	499	412	402	402
Total cold run time: 116167 ms
Total hot run time: 50291 ms

----- Round 2, with runtime_filter_mode=off -----
q1	4323	4295	4323	4295
q2	317	231	225	225
q3	4191	4143	4160	4143
q4	2759	2771	2758	2758
q5	7161	7098	7101	7098
q6	236	120	120	120
q7	3280	2844	2868	2844
q8	4376	4467	4465	4465
q9	13707	13607	13658	13607
q10	4245	4240	4255	4240
q11	765	685	713	685
q12	1016	852	857	852
q13	7113	3734	3769	3734
q14	452	425	435	425
q15	500	454	462	454
q16	634	607	585	585
q17	3732	3841	3830	3830
q18	8750	8825	8868	8825
q19	1716	1616	1662	1616
q20	2395	2167	2089	2089
q21	8530	8612	8509	8509
q22	1057	971	962	962
Total cold run time: 81255 ms
Total hot run time: 76361 ms

[doris-robot]

TPC-DS: Total hot run time: 211839 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 7ea4f4e978d8632f3e916685e5fffc850d8f4005, data reload: false

query1	988	459	480	459
query2	6583	2150	2120	2120
query3	6925	209	207	207
query4	43360	21870	21468	21468
query5	20144	6559	6606	6559
query6	416	223	228	223
query7	5292	303	311	303
query8	264	257	266	257
query9	2987	2615	2561	2561
query10	452	309	298	298
query11	15757	14806	15128	14806
query12	124	80	75	75
query13	1027	443	441	441
query14	19264	13112	13319	13112
query15	377	219	229	219
query16	6407	274	259	259
query17	1609	943	921	921
query18	886	312	308	308
query19	203	157	147	147
query20	98	98	108	98
query21	186	104	89	89
query22	5319	5015	4979	4979
query23	34389	33419	33463	33419
query24	6656	6402	6326	6326
query25	524	433	429	429
query26	1058	168	161	161
query27	2259	297	291	291
query28	6099	2239	2188	2188
query29	2903	2875	2797	2797
query30	241	167	166	166
query31	935	732	788	732
query32	71	61	62	61
query33	438	264	256	256
query34	865	472	469	469
query35	1126	939	959	939
query36	1285	1195	1316	1195
query37	90	60	57	57
query38	3078	2884	2947	2884
query39	1377	1344	1329	1329
query40	274	92	93	92
query41	40	37	36	36
query42	94	88	86	86
query43	564	614	635	614
query44	1167	712	722	712
query45	248	235	232	232
query46	1228	962	947	947
query47	1907	1985	1845	1845
query48	499	405	416	405
query49	642	369	363	363
query50	868	622	566	566
query51	4766	4733	4617	4617
query52	93	81	88	81
query53	235	196	190	190
query54	2636	2493	2509	2493
query55	100	74	88	74
query56	218	208	202	202
query57	1278	1139	1101	1101
query58	225	214	210	210
query59	3438	3293	3257	3257
query60	218	217	196	196
query61	100	93	94	93
query62	839	542	498	498
query63	200	170	183	170
query64	3467	1543	1402	1402
query65	3638	3566	3542	3542
query66	777	393	391	391
query67	15856	15262	16884	15262
query68	7940	642	651	642
query69	512	282	266	266
query70	2134	1335	1428	1335
query71	409	309	302	302
query72	6837	4821	4680	4680
query73	742	317	317	317
query74	6228	5863	5941	5863
query75	4747	3674	3763	3674
query76	4538	1158	1169	1158
query77	539	250	250	250
query78	12678	11727	11576	11576
query79	6212	628	616	616
query80	2747	386	381	381
query81	496	243	243	243
query82	1638	97	94	94
query83	192	133	135	133
query84	255	72	78	72
query85	1438	312	313	312
query86	366	291	293	291
query87	3223	3011	3027	3011
query88	4810	2262	2254	2254
query89	381	302	273	273
query90	1901	210	210	210
query91	172	132	137	132
query92	56	52	50	50
query93	3981	570	575	570
query94	1012	211	207	207
query95	1966	1959	1928	1928
query96	635	321	315	315
query97	6441	6334	6351	6334
query98	230	200	197	197
query99	2905	868	1027	868
Total cold run time: 336038 ms
Total hot run time: 211839 ms

[doris-robot]

ClickBench: Total hot run time: 31.09 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 7ea4f4e978d8632f3e916685e5fffc850d8f4005, data reload: false

query1	0.03	0.02	0.02
query2	0.06	0.03	0.03
query3	0.24	0.05	0.05
query4	1.80	0.07	0.07
query5	0.53	0.53	0.51
query6	1.28	0.66	0.62
query7	0.02	0.01	0.01
query8	0.04	0.02	0.02
query9	0.51	0.50	0.47
query10	0.55	0.53	0.53
query11	0.13	0.09	0.09
query12	0.12	0.09	0.09
query13	0.62	0.61	0.61
query14	0.79	0.80	0.80
query15	0.78	0.75	0.75
query16	0.36	0.36	0.36
query17	1.00	0.99	1.00
query18	0.21	0.25	0.24
query19	1.84	1.85	1.81
query20	0.02	0.01	0.01
query21	15.48	0.56	0.55
query22	2.03	2.35	1.49
query23	16.71	1.05	1.09
query24	5.27	1.46	1.35
query25	0.38	0.13	0.05
query26	0.63	0.15	0.16
query27	0.03	0.04	0.03
query28	7.17	0.79	0.71
query29	12.65	2.35	2.24
query30	0.65	0.60	0.59
query31	2.80	0.38	0.38
query32	3.39	0.51	0.50
query33	3.11	3.07	3.08
query34	15.24	4.81	4.78
query35	4.86	4.86	4.83
query36	1.09	1.00	1.01
query37	0.06	0.04	0.05
query38	0.03	0.02	0.02
query39	0.02	0.02	0.01
query40	0.15	0.14	0.14
query41	0.07	0.02	0.01
query42	0.02	0.02	0.01
query43	0.02	0.01	0.02
Total cold run time: 102.79 s
Total hot run time: 31.09 s

[doris-robot]

Load test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'

Load test result on commit 7ea4f4e978d8632f3e916685e5fffc850d8f4005 with default session variables
Stream load json:         20 seconds loaded 2358488459 Bytes, about 112 MB/s
Stream load orc:          58 seconds loaded 1101869774 Bytes, about 18 MB/s
Stream load parquet:      31 seconds loaded 861443392 Bytes, about 26 MB/s
Insert into select:       21.9 seconds inserted 10000000 Rows, about 456K ops/s