关于错误数据存储的建议

[wfs1206]

Discussed in #429

^{Originally posted by wfs1206 August 5, 2024}
提一个建议，就是目前我们的错误数据存储是每跑一次任务，就会生成一个错误数据的表，如果我的业务表非常多，且配置的检测字段又很多的情况下（我们公司的实际场景，有多个业务系统的上千张表需要检测，每个表可能会有一个或者多个字段及规则需要检测）可能每天都有几千甚至上万张错误数据表产生，一段时间下来数据库中的表就过多了，能不能采用另一种方式来存储错误数据，比如同一个检测规则可以按照月度的方式放到同一张表，打上每一次的任务的标签，或者可以将数据放到同一张表中，然后数据量大的话可以分表的方式来存储，这样一方面可以减少数据库表数量的问题，另外对于数据的综合统计也方便不少