-
Notifications
You must be signed in to change notification settings - Fork 0
/
Copy pathjic
45 lines (41 loc) · 4.11 KB
/
jic
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
集成方式 优点 适用场景 备注
FDI
1.多源互转,支持传统数据源(数据库)与非传统数据源(非数据库型)互转;
2.配置简单,操作简单
3. 支持多种数据源、多种环境;支持全量、增量数据同步;支持实时、定时数据同步;支持API、消息方式按照时间、数据数量等任务触发规则来调度任务。并监控任务运行状况,并对异常进行告警;支持调度编排服务、支持运营服务、支持丰富的读写插件、支持快速迁移
1.大批量数据集成,适用于跨数据源的数据集成、跨云的数据集成、跨网络的数据集成
分定时、实时(立即)、事件(暴露api,以api形式触发任务)、协议(协议数据转换成api)四种方式
1.定时:任务适用于实时性不高的场景,一般夜间执行较多
2.实时:一次性任务,多为手动触发
3.事件:事件驱动,常用于触发场景,例如A系统在特定场景下,触发了事件,然后执行集成任务
API 1. 数据实时性高,系统或数据问题可立即得到反馈,不需要多余的通道进行反馈
2. 快速API注册、跨区域路由、分布式部署、支持自定义插件
3. 支持API治理和安全管控 1. 小量数据,对实时性要求较高2.多适用于数据查询场景
3、安全开放数据或业务
4、引入外部服务
MQS 1. 异步处理
2.削峰:流量销峰,大数据量场景比较适用
3.解耦:业务逻辑解耦
4.数据准实时,实时性取决于消费端处理速度
2. 提供消息平台订阅关系接口,便于业务集成、消息轨迹、消息重发、消息监控、消息统计 1. 业务上需要异步、削峰、解耦的场景,准实时场景
2. 适用于一个消息,多方消费模式(广播)
LiveFlow 通过图形化拖拽的方式进行规则编排,简单方便,对多种规则节点进行组合以实现复杂的业务处理逻辑 数据流的处理,可和MQS、API、规则引擎组合使用
LiveData 1、 数据库即RESTful服务,提供简洁的操作界面,用户只需要简单的编辑需要的SQL语句,即可完成服务的开发和发布
2、 Serverless服务开发,提供配置化服务封装平台,简单2步配置,即可完成服务开发、服务的编排
3、 提供在线验证功能,服务封装好后,直接验证逻辑,快速发现业务契合度的问题 快速开发数据服务、配置化完成服务开发、编排,超级粘合剂。可和MQS、API、规则引擎组合使用
3C 利用元数据与事件网格实时接入数据,高速并行计算,按需消费数据,利用内存网格计算,中间过程数据不落地,将数据形成资产 需要对数据进行实时大量计算、编排的场景,可和FDI、MQS、API、规则引擎组合使用
集成方式选择建议:(定性、定量)
1. FDI 适用于大数据量、跨网、异构、跨云的数据集成
2. MQS 适用于大数量,对实时性要求高的集成,常用于异步、削峰、解耦等场景,无返回结果
3. API 适用于小批量数据,对实时性要求高的集成,有返回结果。
4. LiveFlow适用于对于数据流/消息有处理和可视化编排,实现过滤转换、转发应用等
5. LiveData适用于快速数据服务开发;Serverless服务开发、编排
6. 3C适用于需要对大数量的实时计算、编排的场景
5. 集成规范说明
不可与已下线应用存留集成关系。
不可使用不同的集成方式多次集成相同数据。
不可将不属于自己模块的数据私自封装视图或服务对外提供数据集成。只能发布本模块作为初始源或可信源的数据和服务。
能使用API服务或消息进行数据集成的业务场景,优先采用API服务或消息集成,减少数据搬家。
无需使用的各类集成必须定期及时完成清理,不可只增不减。
集成接口应有明确的业务含义和边界,禁止将同质化的接口重复包装,多次提供。
集成接口发布应采用一次发布,多目标订阅分发的模式提供数据供应,保障多系统集成使用数据一致性,提升接口重用性。