Skip to content

wormhole-0.6.1 release 更新

Compare
Choose a tag to compare
@Liuwenli11 Liuwenli11 released this 23 Apr 08:52
· 3706 commits to 0.6 since this release

wormhole-0.6.1 release更新, 欢迎下载试用~~

链接:https://pan.baidu.com/s/1qQQMfHyTEiq6QaMA-IKxaQ 密码:skc0

wormhole用户手册https://edp963.github.io/wormhole

Release Notes:
【Feature】
(1)增加flow error列表,可通过error列表提交backfill作业
(2)sparkx stream增加flow优先级设置功能,flow按照设置的优先级顺序执行
(3)增加flinkx高可用配置
(4)在stream页面融合yarn ui监控
(5)sparkx增加union kudu操作
(6)增加用户自定义sink
(7)job增加hdfs中数据版本选择功能
(8)sink oracle支持设置sequence字段

【Improvement】
(1)wormhole支持的flink版本升级到1.7.2
(2)优化flinkx中cep output配置方式
(3)调整kafka consumer offset记录方式为直接读取kafka中记录的consumer offset
(4)feedback directive处理方式由kafka改为zookeeper监听方式
(5)合并feedback error相关表
(6)优化feedback stats数据格式及存储表结构
(7)stream状态改为定时刷新,刷新间隔可配置
(8)增加flow修改历史表
(9)增加db sink分批读和分批写功能
(10)支持可配置化落ums_uid_字段,即可通过配置选择是否将ums_uid_字段写入目标库
(11)job读取hdfslog源数据改为并行执行

【Fix Bugs】
(1)修复flinkx中flink sql嵌套查询bug
(2)修复flinkx中cep输出类型为agg时,多个function作用于同一个field bug
(3)修复flink flow失败后,状态更新不成功bug
(4)修复flinkx内存使用计算bug
(5)修复mongodb未feedback error bug
(6)修复flow failed状态下漂移后状态转换bug
(7)修复由于keberos认证失败导致无法杀死stream bug
(8)修复由于rider服务消费kafka配置参数不合适导致的web服务占用内存过大问题

注意!!!
(1)升级至0.6.1版本需要将flink升级为1.7.2版本
(2)删除数据库中feedback_flow_stats表。该表此次升级中结构改动较大,需要删除重建;该表记录flow的监控信息,删除后不影响现有业务运行,并且会在wormhoel启动时重建
(3)数据库中feedback_stream_offset、feedback_stream_error、feedback_flow_error表已弃用,可自行删除