wormhole-0.7.0 release 更新

wormhole-0.7.0 release更新, 欢迎下载试用~~

链接:https://pan.baidu.com/s/1cJqlTKdeudkqY-vD4F8cqQ 密码:mhq4

wormhole用户手册https://edp963.github.io/wormhole

Release Notes:
【Feature】
（1）sparkx支持消费topic下无key和非标准key数据
（2）sink支持rocketMQ
（3）sink支持http
（4）sink支持redis
【Improvement】
（1）sink es支持添加header配置
（2）sink kudu的table key支持DECIMAL类型
（3）lookup kudu sql支持常量条件查询
（4）flinkx cep输出模式支持timeout
（5）ums extension格式支持数据缺少字断解析
（6）优化删除mysql监控数据
【Fix Bugs】
（1）修复sink phoenix bug
（2）修复sink csv写schema文件bug
（3）修复sparkx show sample异常捕获bug
（4）修复发送feedback信息异常捕获bug
（5）修复es instance url创建正则匹配bug

wormhole-0.6.3 release 更新

wormhole-0.6.3 release更新, 欢迎下载试用~~

链接:https://pan.baidu.com/s/1nDzcHYKIVCT6atq9wAuK9Q 密码:5cqn

wormhole用户手册https://edp963.github.io/wormhole

Release Notes:
【Improvement】
（1）flinkx event time添加时间延迟配置
（2）flinkx优化checkpoint配置方式，可对每个flow配置是否启用checkpoint
（3）sink kafka异步模式修改为同步模式
（4）支持sink hbase设置版本字段进行幂等
（5）增加sink kudu表中表名带"."等特殊字符的支持
（6）sparkx lookup kudu sql常量条件支持
（7）支持lookup关系型数据库不关联流上数据
（8）sparkx优化custom class transform接口，并增加带参数的transform接口
（9）sparkx支持消费不带key的kafka消息
（10）oracle支持NVARCHAR2类型
（11）sparkx优化feedback error消息格式和内容
（12）适配kerberos认证和无kerberos认证的kafka数据源
（13）优化修改kill spark client pid方式
【Fix Bugs】
（1）修复sink kudu date类型为null bug
（2）修复落csv bug
（3）修复sink es datatime类型丢0 bug
（4）修复feedback mysql bug
（5）修复lookup BLOB类型bug
（6）修复非HA hadoop集群落hdfslog bug
（7）修复job sink config和snapshot bug

注意：升级至0.6.3版本，需执行以下操作
具体部署及使用步骤请参考用户手册https://edp963.github.io/wormhole/deployment.html
（1）如果有使用custom class，需要按照新接口修改使用的custom class
（2）数据库更新请参考用户手册

wormhole-0.6.2 release 更新

wormhole-0.6.2 release更新, 欢迎下载试用~~

链接：https://pan.baidu.com/s/1womXy7Ylr1oaO_u3VqeT4g 提取码：nthu

wormhole用户手册https://edp963.github.io/wormhole

Release Notes:
【Feature】
（1）Sparkx增加写hdfs csv支持
（2）Sink增加对clickhouse的支持

【Improvement】
（1）增加kafka不同版本兼容，已适配0.10.0/0.10.2/1.1.*
（2）增加spark不容版本兼容，已适配spark2.2/2.3/2.4
（3）增加zookeeper重试机制，避免由于zookeeper不稳定导致的信息丢失
（4）Ums_extension类型数据sink mutation_type为"iud"时，自动增加UMS系统字段
（5）Stream启动命令去掉SSH远程执行，部署时无须再配置rider服务启动用户远程免密登录配置
（6）优化stream启动shell命令执行失败错误日志收集
（7）Stream启动成功后自动杀死spark-submit/flink yarn session提交进程
（8）Flow状态改为定时刷新，刷新间隔可配置
（9）添加stream和job更新yarn状态时间容错
（10）优化Rider Consumer Feedback处理，调整feedback数据结构
（11）优化feedback_error表删除方式
（12）支持配置yarn web-proxy地址
（13）优化dbus namespace同步功能，由全量同步改为增量同步
（14）优化对接kerberos Kafka集群配置项

【Fix Bugs】
（1）修复sparkx stream lookup bug
（2）修复sparkx hdfslog写ums_extension类型数据bug
（3）修复sparkx hdfslog写hdfs文件分割bug
（4）修复sparkx stream运行中订阅topic丢失bug
（5）修复sparkx hdfslog feedback status字段类型与数据库字段类型不匹配bug
（6）修复sparkx stream中flow排序bug
（7）修复flinkx lookup kudu和mysql bug
（8）修复flinkx ums_extension数据sink kafka时null字段被忽略bug
（9）修复job sink mutation_type为"iud"时数据未merge bug
（10）修复job backfill sink topic rider与sparkx参数不匹配bug
（11）修复job脏数据兼容bug
（12）修复feedback error回灌丢失数据bug
（13）修复stream和job启动时根据日志刷新状态bug
（14）修复sink分表回滚和链接关闭bug
（15）修复kudu多column查询数据返回不全bug
（16）修复kudu lookup数据重复bug
（17）修复dbus namespace同步接口返回相同namespace数据插入namespace表冲突bug

wormhole-0.6.1 release 更新

wormhole-0.6.1 release更新, 欢迎下载试用~~

链接:https://pan.baidu.com/s/1qQQMfHyTEiq6QaMA-IKxaQ 密码:skc0

wormhole用户手册https://edp963.github.io/wormhole

Release Notes:
【Feature】
（1）增加flow error列表，可通过error列表提交backfill作业
（2）sparkx stream增加flow优先级设置功能，flow按照设置的优先级顺序执行
（3）增加flinkx高可用配置
（4）在stream页面融合yarn ui监控
（5）sparkx增加union kudu操作
（6）增加用户自定义sink
（7）job增加hdfs中数据版本选择功能
（8）sink oracle支持设置sequence字段

【Improvement】
（1）wormhole支持的flink版本升级到1.7.2
（2）优化flinkx中cep output配置方式
（3）调整kafka consumer offset记录方式为直接读取kafka中记录的consumer offset
（4）feedback directive处理方式由kafka改为zookeeper监听方式
（5）合并feedback error相关表
（6）优化feedback stats数据格式及存储表结构
（7）stream状态改为定时刷新，刷新间隔可配置
（8）增加flow修改历史表
（9）增加db sink分批读和分批写功能
（10）支持可配置化落ums_uid_字段，即可通过配置选择是否将ums_uid_字段写入目标库
（11）job读取hdfslog源数据改为并行执行

【Fix Bugs】
（1）修复flinkx中flink sql嵌套查询bug
（2）修复flinkx中cep输出类型为agg时，多个function作用于同一个field bug
（3）修复flink flow失败后，状态更新不成功bug
（4）修复flinkx内存使用计算bug
（5）修复mongodb未feedback error bug
（6）修复flow failed状态下漂移后状态转换bug
（7）修复由于keberos认证失败导致无法杀死stream bug
（8）修复由于rider服务消费kafka配置参数不合适导致的web服务占用内存过大问题

注意！！！
（1）升级至0.6.1版本需要将flink升级为1.7.2版本
（2）删除数据库中feedback_flow_stats表。该表此次升级中结构改动较大，需要删除重建；该表记录flow的监控信息，删除后不影响现有业务运行，并且会在wormhoel启动时重建
（3）数据库中feedback_stream_offset、feedback_stream_error、feedback_flow_error表已弃用，可自行删除

wormhole-0.6.0 release 更新

wormhole-0.6.0 release更新, 欢迎下载试用~~

链接：https://pan.baidu.com/s/1CYu39S-3TcWTJsRDXqFuHw 提取码：oo2o

wormhole用户手册https://edp963.github.io/wormhole

Release Notes:
【Feature】
（1）Wormhole增加对Greenplum的支持（包括sink和lookup）
（2）Flinkx中CEP Agg增加count类型输出
【Improvement】
（1）性能监控去掉对Grafana的依赖，ElasticSearch为可选项，可在配置文件中选择ElasticSearch或者Mysql进行性能监控
（2）Lookup SQL格式变更，ns.field更改为${field}（注：兼容之前版本的Lookup SQL）
（3）Flinkx中CEP优化系统字段处理，不强制增加系统字段，配置的CEP中有时才进行处理
（4）优化Sparkx udf计算两次的性能损失问题
（5）Flinkx增加编译时Flink SQL异常打印
【Fix Bugs】
（1）修复sink时关系型数据库回滚异常问题
（2）修复stream stopping状态下，再次点击stop按钮状态转换问题
（3）修复flow failed状态下漂移至其他stream，原stream未停掉flow问题
（4）修复stream启动和生效时多partition topic offset与partition个数不对应问题
（5）修复wormhole-ums-sparkx jar包jersey-client-1.9版本与spark 2.x下jersey-client-2.x版本冲突导致yarn executor页面有时无法正常显示问题

wormhole-0.6.0-beta release 更新

wormhole-0.6.0-beta release更新, 欢迎下载试用~~

链接：https://pan.baidu.com/s/1JYRJoaPy6E3u8VqGas0neg 提取码：yzgc

wormhole用户手册https://edp963.github.io/wormhole

Release Notes:
【Feature】
Wormhole支持Kerberos认证，支持全部启用kerberos认证的安全hadoop集群环境和不启用kerberos认证的hadoop集群环境，不支持部分组件启用，部分组件不启用的场景
Flinkx支持window操作（Flink SQL）
Flinkx支持聚合操作（Flink SQL）
Flinkx支持UDAF
Flinkx支持checkpoint
Flinkx支持feedback state，可选择存储位置，默认存储在ES上，可选择配置在MySQL上
Flinkx支持流上异常处理策略，包括lookup SQL，flink SQL，CEP，source parse，sink处理时的异常
【Fix Bugs】
修复hdfslog并发写文件问题
修复look up ElasticSearch问题
修复netty包冲突问题
修复类型转换时Integer与Long兼容问题
修复Look up 时SQL中字段类型匹配问题
修复rider namespace设置ums_extension类型JSON中嵌套字段对应ums_id_,ums_ts_,ums_op_系统字段时，数据解析错误问题
【Improvement】
Flow添加sink table keys设置（默认为namespace中设置的table keys）
Sparkx flow的zookeeper配置节点标识增加flowid
Rider删除feedback历史信息优化

注意！！！
（1）升级至0.6.0-beta版本需要停止所有sparkx的flow
在0.6.0-beta版本启动之前，需停止以前版本所有sparkx的flow（包括starting、running、suspending、updating状态的flow）, 并记录当前stream消费到的topic offset，重启stream时，手动设定从之前记录的offset消费
（2）升级至0.6.0-beta版本还需要对数据库表进行一些更新操作，具体部署及升级步骤请参考用户手册https://edp963.github.io/wormhole/deployment.html

wormhole-0.5.5-beta release 更新

wormhole-0.5.5-beta release更新, 欢迎下载试用~~

链接：https://pan.baidu.com/s/1cWb4xo43WyehnrBWLsmThA 提取码：rhq8

wormhole用户手册https://edp963.github.io/wormhole

具体步骤及使用步骤请参考用户手册

注意：0.5.2及以下版本升级到0.5.5版本，需要按照0.5.3版本中对数据库表的操作进行修改

Release Notes:
[Feature]
支持在同一hadoop集群环境中部署多套Wormhole。通过在配置文件conf/application.conf中增加wormholeServer.cluster_id参数（要求唯一）来支持多套Wormhole的部署。为兼容之前版本，可不设置该变量。详见https://edp963.github.io/wormhole/deployment.html
注意：之前版本不要随意增加该参数，否则无法读取对应的zookeeper和hdfs信息，无法正常运行已配置的stream和flow，即之前版本可以保持不变，新部署的Wormhole增加该参数即可。
[Fix Bugs]
Kudu connection异常时连接不释放问题
Flinkx feedback heartbeat&termination 条件判断问题
Kafka sink 时date和datetime数据值处理不正确问题
[Improvement]
优化启动脚本，Wormhole环境部署不再需要配置WORMHOLE_HOME环境变量

wormhole-0.5.4-beta release 更新

wormhole-0.5.4-beta release更新, 欢迎下载试用~~

链接：https://pan.baidu.com/s/1ikjC4aNxfHFkMmxtPIdwVA 密码：nst4

wormhole用户手册https://edp963.github.io/wormhole

具体步骤及使用步骤请参考用户手册

注意：0.5.2及以下版本升级到0.5.4版本，需要按照0.5.3版本中对数据库表的操作进行修改

新功能:

（1）flinkx支持udf，形式与sparkx一致
（2）flinkx kafka sink的ptorocol type调整，设置为data_increment_data
（3）修复建表sql，增加jvm config相关字段
（4）修复一些bug

wormhole-0.5.3-beta release 更新

wormhole-0.5.3-beta release更新, 欢迎下载试用~~

链接：https://pan.baidu.com/s/1-mpCBC5EgJ0ptAARJiq6Jg 密码：kk4s

wormhole用户手册https://edp963.github.io/wormhole

具体步骤及使用步骤请参考用户手册

新功能:
[新增功能]flinkx增加feedback termination和heardbeat
[解决bug]lookup hbase时，sql中字段类型大小写不匹配问题
[优化]页面配置spark stream的jvm参数调整，将driver和executorjvm配置分开

注意：升级至0.5.3-beta版本，须将执行以下SQL语句，修改数据库表。
#stream表更新
ALTER TABLE stream ADD COLUMN jvm_driver_config VARCHAR(1000) NULL;
ALTER TABLE stream ADD COLUMN jvm_executor_config VARCHAR(1000) NULL;
ALTER TABLE stream ADD COLUMN others_config VARCHAR(1000) NULL;
UPDATE stream SET jvm_driver_config=substring_index(stream_config,",",1);
UPDATE stream SET jvm_executor_config=substring_index(substring_index(stream_config,",",2),",",-1);
UPDATE stream SET others_config=substring(substring_index(stream_config,substring_index(stream_config,",",2),-1),2);

#job表更新
ALTER TABLE job MODIFY COLUMN spark_config VARCHAR(2000);
ALTER TABLE job MODIFY COLUMN source_config VARCHAR(4000);
ALTER TABLE job MODIFY COLUMN sink_config VARCHAR(4000);
ALTER TABLE job ADD COLUMN jvm_driver_config VARCHAR(1000) NULL;
ALTER TABLE job ADD COLUMN jvm_executor_config VARCHAR(1000) NULL;
ALTER TABLE job ADD COLUMN others_config VARCHAR(1000) NULL;
UPDATE job SET jvm_driver_config=substring_index(spark_config,",",1);
UPDATE job SET jvm_executor_config=substring_index(substring_index(spark_config,",",2),",",-1);
UPDATE job SET others_config=substring(substring_index(spark_config,substring_index(spark_config,",",2),-1),2);

#udf表更新
ALTER TABLE udf ADD COLUMN stream_type VARCHAR(100) NULL;
UPDATE udf SET stream_type='spark';

wormhole-0.5.2-beta release 更新

wormhole-0.5.2-beta release更新, 欢迎下载试用~~

链接：https://pan.baidu.com/s/1DNJPwDXaZrmEdoAXOeZ05A 密码：y0f4

wormhole用户手册https://edp963.github.io/wormhole

注意：升级至0.5.2-beta版本，须将Kafka版本由0.10.0.0升级至0.10.2.2，0.10.2.2以上版本须自行测试

具体步骤及使用步骤请参考用户手册

新功能:

（1）Flink支持lookup多种data system，包括Mysql/Oracle/Redis/HBase/Kudu等
（2）支持flow漂移功能（仅限spark stream）
（3）仅支持对接DBus0.5版本
（4）代码结构优化调整
（5）解决一些bug等

！！！wormhole-0.5.2-beta版本仅支持集成DBus0.5版本，不支持DBus老版本，升级的用户注意下！！！