From 48a5ccf674c88a20a83d65fb30f57c8524d73abe Mon Sep 17 00:00:00 2001 From: wenliliu6 Date: Wed, 18 Mar 2020 20:14:37 +0800 Subject: [PATCH] update docs --- README.md | 2 +- docs/admin-guide.md | 2 ++ docs/deployment.md | 2 +- docs/index.md | 2 +- docs/user-guide.md | 20 ++++++++++++++++++++ 5 files changed, 25 insertions(+), 3 deletions(-) diff --git a/README.md b/README.md index b8950ef26..ef711394b 100644 --- a/README.md +++ b/README.md @@ -90,7 +90,7 @@ Please refer to [Wormhole用户手册](https://edp963.github.io/wormhole). ## Latest Release -Please download the latest RELEASE(链接：https://pan.baidu.com/s/1womXy7Ylr1oaO_u3VqeT4g 提取码：nthu). +Please download the latest RELEASE(链接:https://pan.baidu.com/s/1nDzcHYKIVCT6atq9wAuK9Q 密码:5cqn). ## Get Help diff --git a/docs/admin-guide.md b/docs/admin-guide.md index 3b368211a..cf141f66f 100644 --- a/docs/admin-guide.md +++ b/docs/admin-guide.md @@ -50,6 +50,8 @@ instance 相当于为数据系统的物理地址起别名，connUrl 填写规则 +备注：如果kafka为Kerberos认证的kafka，则将Connection Config设置为{"kerberos":true}，否则配置为{"kerberos":false}，如果没有配置，默认为application.conf中设置的Kerberos信息（0.6.3及之后版本支持）。 + ### Database database 配置数据库名，用户名，密码及连接配置等信息。 diff --git a/docs/deployment.md b/docs/deployment.md index 7e4e69268..d1236a828 100644 --- a/docs/deployment.md +++ b/docs/deployment.md @@ -32,7 +32,7 @@ mysql-connector-java-{your-db-version}.jar #### 下载安装包 -**下载 wormhole-0.6.3.tar.gz 包 (链接：https://pan.baidu.com/s/1womXy7Ylr1oaO_u3VqeT4g 提取码：nthu)，或者自编译** +**下载 wormhole-0.6.3.tar.gz 包 (链接:https://pan.baidu.com/s/1nDzcHYKIVCT6atq9wAuK9Q 密码:5cqn)，或者自编译 mvn clean install -Pwormhole** ``` 下载wormhole-0.6.3.tar.gz安装包 diff --git a/docs/index.md b/docs/index.md index 7e34c3bc3..2079394f8 100644 --- a/docs/index.md +++ b/docs/index.md @@ -87,7 +87,7 @@ Please refer to [Wormhole用户手册](https://edp963.github.io/wormhole). ## Latest Release -Please download the latest RELEASE(链接：https://pan.baidu.com/s/1womXy7Ylr1oaO_u3VqeT4g 提取码：nthu). +Please download the latest RELEASE(链接:https://pan.baidu.com/s/1nDzcHYKIVCT6atq9wAuK9Q 密码:5cqn). ## Get Help diff --git a/docs/user-guide.md b/docs/user-guide.md index 6f41a0e14..fbe91f6b3 100644 --- a/docs/user-guide.md +++ b/docs/user-guide.md @@ -35,6 +35,10 @@ Wormhole 系统中有三类用户角色 Admin，User，App。本章介绍 User +#### 消费kafka中无key数据 + +如果绑定的topic中数据没有key，则可设定是否启用默认的kafka key，在specail config中设置{"useDefaultKey":true}，会将注册到该stream的第一个flow的source namespace作为这个topic中数据的key，该stream中同source namespace的flow就可以消费这个topic。如果绑定的topic中数据有key，则按照数据的key进行处理（0.6.3及之后版本支持） + #### Topic 绑定 Stream 消费哪些 Topic 根据 Flow 的启停自动绑定和注销。 @@ -178,6 +182,14 @@ Sink时支持分批读和分批写，批次大小配置项为batch_size `{"batch_size":"10000"}` +#### sink kudu表名带特殊字符处理 + +impala建的kudu表中表名可能带"."等特殊字符，如果在namespace中将"."加入，就会影响wormhole对namespace分割处理，可以sink config中配置连接符解决（0.6.3及之后版本支持）。例如kudu的表名为impala::dbname.tablename，namespace中database可配置为impala::dbname，table可配置为tablename，sinkconfig中配置：{"table_connect_character":"."}即可 + +#### sink hbase设置版本字段进行幂等 + +Sink hbase可以设置列版本号字段，进行幂等：{"hbase.version.column":"ums_id_"}，如果不配置，则按照wormhole原来的方式进行幂等（0.6.3及之后版本支持） + #### 配置安全认证的sink kafka 在用户需要向启用了kerberos安全认证的kafka集群Sink数据时，需要在sink config里面做如下配置：{"kerberos":true}，默认情况下，是向未启用kerberos认证的kafka集群Sink数据（0.6.1及之后版本） @@ -314,6 +326,14 @@ select id as id1,name as name1,address,age from eurus_user where (id,name) in ($ select id as id1, name as name1, address, age from eurus_user where (id, name) in (kafka.edp_kafka.udftest.udftable.id, kafka.edp_kafka.udftest.udftable.name); ``` +（3）关系型数据库支持不关联流上字段进行join（0.6.3及之后版本支持），例如 + +``` +select id as id1, name as name1, address, age from eurus_user where id = 1; +``` + +这种方式要慎用，如果流上数据为n条，从数据库里查出来是m条，那么join之后数据的总量就会是n*m条，可能会造成内存溢出。 + 若 Source Namespace为 kafka.edp_kafka.udftest.udftable，Union Table为 mysql.ermysql.eurustest 数据库下的 eurus_user 表，eurus_user 表中须含有与源数据相同的 UMS 系统字段，SQL 语句规则同上。 **注意事项：**