update docs

edp963 · Mar 18, 2020 · 48a5ccf · 48a5ccf
1 parent 625b1a0
commit 48a5ccf
Show file tree

Hide file tree

Showing 5 changed files with 25 additions and 3 deletions.
diff --git a/README.md b/README.md
@@ -90,7 +90,7 @@ Please refer to [Wormhole用户手册](https://edp963.github.io/wormhole).
 
 ## Latest Release
 
-Please download the latest RELEASE(链接：https://pan.baidu.com/s/1womXy7Ylr1oaO_u3VqeT4g  提取码：nthu).
+Please download the latest RELEASE(链接:https://pan.baidu.com/s/1nDzcHYKIVCT6atq9wAuK9Q  密码:5cqn).
 
 ## Get Help
 

diff --git a/docs/admin-guide.md b/docs/admin-guide.md
@@ -50,6 +50,8 @@ instance 相当于为数据系统的物理地址起别名，connUrl 填写规则
 
 <img src="https://github.com/edp963/wormhole/raw/master/docs/img/admin-instance.png" alt="" width="600"/>
 
+备注：如果kafka为Kerberos认证的kafka，则将Connection Config设置为{"kerberos":true}，否则配置为{"kerberos":false}，如果没有配置，默认为application.conf中设置的Kerberos信息（0.6.3及之后版本支持）。
+
 ### Database
 
 database 配置数据库名，用户名，密码及连接配置等信息。

diff --git a/docs/deployment.md b/docs/deployment.md
@@ -32,7 +32,7 @@ mysql-connector-java-{your-db-version}.jar
 
 #### 下载安装包
 
-**下载 wormhole-0.6.3.tar.gz 包 (链接：https://pan.baidu.com/s/1womXy7Ylr1oaO_u3VqeT4g  提取码：nthu)，或者自编译**
+**下载 wormhole-0.6.3.tar.gz 包 (链接:https://pan.baidu.com/s/1nDzcHYKIVCT6atq9wAuK9Q  密码:5cqn)，或者自编译 mvn clean install -Pwormhole**
 
 ```
 下载wormhole-0.6.3.tar.gz安装包

diff --git a/docs/index.md b/docs/index.md
@@ -87,7 +87,7 @@ Please refer to [Wormhole用户手册](https://edp963.github.io/wormhole).
 
 ## Latest Release
 
-Please download the latest RELEASE(链接：https://pan.baidu.com/s/1womXy7Ylr1oaO_u3VqeT4g  提取码：nthu).
+Please download the latest RELEASE(链接:https://pan.baidu.com/s/1nDzcHYKIVCT6atq9wAuK9Q  密码:5cqn).
 
 ## Get Help
 

diff --git a/docs/user-guide.md b/docs/user-guide.md
@@ -35,6 +35,10 @@ Wormhole 系统中有三类用户角色 Admin，User，App。本章介绍 User
 
 <img src="https://github.com/edp963/wormhole/raw/master/docs/img/user-stream-configs.png" alt="" width="600"/>
 
+#### 消费kafka中无key数据
+
+如果绑定的topic中数据没有key，则可设定是否启用默认的kafka key，在specail config中设置{"useDefaultKey":true}，会将注册到该stream的第一个flow的source namespace作为这个topic中数据的key，该stream中同source namespace的flow就可以消费这个topic。如果绑定的topic中数据有key，则按照数据的key进行处理（0.6.3及之后版本支持）
+
 #### Topic 绑定
 
 Stream 消费哪些 Topic 根据 Flow 的启停自动绑定和注销。
@@ -178,6 +182,14 @@ Sink时支持分批读和分批写，批次大小配置项为batch_size
 
 `{"batch_size":"10000"}`
 
+#### sink kudu表名带特殊字符处理
+
+impala建的kudu表中表名可能带"."等特殊字符，如果在namespace中将"."加入，就会影响wormhole对namespace分割处理，可以sink config中配置连接符解决（0.6.3及之后版本支持）。例如kudu的表名为impala::dbname.tablename，namespace中database可配置为impala::dbname，table可配置为tablename，sinkconfig中配置：{"table_connect_character":"."}即可
+
+#### sink hbase设置版本字段进行幂等
+
+Sink hbase可以设置列版本号字段，进行幂等：{"hbase.version.column":"ums_id_"}，如果不配置，则按照wormhole原来的方式进行幂等（0.6.3及之后版本支持）
+
 #### 配置安全认证的sink kafka
 
 在用户需要向启用了kerberos安全认证的kafka集群Sink数据时，需要在sink config里面做如下配置：{"kerberos":true}，默认情况下，是向未启用kerberos认证的kafka集群Sink数据（0.6.1及之后版本）
@@ -314,6 +326,14 @@ select id as id1,name as name1,address,age from eurus_user where (id,name) in ($
 select id as id1, name as name1, address, age from eurus_user where (id, name) in (kafka.edp_kafka.udftest.udftable.id, kafka.edp_kafka.udftest.udftable.name);
 ```
 
+（3）关系型数据库支持不关联流上字段进行join（0.6.3及之后版本支持），例如
+
+```
+select id as id1, name as name1, address, age from eurus_user where id = 1;
+```
+
+这种方式要慎用，如果流上数据为n条，从数据库里查出来是m条，那么join之后数据的总量就会是n*m条，可能会造成内存溢出。
+
 若 Source Namespace为 kafka.edp_kafka.udftest.udftable，Union Table为 mysql.ermysql.eurustest 数据库下的 eurus_user 表，eurus_user 表中须含有与源数据相同的 UMS 系统字段，SQL 语句规则同上。
 
 **注意事项：**