Skip to content

Release-1.5.0
Compare
Choose a tag to compare
@paynie paynie released this 13 Apr 11:55
· 37 commits to branch-1.5.0 since this release
v1.5.0
c3ecfb0

Release-1.5.0

在Angel 1.5.0，我们针对高维度稀疏模型场景做了大量的优化。在系统层，我们重构了流量控制和异常处理，加强稳定性，提升PS的支撑能力；在算法层，我们重构了优化算法库和LR/FM等算法， 同时在Spark On Angel上实现了支持稀疏模型的基于OWLQN/FTRL的LR算法，计算效率明显提升。

Core

  1. 重构PS流量控制机制
  2. 重构数据RPC异常处理机制
  3. 重构模型分区算法，优化高维度稀疏模型的切分方式
  4. 优化在Worker只包含一个Task场景下内存使用效率
  5. distribute serving功能优化，支持分布式运行模式和批量的大模型预测
  6. 在PSF函数中添加对稀疏long类型向量的支持
  7. BugFix：修复客户端在高并发发送请求时可能卡住的问题
  8. BugFix：修复模型元数据文本副本数为1的问题

MLLib

  1. 重构LR算法，优化收敛速度慢，L1正则化下稀疏度不够的问题，优化偏置项处理
  2. 重构FM算法，在高维度模型场景下计算效率大幅度提升
  3. 重构优化算法库，添加Momentum/AdaGrad/AdaDelta/Adam等优化算法，目前新的优化算法库还是一个试用特性，后续会逐步取代老的优化算法库
  4. BugFix：修复稀疏型模型稀疏度计算错误的问题

Spark on Angel

  1. 新增SparseLR With FTRL，采用mini-batch Async FTRL的梯度更新方式
  2. 新增SparseLR With OWLQN
  3. 优化SparsePSVector merge和计算性能

文档

  1. 全面更新算法文档，优化公式显示，调整部分算法参数的名称和含义
Assets 2
Loading