
腾讯第三代高性能计算平台Ange1.0已经发布了,腾讯Ange是基于参数服务器(Parameter Server)理念开发的高性能分布式机器学习平台采用参数服务器架构,解决了上一代框架的扩展性问题,支持数据并行及模型并行的计算模式,能支持十亿级别维度的模型训练。
Angel 是一个基于参数服务器(Parameter Server)理念开发的高性能分布式机器学习平台,它基于腾讯内部的海量数据进行了反复的调优,并具有广泛的适用性和稳定性,模型维度越高,优势越明显。 Angel 由腾讯和北京大学联合开发,兼顾了工业界的高可用性和学术界的创新性。
Angel 的核心设计理念围绕模型。它将高维度的大模型合理切分到多个参数服务器节点,并通过高效的模型更新接口和运算函数,以及灵活的同步协议,轻松实现各种高效的机器学习算法。
Angel 基于 Java 和 Scala 开发,能在社区的 Yarn 上直接调度运行,并基于 PS Service ,支持 Spark on Angel ,未来将会支持图计算和深度学习框架集成。
1.功能
基于 Matrix/Vector 的模型自动切分和管理,兼顾稀疏和稠密两种格式
支持对 Model 进行 Push 和 Pull 操作,可以自定义复杂的 psFunc
提供多种同步控制机制(BSP/SSP/ASP)
2. 开发运行
语言支持:系统基于 Scala 和 Java 开发,用户也可以自由选择
部署方便:可以直接在 Yarn 社区版本中运行,也支持本地调试模式
数据切分: 自动切分读取训练数据,默认兼容了 Hadoop FS 接口
增量训练:训练过程中会自动 Checkpoint,而且支持加载模型后,增量训练
3.PS Service
只启动 PSServer 和 PSAngent,为其他分布式计算平台提供 PS 服务
基于 PS-Service,不需要修改 Spark 核心代码,直接开发 Spark-on-Angel 算法,该模式无缝支持 Breeze 数值运算库
4. 算法库
集成 Logistic Regression,SVM,KMeans,LDA,MF,GBDT 等机器学习算法
多种优化方法,包括 ADMM,OWLQN,LBFGS 和 GD
支持多种损失函数、评估指标,包含 L1、L2 正则项
5. 算法优化
LDA 采用了 F+LDA 算法用于加速采样的速度,同时利用流式参数获取的方法减少网络参数获取的延迟
GBDT 使用两阶段树分裂算法,将部分计算转移到 PS,减少网络传输,提升速度
                  妻中蜜3全cg存档
                  游戏工具 / 28KB
                  下载
                  1
              
                  SimplyCam DXF格式编辑器v2.4.0 绿色版
                  文件处理 / 2.0M
                  下载
                  2
              
                  csgo空格键连跳脚本绿色免费版
                  游戏工具 / 564KB
                  下载
                  3
              
                  LOL Dsx换肤小助手2016 最新过检测版
                  游戏工具 / 4KB
                  下载
                  4
              
                  免费的SQLite3数据管理工具(SQLiteSpy)v1.9.9绿色版
                  编程软件 / 1.9M
                  下载
                  5
              
                  魔兽7.2.5塞弗斯的秘密buff监控wa字符串
                  游戏工具 / 1KB
                  下载
                  6
              
                  我的世界矿物透视MOD1.6.4-1.8集合版本
                  游戏工具 / 889KB
                  下载
                  7
              
                  易控王文档加密软件v2017官方版绿色免费版
                  文件处理 / 46M
                  下载
                  8
              
                  DNF9周年第十套天空时装补丁
                  游戏工具 / 1.6M
                  下载
                  9
              
                  dnf一键任务助手v0428最新免费版
                  游戏工具 / 863KB
                  下载
                  10
              140.5M / 09-05
              立即下载
          76.4M / 03-25
              立即下载
          55M / 06-05
              立即下载
          237.9M / 04-13
              立即下载
          900.9M / 03-02
              立即下载
          96.2M / 07-06
              立即下载
          311.2M / 07-06
              立即下载
          335M / 07-06
              立即下载
          200M / 07-06
              立即下载
          413.8M / 07-06
              立即下载
          768.9M / 08-19
              立即下载
          484.7M / 09-27
              立即下载
          165.4M / 09-05
              立即下载
          131.8M / 04-13
              立即下载
          195.6M / 03-03
              立即下载
          45.6M / 09-08
              立即下载
          665.2M / 07-06
              立即下载
          2.84G / 07-06
              立即下载
          93M / 07-06
              立即下载
          338.3M / 07-06
              立即下载
          892.4M / 08-18
              立即下载        312M / 07-30
              立即下载        1.38G / 07-26
              立即下载        109.8M / 06-03
              立即下载        142M / 01-08
              立即下载        1.2M / 11-23
              立即下载        548.8M / 04-13
              立即下载        1.6M / 04-13
              立即下载        1.48G / 03-18
              立即下载        646.6M / 03-03
              立即下载        404M / 08-18
              立即下载        110.5M / 09-05
              立即下载        33.4M / 09-05
              立即下载        60M / 04-29
              立即下载        254M / 04-25
              立即下载        659M / 04-23
              立即下载        1M / 12-26
              立即下载        253.4M / 12-08
              立即下载        253M / 12-08
              立即下载        1.19G / 11-16
              立即下载        115.9M / 08-19
              立即下载        488.3M / 06-04
              立即下载        369M / 09-22
              立即下载        181.5M / 09-22
              立即下载        201.2M / 09-05
              立即下载        248.9M / 12-08
              立即下载        248.9M / 12-08
              立即下载        100.6M / 03-06
              立即下载        148.9M / 03-06
              立即下载        1.12G / 07-06
              立即下载        126.7M / 02-04
              立即下载        1.76G / 09-22
              立即下载        1.92G / 04-17
              立即下载        201.5M / 04-13
              立即下载        7.31G / 07-01
              立即下载        94.3M / 07-06
              立即下载        2.48G / 07-06
              立即下载        7.63G / 07-06
              立即下载        1M / 07-06
              立即下载        778.1M / 07-06
              立即下载        1.30G / 08-19
              立即下载        72M / 07-06
              立即下载        548.7M / 07-06
              立即下载        1.00G / 07-06
              立即下载        9.13G / 07-06
              立即下载        126.2M / 07-06
              立即下载        72M / 07-06
              立即下载        105.1M / 07-06
              立即下载        132M / 07-06
              立即下载        132M / 07-06
              立即下载