机器学习算法加速库

鲲鹏基于算法原理和芯片特征，针对Spark开源版本机器学习MLlib算法库进行深入优化，实现相比Spark开源版本对应算法库性能提升50%。

机器学习算法加速库提供以下算法优化，后续版本会持续更新增加算法。

分类回归（Random Forest、GBDT、SVM、Logistic Regression、Linear Regression、Decision Tree、XGBoost、KNN）、聚类（K-means、DBSCAN、LDA）、特征工程（PCA、SPCA、SVD、Pearson、Covariance、Spearman、IDF、DTB、Word2Vec）、模式挖掘（ALS、PrefixSpan、SimRank）。

算法的常用应用场景如表1所示。

表1 算法常见应用场景
算法名称	应用行业
-	运营商	金融	交通
Random Forest	高价值客户细分终端生命周期分析用户换机行为分析	保险欺诈识别线上交易欺诈侦测信贷风险评估债务风险评级和预警	飙车分析模型黄牛党分析信号配时优化
GBDT	异网高价值客户识别全网通、双卡终端分析终端违规销售	客户信用评估信贷风险评估债务风险评级和预警贷后风险评级客户金融画像保险客户风险分析保险客户流失分析保险企业营销策略模型	交通事件检测车辆检查
SVM	价值客户识别拉新升档客户识别提升	国际碳金融市场价格预测企业破产预测汽车保险定价	套牌/假牌车辆识别路网交通流量预测交通流量预测飙车分析模型
Logistic Regression	欺诈预警风险评估智能能耗预测	互联网金融P2P业务信用风险分析贷后风险分析企业大额外汇资金交易识别客户信用评估上市公司信用评级金融市场极端风险预警	路网交通流量预测行车安全指数模型道路通行能力评估套牌/假牌车辆识别交通流量预测飙车分析模型
Linear Regression	国际长途、漫游业务分析信用评级	上市公司财务报告舞弊识别商业银行财务风险预警客户信用风险因素评估中小企业信用风险评估供应链金融风险评估	道路通行能力评估套牌/假牌车辆识别路网交通流量预测交通态势分析
Decision Tree	带宽离网预警用户预警带宽到期客户预警	互联网金融精准营销客户分类商业银行电话营销分类模型量化投资策略模型信用卡审批模型贷后风险评级	飙车分析模型黄牛党分析交通事件检测
XGBoost	携号客户细分携出客户预测智能运维-故障检测与预测智能能耗管理-基站/服务器能耗预测	债务风险评级和预警线上交易欺诈侦测用户消费行为预测和风险分析基金收益率方向预测基金重仓股预测保险客户风险分析保险客户流失分析保险企业营销策略模型	交通拥堵分析信号配时优化出行方式推荐车辆检查设防人物画像/全息档案（研判职住地、年龄层次、性别、消费水平、职业等）目标动向预测
KNN	终端APP洞察校园营销客户常驻小区识别	信用卡欺诈风险监测金融数据异常监测医保审核	交通异常行为分析同行分析
K-means	沉默用户激活定向资费设计用户套餐适配	金融IC卡城市推广规划事实汇率制度分类保险客户信用分析消费者互联网保险购买意愿	车辆出现OD分析卡口数据治理高风险区域识别
DBSCAN	客户家庭群组识别校园客户识别拉新异网客户识别反挖客户群体分布	商业银行客户价值细分银行贷款风险管理保险欺诈监测中小银行同业业务风险识别保险业CRM客户细分模型	轨道交通站点热力分析轨交客群热力分析常走（通勤）线路分析落脚点分析
LDA	不良信息治理内容推荐	面向金融知识服务的股票聚类金融科技媒体情绪与网贷市场关系分析金融决策支持知识获取公司年报文本知识发现金融时间信息抽取医疗保险欺诈监测	交通热点区域识别交通执法案件数字化
PCA	用户关键特征提取用户标识用户征信特征推荐模型数据工程风险评估模型数据工程	机动车辆保险欺诈识别-数据工程供应链金融信用风险评估模型-数据工程借贷企业逾期还款预警	交通标志图像识别道路安全性预测交通事故成因分析和关联分析城市交通路口相关性分析
SVD	异常订单流量检测网络毒害攻击检测与定位网络云传输数据压缩供应商选择供应商评价方法	战略新兴产业金融支持效率分析-数据工程商业银行客户价值细分模型-数据工程量化投资选股因子降维股票投资组合推荐	交通数据预处理车辆出行行为特征提取交通流量数据压缩周期流量特征提取
Pearson	移动站定位同行分析异常订单流量检测迁徙客户识别拉新用户匹配策略	市场风险管理资产风险价值模型分析保险赔付分析	路段通行时间预测车辆多传感器信息融合智能派单交通异常动向检测
Covariance	用户忠诚度分析用户偏好分析用户流失分析有价卡违规销售渠道养卡	股票相关性分析投资组合分析资产配置分析资产风险价值模型分析	道路路况预测拥堵传播性分析动向匹配分析智能派单交通异常动向检测
Spearman	用户匹配策略权益偏好用户用户流失分析以固带移用户	信用卡开卡推荐客户权益推荐欺诈团伙分析保险业客户画像	客流预测分析城市拥堵区域挖掘交通异常动向检测智能派单
DTB	高价值用户挖掘用户套餐推荐移动基站选址推荐	信用卡审批模型优质用户推荐广告精准推荐	信号灯智能优化危险驾驶人员识别拥堵路段预测
word2vec	内容推荐校园营销用户APP偏好分析	客户金融画像信贷风险评估金融数据异常监测资产风险价值模型分析	交通热点区域识别相似路线推荐
ALS	携入客户产品适配校园/返乡营销一级电渠精确营销旅游服务升档客户识别提升业务推荐内容推荐	智能APP推荐分红寿险定价人寿保险需求结构性差异分析投资人情绪测度美式期权定价模拟	危险驾驶人员发现相似路线推荐
PrefixSpan	智能运维-故障检测与预测智能能耗管理-基站/服务器能耗预测	债务风险评级和预警线上交易欺诈侦测用户消费行为预测和风险分析基金收益率方向预测基金重仓股预测	交通拥堵分析信号配时优化出行方式推荐车辆检查设防

大数据算法加速库提供与Spark开源版本MLlib和GraphX相同的接口，保证客户的应用程序无需任何修改即可使用算法库。算法库输出件包括BoostKit-ML-Kernel和BoostKit-Graph-Kernel核心算法实现二进制包，以及机器学习对接Spark开源版本接口的ML-API-Patch代码。

图1 算法库组成

大数据算法加速库具体部署操作参见《机器学习算法加速库特性指南》。

基于网络公开的数据集，鲲鹏920 5250处理器运行机器学习算法加速库，相比友商运行Spark开源版本算法，计算性能提升50%以上。

图2 算法库性能对比

父主题： 方案特性

算法名称	应用行业
-	运营商	金融	交通
Random Forest	高价值客户细分终端生命周期分析用户换机行为分析	保险欺诈识别线上交易欺诈侦测信贷风险评估债务风险评级和预警	飙车分析模型黄牛党分析信号配时优化
GBDT	异网高价值客户识别全网通、双卡终端分析终端违规销售	客户信用评估信贷风险评估债务风险评级和预警贷后风险评级客户金融画像保险客户风险分析保险客户流失分析保险企业营销策略模型	交通事件检测车辆检查
SVM	价值客户识别拉新升档客户识别提升	国际碳金融市场价格预测企业破产预测汽车保险定价	套牌/假牌车辆识别路网交通流量预测交通流量预测飙车分析模型
Logistic Regression	欺诈预警风险评估智能能耗预测	互联网金融P2P业务信用风险分析贷后风险分析企业大额外汇资金交易识别客户信用评估上市公司信用评级金融市场极端风险预警	路网交通流量预测行车安全指数模型道路通行能力评估套牌/假牌车辆识别交通流量预测飙车分析模型
Linear Regression	国际长途、漫游业务分析信用评级	上市公司财务报告舞弊识别商业银行财务风险预警客户信用风险因素评估中小企业信用风险评估供应链金融风险评估	道路通行能力评估套牌/假牌车辆识别路网交通流量预测交通态势分析
Decision Tree	带宽离网预警用户预警带宽到期客户预警	互联网金融精准营销客户分类商业银行电话营销分类模型量化投资策略模型信用卡审批模型贷后风险评级	飙车分析模型黄牛党分析交通事件检测
XGBoost	携号客户细分携出客户预测智能运维-故障检测与预测智能能耗管理-基站/服务器能耗预测	债务风险评级和预警线上交易欺诈侦测用户消费行为预测和风险分析基金收益率方向预测基金重仓股预测保险客户风险分析保险客户流失分析保险企业营销策略模型	交通拥堵分析信号配时优化出行方式推荐车辆检查设防人物画像/全息档案（研判职住地、年龄层次、性别、消费水平、职业等）目标动向预测
KNN	终端APP洞察校园营销客户常驻小区识别	信用卡欺诈风险监测金融数据异常监测医保审核	交通异常行为分析同行分析
K-means	沉默用户激活定向资费设计用户套餐适配	金融IC卡城市推广规划事实汇率制度分类保险客户信用分析消费者互联网保险购买意愿	车辆出现OD分析卡口数据治理高风险区域识别
DBSCAN	客户家庭群组识别校园客户识别拉新异网客户识别反挖客户群体分布	商业银行客户价值细分银行贷款风险管理保险欺诈监测中小银行同业业务风险识别保险业CRM客户细分模型	轨道交通站点热力分析轨交客群热力分析常走（通勤）线路分析落脚点分析
LDA	不良信息治理内容推荐	面向金融知识服务的股票聚类金融科技媒体情绪与网贷市场关系分析金融决策支持知识获取公司年报文本知识发现金融时间信息抽取医疗保险欺诈监测	交通热点区域识别交通执法案件数字化
PCA	用户关键特征提取用户标识用户征信特征推荐模型数据工程风险评估模型数据工程	机动车辆保险欺诈识别-数据工程供应链金融信用风险评估模型-数据工程借贷企业逾期还款预警	交通标志图像识别道路安全性预测交通事故成因分析和关联分析城市交通路口相关性分析
SVD	异常订单流量检测网络毒害攻击检测与定位网络云传输数据压缩供应商选择供应商评价方法	战略新兴产业金融支持效率分析-数据工程商业银行客户价值细分模型-数据工程量化投资选股因子降维股票投资组合推荐	交通数据预处理车辆出行行为特征提取交通流量数据压缩周期流量特征提取
Pearson	移动站定位同行分析异常订单流量检测迁徙客户识别拉新用户匹配策略	市场风险管理资产风险价值模型分析保险赔付分析	路段通行时间预测车辆多传感器信息融合智能派单交通异常动向检测
Covariance	用户忠诚度分析用户偏好分析用户流失分析有价卡违规销售渠道养卡	股票相关性分析投资组合分析资产配置分析资产风险价值模型分析	道路路况预测拥堵传播性分析动向匹配分析智能派单交通异常动向检测
Spearman	用户匹配策略权益偏好用户用户流失分析以固带移用户	信用卡开卡推荐客户权益推荐欺诈团伙分析保险业客户画像	客流预测分析城市拥堵区域挖掘交通异常动向检测智能派单
DTB	高价值用户挖掘用户套餐推荐移动基站选址推荐	信用卡审批模型优质用户推荐广告精准推荐	信号灯智能优化危险驾驶人员识别拥堵路段预测
word2vec	内容推荐校园营销用户APP偏好分析	客户金融画像信贷风险评估金融数据异常监测资产风险价值模型分析	交通热点区域识别相似路线推荐
ALS	携入客户产品适配校园/返乡营销一级电渠精确营销旅游服务升档客户识别提升业务推荐内容推荐	智能APP推荐分红寿险定价人寿保险需求结构性差异分析投资人情绪测度美式期权定价模拟	危险驾驶人员发现相似路线推荐
PrefixSpan	智能运维-故障检测与预测智能能耗管理-基站/服务器能耗预测	债务风险评级和预警线上交易欺诈侦测用户消费行为预测和风险分析基金收益率方向预测基金重仓股预测	交通拥堵分析信号配时优化出行方式推荐车辆检查设防