久播影院,古泉园地,小罗伯特唐尼-月光电影,精选影评,最佳评分,您的电影好伙伴

频道:趣闻中心 日期: 浏览:295

机器学习是一门充溢冲突和权衡的学科,更重要的是在准确性和可解说性之间的平衡。原则上,比如深度神经网络之类的高度准确的机器学习模型往往难以解说,可是比如决策树之类的简略模型在许多杂乱场景中都很难完成。传统的机器学习常识通知咱们,准确性和可解说性是模型架构中相反的力气,但总是如此吗?咱们能否构建既高效又易于了解的模型?IBM的研讨人员最近宣布了一篇论文,该论文提出了一种核算办法,该办法运用更杂乱模型的常识来改进简略机器学习模型的功能。

在机器学习模型中找到功能和可解说性之间的正确平衡是一项艰巨的使命。在心理上,咱们更倾向于咱们能够解说的作业,而一起咱们更喜爱给定问题的最佳成果。许多实在国际的数据科学场景都能够运用简略和高度杂乱的机器学习模型来处理。在这些情况下,简略性和可解说性的优势往往超越功能的长处。

机器学习简略性的优势

可解说性和功能之间的平衡,能够描绘为研讨与实践国际运用之间的联系。现在,大多数人工智能(AI)研讨都会集在极端杂乱的学科上,例如强化学习或生成模型。可是,当触及实践运用时,对更简略的机器学习模型的信赖往往占上风。咱们一向看到核算生物学和经济学中的杂乱场景,运用简略的稀少线性模型或杂乱的仪器域,例如运用决策树处理的半导体制作。简略的机器学习模型有许多实践长处,在您遇到实在场景之前不容易被忽视。

  • 小数据集:公司一般为其事务问题搜集的有用数据量有限。因而,简略模型在这里是优选的目标,由于它们不太可能过度拟合数据而且还能供给有用的见地。
  • 资源受限环境:简略模型在有电源和内存约束的设置中也很有用。
  • 信赖:更简略的模型激发了对领域专家的信赖,这些领域专家一般担任模型的成果。

虽然机器学习模型具有简略性的明显长处,一起咱们也不能简略地疏忽尖端功能模型的优势。可是,假如咱们能够运用更杂乱的代替计划中的常识,来进步简略机器学习模型的功能呢?这是IBM研讨人员决议选用名为ProfWeight的新办法的途径。

ProfWeight

ProfWeight背面的理念十分具有创造性,因而对许多机器学习专家来说都是直观的。从概念上讲,ProfWeight将信息从具有高测验精度的预练习深度神经网络,传递到更简略的可解说模型或低杂乱度和先验低测验精度的十分浅的网络。在这种布景下,ProfWeight运用杂乱的深度学习模型作为高绩效教师,课程可用于教授简略且可解说,但一般体现欠安的学生模型。

为了完成教师和学生模型之间的常识搬运,ProfWeight依据网络的难度对样本中的权重进行分类引进。每个探针从其间一个躲藏层获取其输入,并经过一个彻底衔接的层处理它,其间softmax层的巨细与网络输出相连。特定层中的勘探器用作分类器,仅运用网络前缀到该层。看起来很杂乱性,但ProfWeight可概括为四个首要过程:

1)在高功能神经网络的中心表明上附加和练习探针。

2)在原始数据集上练习一个简略的模型。

3)依据简略模型和探针,学习数据会集示例的权重。

4)在终究加权数据集上从头练习简略模型。

整个ProfWeight模型可被视为勘探,取得置信度和从头练习的管道。为了核算权重,IBM团队运用了不同的技能,例如曲线下面积(AUC)或整流线性单位(ReLu)。

成果

IBM在不同场景下测验了ProfWeight,并将成果与​​传统模型进行了比照。其间一项试验侧重于丈量制作工厂出产的金属质量。输入数据集包含金属制作过程中的不同丈量值,例如酸浓度,电气读数,金属堆积量,蚀刻时刻,自前次清洁后的时刻,玻璃雾化和各种气体流量和压力。ProfWeight运用的简略模型是决策树算法。关于杂乱的教师模型,IBM运用了一个带有输入层的深度神经网络和五个巨细为1024的彻底衔接的躲藏层,这些躲藏层在这种特定情况下的准确率超越90%。运用ProfWeight的不同变体,

ProfWeight是我见过的最有构思的办法之一,它企图处理机器学习模型中解说性和功能之间的两难问题。ProfWeight的成果表明,运用杂乱代替计划的常识,能够进步简略机器学习模型的功能。这项作业可能是在机器学习中弥合不同思维门户的根底,如深度学习和核算模型。

热门
最新
推荐
标签