跳到内容

照亮世界的知识

什么是机器学习?通俗易懂地解释计算机如何从数据中学习

机器学习为从垃圾邮件过滤器到电影推荐的许多技术提供支持。我们通过实例解释了关键概念、学习类型和局限性。

什么是机器学习?通俗易懂地解释计算机如何从数据中学习

在传统软件中,我们通过规则一步一步地告诉计算机该做什么。而在机器学习中,我们给计算机提供许多示例,让它自己摸索出规则。机器学习是当今人工智能应用最广泛的分支。

一个简单的例子:垃圾邮件过滤器

编写每一条决定邮件是否为垃圾邮件的规则实际上是不可能的。相反,系统会被展示数千封标记为“垃圾邮件”或“正常”的邮件。模型会学习这些示例中的模式,从而能够对它从未见过的新邮件进行分类。

三种主要的学习类型

  • 监督学习:模型在具有已知正确答案的示例上进行训练。预测房价、识别图像中的物体以及检测垃圾邮件都是例子。
  • 无监督学习:模型在未标记的数据中发现隐藏的群组和结构,例如按相似的购物行为对客户进行分组。
  • 强化学习:模型在奖励和惩罚的引导下,通过试错来学习最佳策略。玩游戏的AI和一些机器人应用使用这种方法。

深度学习与神经网络

深度学习是一种受大脑工作方式启发而来的机器学习方法,它使用多层“人工神经网络”。得益于大数据和强大的处理器,它推动了语音识别、图像处理、翻译和文本生成聊天助手领域的重大进展。

日常示例

  • 视频和音乐平台上的推荐
  • 手机上的面部解锁和相册中的自动分组
  • 银行对可疑交易的检测
  • 地图应用中的交通预测
  • 自动翻译和语音助手

局限性与风险

  • 数据质量:模型的好坏取决于其训练所使用的数据。不完整或错误的数据会导致错误的结果。
  • 偏见:训练数据中的社会偏见可能会反映在模型中,这就是为什么构建公平、透明的系统是一个重要的研究领域。
  • 可解释性:理解某些复杂模型如何得出决策可能很困难。
  • 隐私:在训练中使用个人数据的方式需要法律和伦理上的关注。

如何训练和测试模型?

在机器学习项目中,数据通常被分为三部分。这种拆分是找出模型是否真正学习了的基本方法:

  • 训练数据:模型从中学习模式的主数据集;最大份额的数据都在这里。
  • 验证数据:在训练期间用于选择模型的设置以及比较不同的尝试。
  • 测试数据:在最后使用一次,以衡量模型在从未见过的数据上的表现。

当数据有限时,“交叉验证”方法将数据分成若干部分,并依次将每一部分用于测试,因此结果不依赖于某一次幸运的划分。

过拟合:死记硬背的模型

机器学习中最常见的问题之一是“过拟合”。在这种情况下,模型不仅记住了训练数据中的一般规则,还记住了其随机细节和噪声。结果是,它在训练数据上看起来几乎完美,但在新数据上的性能却显著下降。这就像一个学生不理解学科内容就去背诵往年试题,然后在面对新问题时感到挣扎。收集更多样化的数据、不使模型比必要时更复杂、以及在验证数据上的性能开始下降时停止训练,是减少过拟合的常见方法。

常见问题解答

人工智能和机器学习是一回事吗?

不是。人工智能是一个广泛的领域,涵盖表现出智能的系统;机器学习是其中最常见的方法之一。

学习机器学习需要什么?

基础统计学、线性代数和一种编程语言(通常是Python)是一个好的开始。有许多免费的在线资源可供使用。

来源与延伸阅读

  1. Google – Machine Learning Crash Course (datasets and overfitting)
  2. Goodfellow, I., Bengio, Y. and Courville, A. (2016), Deep Learning, MIT Press
  3. scikit-learn documentation – Cross-validation: evaluating estimator performance
分享
关注 YulaHub第一时间获取当天最重要的新闻。
RSS

发表评论

您的电子邮箱地址不会被公开。必填项已用 * 标注