跳转至主要内容

什么是深度学习?

Topics

分享该页面

深度学习是机器学习的一个分支。由人工智能软硬件驱动的机器通过多层神经网络,从海量数据中自主学习复杂的结构与特征。数据的数量与质量,直接决定机器能够学习的知识广度与深度。

人类从经验中学习知识,经验越丰富,学到的知识越多。在人工智能 (AI)学科中,配备相应软硬件的机器同样如此。机器学习的经验范畴,完全由其采集到的数据界定。

传统机器学习算法往往学习能力有限,即便数据量攀升也难以持续扩增知识总量。深度学习系统则不同,它能借由更多数据不断提升性能。当积累了足够经验后,机器便能应对自动驾驶、识别农田杂草、辅助疾病诊断、检测机器故障等特定任务。

深度学习的工作原理是什么?

深度学习网络通过发现数据中错综复杂的结构进行学习。它构建包含多个处理层的计算模型,逐层建立抽象表示,从而理解数据。

卷积神经网络(Convolutional Neural Network, CNN)是一种典型的深度学习模型。它可以使用数百万张图像进行训练,例如猫的图像。这种网络通常从图像的像素信息中汲取知识,将代表爪子、耳朵、眼睛等特征的像素群组分组,从而识别出图像中的猫。

深度学习与传统机器学习存在根本差异。传统方法需要领域专家花费大量时间手动构建特征识别系统;深度学习则只需提供大量图像,系统即可自主提炼特征。

深度学习在多项任务上的表现远超传统机器学习系统,包括计算机视觉、语音识别、自然语言处理 (NLP)、机器翻译和机器人。不过,构建深度学习系统并不简单,尽管特征识别是自主的,仍需调校上千个超参数才能确保模型高效运行。

深度学习与机器学习有什么区别?

深度学习是机器学习的一个子集,两者的核心差异在于特征提取方式与对数据的依赖程度。下表列出关键区别。

对比维度传统机器学习深度学习
特征提取依赖专家手动进行特征工程由多层神经网络自主学习特征
数据需求数据量增加后性能提升有限数据越多,性能通常越好
模型结构算法相对浅层多层神经网络,抽象层级更深
典型任务结构化数据预测、分类图像识别、语音、自然语言处理 (NLP)
计算需求相对较低通常需要 GPU 等高并行算力

理解两者的区别,有助于团队根据数据规模和任务类型选择合适的方法。

深度学习有哪些类型?

深度学习包含多种针对不同输入和任务优化的神经网络架构。以下是几种常见类型。

  • 卷积神经网络(CNN):擅长图像分类和计算机视觉任务,通过局部特征提取识别图像内容。
  • 循环神经网络(Recurrent Neural Network, RNN):擅长处理文本、时间序列等序列数据。
  • 深度强化学习(Deep Reinforcement Learning, DRL):智能体在模拟环境中通过试错学习,根据奖励或惩罚调整行为。
  • Transformer 与大语言模型(Large Language Model, LLM):处理长序列与语言任务的架构,广泛应用于当前的自然语言处理领域。

CNN 和 RNN 均采用监督学习,需要大量标注数据进行训练。

深度学习为什么重要?

深度学习能够助力人类实现新的科学突破。它已在探索系外行星、开发新型药物、诊断疾病以及检测亚原子粒子等领域发挥关键作用,并正在重塑我们对基因组学、蛋白质组学、代谢组学、免疫组学等生物学领域的认知。

我们也面临严峻挑战。气候变化威胁粮食生产,资源稀缺可能引发冲突。据联合国相关预测,全球人口预计将在 2050 年增至约 90 亿,进一步加剧环境压力。这些大规模全球性挑战,亟需深度学习带来的新层级智能来寻求解决方案。

回溯至约 5.4 亿年前的寒武纪生命大爆发,视觉能力的进化赋予动物竞争优势,成为推动生物进化的关键力量。生物神经网络处理视觉信息的能力不断提升,为动物提供了对环境的认知地图。

如今,作为人工眼的摄像头与处理视觉信息的神经网络相结合,触发了一场数据驱动的 AI 应用大爆发。正如视觉在地球生命进化中的作用,深度学习和神经网络也将增强机器人的能力,使其更好地理解环境、做出自主决策并与人类协作。

深度学习的应用用例有哪些?

深度学习已在多个行业落地,从机器人到农业再到医疗保健。以下用例展示了它如何解决实际问题。

深度学习在机器人领域的应用

机器人领域的诸多突破得益于人工智能和深度学习的进步。深度学习使机器人能够感知并响应周围环境,其功能从沿预设路径穿梭仓库,跃升为灵巧分拣和搬运大小不一、易碎或混杂的物体。

即便是拾起一颗草莓这样对人类微不足道的任务,也曾是机器人的难关,而深度学习正不断突破这一边界。未来的机器人将不仅能理解和回答问题,还能响应语音命令和手势,甚至预判工作人员的下一个动作。如今,协作式机器人已与人类肩并肩工作,各自执行最能发挥优势的任务。

深度学习在农业领域的应用

深度学习正在改变农业生产方式。它使农民能够部署智能设备,识别并区分作物与杂草,让除草机避开农作物、仅对杂草区域精准喷洒除草剂。

由深度学习支持的计算机视觉技术,还能通过精准喷洒除草剂、肥料、杀菌剂、杀虫剂和生物制剂,优化每一株植物的生长。除减少除草剂用量、提高产量外,深度学习还可扩展到施肥、灌溉和收割等农业活动。

深度学习在医学成像与医疗保健领域的应用

深度学习在医学成像领域成效显著,得益于高质量数据的可用性和卷积神经网络的图像分类能力。例如,在皮肤癌分类方面,深度学习的表现可媲美甚至超越皮肤科医生。

目前已有几家供应商获得 FDA 批准,将深度学习算法应用于肿瘤学和视网膜疾病等诊断图像分析。此外,深度学习通过从电子病历数据中预测医疗事件,也在提升医疗保健质量方面取得重要进展。

深度学习的发展方向

深度学习正沿多个方向持续演进。当前的 CNN 和 RNN 主要采用监督学习,需要大量标注数据;而无监督和半监督学习技术正吸引大量研发投入,成为活跃的研究方向。

深度强化学习(DRL)已取得显著进展,例如 DRL 程序曾在围棋对弈中击败人类选手。神经网络架构的自主设计,即元学习(metalearning)或 AutoML,也在稳步推进,以降低超参数调校和损失函数选择的复杂度。

当前人工神经网络的根基可追溯至 20 世纪 50 年代对人脑信息处理机制的理解。随着神经科学进步,深度学习模型日益精妙,甚至呈现出类似生物大脑中用于导航的网格细胞结构,两个领域有望相互借鉴、逐步融合。

量子计算近年也取得多项突破,其算力有望为学习算法带来助益。量子机器学习已成为机器学习中一个非常活跃的研究分支。

深度学习的优势与局限性

深度学习兼具显著优势与实际局限,了解两者有助于合理评估其适用场景。

深度学习的主要优势包括:

  • 自主特征学习:无需专家手动进行特征工程。
  • 性能随数据增长:数据越多,模型性能通常越好。
  • 复杂任务表现优异:在图像识别、语音和自然语言处理等任务上超越传统方法。

深度学习的主要局限包括:

  • 数据依赖强:监督学习需要大量标注数据。
  • 调优复杂:需调校上千个超参数和多个损失函数。
  • 算力成本高:训练通常依赖 GPU 等高并行硬件,数据供给压力大。

要控制这些成本与复杂度,稳定高效的数据基础架构至关重要。NetApp ONTAP 可在云端和本地环境之间统一管理数据,为训练和推理提供高性能访问。

深度学习的前提条件与所需资源

深度学习项目的成败,往往取决于数据、算力和团队三方面的准备是否到位。

开展深度学习通常需要具备以下条件:

  • 数据:大量且高质量的标注或原始数据,以及可扩展、安全的数据访问能力。
  • 算力:GPU 等高并行计算硬件,用于训练和推理。
  • 团队:具备数据工程、模型开发和运维能力的人员。
  • 框架:TensorFlow、PyTorch 等深度学习软件库。

数据准备通常是最大的瓶颈。NetApp StorageGRID 等对象存储可为大规模训练数据集提供可扩展的容量与统一访问,帮助团队更快让数据就绪。

深度学习框架、工具与硬件有哪些?

深度学习依赖一系列软件框架和硬件来构建、训练和运行神经网络。了解这些工具有助于规划项目。

常见的深度学习框架和工具包括:

  • TensorFlow:用于构建和部署神经网络的开源框架。
  • PyTorch:广泛用于研究和生产的深度学习框架。
  • 自动微分与预置网络层:帮助开发者高效实现模型。

常见的深度学习硬件包括:

  • 图形处理器(GPU):并行处理大量矩阵运算,是深度学习训练的主流硬件。
  • 高吞吐存储:为 GPU 持续供给训练数据,避免算力闲置。

硬件算力只有在数据能够及时供给时才能充分发挥。NetApp ONTAP 提供的高性能数据访问,可减少 GPU 因等待数据而产生的空闲。

深度学习常见问题解答

深度学习和机器学习有什么区别?

深度学习是机器学习的一个分支。传统机器学习通常需要专家手动进行特征工程,而深度学习通过多层神经网络从原始数据中自主学习特征。数据越多,深度学习系统的性能通常越好。

深度学习框架是什么?

深度学习框架是用于构建、训练和部署神经网络的软件库。常见框架包括 TensorFlow 和 PyTorch,它们提供自动微分、GPU 加速和预置网络层等功能,帮助开发者高效实现深度学习模型。

深度学习用什么显卡?

深度学习训练依赖高并行计算能力,通常使用图形处理器(GPU)而非普通显卡。GPU 能够并行处理神经网络中的大量矩阵运算,显著缩短训练时间。

深度学习需要多少数据?

深度学习系统通常需要大量数据才能表现良好。例如,卷积神经网络可能使用数百万张图像进行训练。数据的数量与质量直接决定模型能够学习的知识广度与深度。

卷积神经网络和循环神经网络有什么区别?

卷积神经网络(CNN)擅长图像分类任务,通过局部特征提取识别图像内容。循环神经网络(RNN)擅长处理序列数据,如文本或时间序列。两者均采用监督学习,需要大量标注数据训练。

深度学习需要什么样的数据基础架构?

深度学习工作负载需要高吞吐、可扩展且安全的数据访问能力,以便持续供给训练和推理。NetApp ONTAP 等平台可在云端和本地环境之间提供统一的数据管理与高性能访问。

NetApp AI 解决方案

深度学习的成效离不开就绪的数据。NetApp AI 解决方案消除 AI 基础架构障碍,实现更高效的数据收集、加速的 AI 工作负载和更流畅的云集成。

NetApp ONTAP 在云端和本地环境之间统一管理数据,为训练和推理提供高性能、安全的数据访问,帮助团队更快将深度学习项目从试验推向生产。

什么是深度学习以及深度学习的工作原理 | NetApp