深度学习是机器学习的一个分支。由人工智能软硬件驱动的机器通过多层神经网络,从海量数据中自主学习复杂的结构与特征。数据的数量与质量,直接决定机器能够学习的知识广度与深度。
人类从经验中学习知识,经验越丰富,学到的知识越多。在人工智能 (AI)学科中,配备相应软硬件的机器同样如此。机器学习的经验范畴,完全由其采集到的数据界定。
传统机器学习算法往往学习能力有限,即便数据量攀升也难以持续扩增知识总量。深度学习系统则不同,它能借由更多数据不断提升性能。当积累了足够经验后,机器便能应对自动驾驶、识别农田杂草、辅助疾病诊断、检测机器故障等特定任务。
深度学习网络通过发现数据中错综复杂的结构进行学习。它构建包含多个处理层的计算模型,逐层建立抽象表示,从而理解数据。
卷积神经网络(Convolutional Neural Network, CNN)是一种典型的深度学习模型。它可以使用数百万张图像进行训练,例如猫的图像。这种网络通常从图像的像素信息中汲取知识,将代表爪子、耳朵、眼睛等特征的像素群组分组,从而识别出图像中的猫。
深度学习与传统机器学习存在根本差异。传统方法需要领域专家花费大量时间手动构建特征识别系统;深度学习则只需提供大量图像,系统即可自主提炼特征。
深度学习在多项任务上的表现远超传统机器学习系统,包括计算机视觉、语音识别、自然语言处理 (NLP)、机器翻译和机器人。不过,构建深度学习系统并不简单,尽管特征识别是自主的,仍需调校上千个超参数才能确保模型高效运行。
深度学习是机器学习的一个子集,两者的核心差异在于特征提取方式与对数据的依赖程度。下表列出关键区别。
| 对比维度 | 传统机器学习 | 深度学习 |
|---|---|---|
| 特征提取 | 依赖专家手动进行特征工程 | 由多层神经网络自主学习特征 |
| 数据需求 | 数据量增加后性能提升有限 | 数据越多,性能通常越好 |
| 模型结构 | 算法相对浅层 | 多层神经网络,抽象层级更深 |
| 典型任务 | 结构化数据预测、分类 | 图像识别、语音、自然语言处理 (NLP) |
| 计算需求 | 相对较低 | 通常需要 GPU 等高并行算力 |
理解两者的区别,有助于团队根据数据规模和任务类型选择合适的方法。
深度学习包含多种针对不同输入和任务优化的神经网络架构。以下是几种常见类型。
CNN 和 RNN 均采用监督学习,需要大量标注数据进行训练。
深度学习能够助力人类实现新的科学突破。它已在探索系外行星、开发新型药物、诊断疾病以及检测亚原子粒子等领域发挥关键作用,并正在重塑我们对基因组学、蛋白质组学、代谢组学、免疫组学等生物学领域的认知。
我们也面临严峻挑战。气候变化威胁粮食生产,资源稀缺可能引发冲突。据联合国相关预测,全球人口预计将在 2050 年增至约 90 亿,进一步加剧环境压力。这些大规模全球性挑战,亟需深度学习带来的新层级智能来寻求解决方案。
回溯至约 5.4 亿年前的寒武纪生命大爆发,视觉能力的进化赋予动物竞争优势,成为推动生物进化的关键力量。生物神经网络处理视觉信息的能力不断提升,为动物提供了对环境的认知地图。
如今,作为人工眼的摄像头与处理视觉信息的神经网络相结合,触发了一场数据驱动的 AI 应用大爆发。正如视觉在地球生命进化中的作用,深度学习和神经网络也将增强机器人的能力,使其更好地理解环境、做出自主决策并与人类协作。
深度学习已在多个行业落地,从机器人到农业再到医疗保健。以下用例展示了它如何解决实际问题。
机器人领域的诸多突破得益于人工智能和深度学习的进步。深度学习使机器人能够感知并响应周围环境,其功能从沿预设路径穿梭仓库,跃升为灵巧分拣和搬运大小不一、易碎或混杂的物体。
即便是拾起一颗草莓这样对人类微不足道的任务,也曾是机器人的难关,而深度学习正不断突破这一边界。未来的机器人将不仅能理解和回答问题,还能响应语音命令和手势,甚至预判工作人员的下一个动作。如今,协作式机器人已与人类肩并肩工作,各自执行最能发挥优势的任务。
深度学习正在改变农业生产方式。它使农民能够部署智能设备,识别并区分作物与杂草,让除草机避开农作物、仅对杂草区域精准喷洒除草剂。
由深度学习支持的计算机视觉技术,还能通过精准喷洒除草剂、肥料、杀菌剂、杀虫剂和生物制剂,优化每一株植物的生长。除减少除草剂用量、提高产量外,深度学习还可扩展到施肥、灌溉和收割等农业活动。
深度学习在医学成像领域成效显著,得益于高质量数据的可用性和卷积神经网络的图像分类能力。例如,在皮肤癌分类方面,深度学习的表现可媲美甚至超越皮肤科医生。
目前已有几家供应商获得 FDA 批准,将深度学习算法应用于肿瘤学和视网膜疾病等诊断图像分析。此外,深度学习通过从电子病历数据中预测医疗事件,也在提升医疗保健质量方面取得重要进展。
深度学习正沿多个方向持续演进。当前的 CNN 和 RNN 主要采用监督学习,需要大量标注数据;而无监督和半监督学习技术正吸引大量研发投入,成为活跃的研究方向。
深度强化学习(DRL)已取得显著进展,例如 DRL 程序曾在围棋对弈中击败人类选手。神经网络架构的自主设计,即元学习(metalearning)或 AutoML,也在稳步推进,以降低超参数调校和损失函数选择的复杂度。
当前人工神经网络的根基可追溯至 20 世纪 50 年代对人脑信息处理机制的理解。随着神经科学进步,深度学习模型日益精妙,甚至呈现出类似生物大脑中用于导航的网格细胞结构,两个领域有望相互借鉴、逐步融合。
量子计算近年也取得多项突破,其算力有望为学习算法带来助益。量子机器学习已成为机器学习中一个非常活跃的研究分支。
深度学习兼具显著优势与实际局限,了解两者有助于合理评估其适用场景。
深度学习的主要优势包括:
深度学习的主要局限包括:
要控制这些成本与复杂度,稳定高效的数据基础架构至关重要。NetApp ONTAP 可在云端和本地环境之间统一管理数据,为训练和推理提供高性能访问。
深度学习项目的成败,往往取决于数据、算力和团队三方面的准备是否到位。
开展深度学习通常需要具备以下条件:
数据准备通常是最大的瓶颈。NetApp StorageGRID 等对象存储可为大规模训练数据集提供可扩展的容量与统一访问,帮助团队更快让数据就绪。
深度学习依赖一系列软件框架和硬件来构建、训练和运行神经网络。了解这些工具有助于规划项目。
常见的深度学习框架和工具包括:
常见的深度学习硬件包括:
硬件算力只有在数据能够及时供给时才能充分发挥。NetApp ONTAP 提供的高性能数据访问,可减少 GPU 因等待数据而产生的空闲。
深度学习是机器学习的一个分支。传统机器学习通常需要专家手动进行特征工程,而深度学习通过多层神经网络从原始数据中自主学习特征。数据越多,深度学习系统的性能通常越好。
深度学习框架是用于构建、训练和部署神经网络的软件库。常见框架包括 TensorFlow 和 PyTorch,它们提供自动微分、GPU 加速和预置网络层等功能,帮助开发者高效实现深度学习模型。
深度学习训练依赖高并行计算能力,通常使用图形处理器(GPU)而非普通显卡。GPU 能够并行处理神经网络中的大量矩阵运算,显著缩短训练时间。
深度学习系统通常需要大量数据才能表现良好。例如,卷积神经网络可能使用数百万张图像进行训练。数据的数量与质量直接决定模型能够学习的知识广度与深度。
卷积神经网络(CNN)擅长图像分类任务,通过局部特征提取识别图像内容。循环神经网络(RNN)擅长处理序列数据,如文本或时间序列。两者均采用监督学习,需要大量标注数据训练。
深度学习工作负载需要高吞吐、可扩展且安全的数据访问能力,以便持续供给训练和推理。NetApp ONTAP 等平台可在云端和本地环境之间提供统一的数据管理与高性能访问。
深度学习的成效离不开就绪的数据。NetApp AI 解决方案消除 AI 基础架构障碍,实现更高效的数据收集、加速的 AI 工作负载和更流畅的云集成。
NetApp ONTAP 在云端和本地环境之间统一管理数据,为训练和推理提供高性能、安全的数据访问,帮助团队更快将深度学习项目从试验推向生产。