菜单

大爆炸,更大的疑问,最大的数据量

欧洲航天局使用智能数据基础架构维护宇宙数字图书馆

关于欧洲航天局

23

成员国

20 +

当前任务

30 K+

科学存档用户

European Space Agency logo

European Space Agency

大爆炸,大疑问

那些宏大的问题往往也是古老的问题。我们在哪里?我们是怎么到这里的?我们要去哪里?

而一个较新的问题,堪称所有疑问之最:物理宇宙学的 ΛCDM(Lambda-CDM 或 Lambda 冷暗物质)模型在其三个假设中是否正确:1] 宇宙在任何地方都是相同的并且正在膨胀;2] 时空中的线条仅在一个点相交,并且每条线上的时间可以同步;以及 3] 广义相对论准确地将时空的几何形状与物质和能量的分布相关联?

听起来挺简单的,对吧?

欧洲航天局 (ESA) 的科学家和工程师每天都在寻找这些问题的答案,正如自 1975 年成立以来一样。每一代人的认知突破都会激发更多的好奇心。

当 ESA 于 1975 年成立时,它不仅仅是一个科学里程碑 — 它是欧洲决定将分散的国家计划整合在一个单一的公约下,并在太空中以一个声音说话。这一统一步骤为该机构过去五十年的成就奠定了基础。在此基础上,ESA 建立了一个范围广泛的计划 — 从尖端科学到太空探索、地球观测和载人航天。

尽管参与国际空间站 (ISS) 载人航天计划令人印象深刻,ESA 还管理着我们银河系中其他行星和卫星的无人探索以及近地轨道上的众多人造卫星阵列。该机构目前总共负责监督大约 20 项任务,研究范围包罗万象:从地球的太阳风北极变化的气候模式到等离子体物理学(等离子体是我们宇宙中最无序和普遍存在的物质状态)以及大约 140 亿年前大爆炸的连锁效应(这一独特的宇宙事件,至今仍是人类所有已知大大小小谜团的总源头)。

来自远古的答案

ESA 为了回答 ΛCDM 问题,发起了一项以古希腊数学家亚历山大的欧几里得命名的任务。正是欧几里得将点、线、面和角的特性系统整理成了传统的几何学形式。根据定义,Euclid 太空望远镜旨在利用点、线、平面和角度的经典属性,观测距离 100 亿光年远的数十亿个星系的几何形状。

撇开(我们大多数人感到)困难的数学和数不清的零,Euclid 任务创建的数据有效绘制了超过三分之一可观测天空的图景。但令人震惊的是,Euclid 团队的研究只集中在观察看不见的 — 重力,以及所谓的暗能量和暗物质。这是因为,更令人震惊的是,只有 5% 的宇宙是可见的(例如,原子、光、你在星巴克常点的饮品)。而那隐藏至今、占据宇宙95%的剩余部分,正蕴含着欧几里得所追寻的答案。

这些答案很快就会在 NetApp 服务器上的数据中找到。即将呈现在您附近的银河系中。

从研究生实验室到宇宙图谱

Ruben Alvarez 在成立于 1293 年的马德里康普顿斯大学 (Complutense University of Madrid) 获得了天体物理学硕士学位。作为世界上最古老的大学之一的研究生校友,Ruben 帮助回答世界上一些最古老的问题是合适的。几年后,他获得了 IT 管理硕士学位。作为 ESA 的科学 IT 基础架构协调员和网络安全经理,Ruben 将他的多学科技能应用于一个罕见的交汇点。早期作为科学家和研究员的他,连接了宇宙学理论的无形世界,以及捕获和管理用于证明或反驳天基科学重大问题的数据所需的硬件和软件的有形世界。简而言之,Ruben 为 ESA 的科学运营中心 (SOC) 提供所需的 IT 基础架构和网络安全。正是在这里,高度专业化的专业人员巧妙地同时协调多项天基和天文任务的需求。

他们忙得不可开交,没有两天是完全相同的。他们的工作范围从机载仪器的发射后校准到跨数据生命周期的存储环境设计。这一切都是在他们处理和分析来自多个航天器和天文卫星的原始空间数据的过程中实现的。这是一种始终在线的关怀职责,最终塑造了我们对宇宙物理存在以及我们自身的理解。ESA 在过去半个世纪中创建的数据集形成了一系列被正式认可为宇宙数字图书馆的工作成果。在该图书馆的书架上,有越来越多的数据代表着世界上最新的书籍之一,其写作历史已有数十亿年。

Euclid 数据集是我们的数字宇宙图谱。

欧洲航天局的工作人员
Euclid 任务

ESA 的 Euclid 任务旨在探索暗宇宙的组成和演化

欧洲空间天文学中心 (ESAC)

ESA 的科学运营中心(SOC)位于西班牙马德里附近

欧几里得宇宙图谱

Euclid 任务将在六年内捕获数千兆像素的数据

群策群力

欧几里得广角望远镜今天沿着太阳周围的光晕轨迹运行,距离 2023 年 7 月在佛罗里达州卡纳维拉尔角发射的地方一百万英里。Euclid 是一项由 ESA 牵头的任务,NASA 做出了贡献,包括红外探测器、地面支持和 Euclid Consortium 的美国科学家。发射是在 SpaceX 提供的 Falcon 9 上进行的。卫星大约一个月后进入稳定轨道,科学家们集体屏住了呼吸。但 Euclid 传回地球的第一批图像受到光污染的影响。不用担心。在马德里的 SOC 团队与法国图卢兹和意大利都灵的工程师协调后,对航天器进行了几度校准,很快就解决了问题,任务继续快速进行。

欧洲空间天文学中心 (ESAC) 科学运营中心 (SOC) 的核心职责

  • 太空任务规划 — 在任何给定时间规划超过 15 次任务,大多数持续 5-15 年
  • 空间仪器校准 — 协助工程师调整发射后航天器参数,直到达到稳定轨道并正式开始任务的可靠数据传输
  • 空间数据处理 — 处理、分类、编目、分析和一般数据清理,为“发布”做准备(可能需要数年时间)
  • 空间数据存档 — 为 30,000 名研究人员和学者提供并保护对宇宙图书馆的全天候访问,确保他们随时随地都是使用这个图书馆

Euclid 最初被提议为具有相邻目标的两个任务。通过将它们结合起来,ESA 今天获得了用更少的资源做更多事情的好处。这也是 ESA 的分布式性质如何使我们所有人受益的一个绝佳例子:来自 15+ 个国家/地区的 2,500+ 名工程师和科学家是 Euclid Scientific Consortium 的成员。但 Euclid 也是 Ruben 和他的团队所面临的复杂性的完美例子。许多太空任务都有一个单一的焦点 — 例如研究一颗遥远的卫星,或者降落在靠近地球的小行星上。相反,Euclid 的议程是可以想象的最广泛的议程之一:研究银河系外的数十亿个星系外物体和恒星,其分辨率是世界上最先进的地面望远镜的 4 倍。

幸运的是,已有先例可循。

一个时代的结束,另一个时代的诞生

就在本文于 2025 年在线发布之际,欧洲航天局最引人注目的任务之一已经到达其生命的尽头,因为随着其母星球上的季节不可避免地发生变化,Gaia 航天器不可避免地进入“钝化”状态,届时其剩余的内部能量(例如,未使用的电池电量和未使用的推进剂)将被有意耗尽。该仪器进入国际协议确定的轨道,以确保不会对未来的太空任务构成太空碎片威胁。航天器设计和任务范围的最后阶段正式将 Gaia 指定为“记录簿之一”。这也意味着,经过十多年致力于创建银河系最大和最准确的三维地图,Gaia 将不再是我们与宇宙星系间对话中的活跃声音。但 Gaia 在启迪和激励人心的使命中,已证明了其不凡的声音。

Ruben Alvarez 和 NetApp,尽管都在地球上,但在隐喻意义上都参与了整个旅程。

当 Gaia 于 2013 年推出时,它旨在对天体测量的各个维度进行学科研究:根据恒星、系外行星及其在我们银河系中的邻居的相对位置、大小和颜色,测量它们的属性。当然,这要复杂得多,但结果是一个前所未有的天体目录 — 恒星、行星、彗星、小行星、类星体等等。所有这些都以 3D 形式呈现。

在开始时,Gaia 预计将产生比以前的任务多 100 倍的数据,但即使在这个稀缺的期望高度,Gaia 也被证明是一个超级成就者。瞄准银河系的 1% —也就是说,我们称之为家园的银河系中的 1000 亿颗恒星中的 10 亿颗 — Gaia 最终绘制了近 20 亿个天体,并记录了大约 200TB 的数据,供研究人员和学者日后探索。(马德里的 Gaia SOC 需要几年时间才能发挥作用,将大量 Gaia 任务数据整合到可用状态。最终的 Gaia 目录预计将于 2030 年交付。)

它与该机构过去的其他数据集一起,存储在虚拟图书馆中,依托于来自 NetApp 的 7 PiBs 智能基础架构。具体来说,西班牙的 SOC 依赖于全闪存 (AFF) 和网络附加存储 (FAS) 的混合方案。为了实现最低的数据生命周期成本,Ruben 将 FAS 用于大约 90% 的欧洲航天局科学数据存储。

NetApp AFF A150 全闪存阵列的优势 

  • 以入门级价格实现企业级性能 
  • 低延迟和高吞吐量 
  • 高速数据访问和改进的可扩展性 
  • 比其他 HDD 更高性能、更可靠、更节能  

NetApp FAS 存储的优势  

  • 为冷数据分层和网络保管库工作流程提供最低数据生命周期成本 
  • 针对快速增长的 SAN、NAS 和对象数据集的高效备份 
  • 容量和性能的无缝扩展 

空间数据存档软件工程师 Roberto Prieto 说:“我们的 NetApp AFF 和 FAS 设备共同创建了一个集群,使我们能够实时地将数据卷从一个系统迁移到另一个系统。”多协议 FAS 服务意味着 SOC 可以通过 iSCSI(互联网小型计算机系统接口)、光纤通道协议 (FCP) 或 S3 对象存储向其服务的科学界提供网络文件系统 (NFS) 功能、块级访问。Roberto 还说道:“NetApp 是我们有史以来效率最高、可扩展性和灵活性最高的系统之一。20 年来,我们从未丢失过一个文件。” 

最重要的是(除了经济、简单和安全之外),FAS 可以轻松扩展。当你研究大爆炸时,这意味着什么。随着 Gaia 在映射银河系中近 2% 的恒星后进入钝化状态,Euclid 已经在映射更广阔宇宙的 36% 以上。一个时代结束,另一个时代开始,ESA 来自 NetApp 的数据存储使每个科学任务的数据都能安全存储,并内置信心。Ruben 这样说:“使任务成功的关键是数据基础架构是灵活的,数据可以敏捷分发。NetApp 系统为我们提供了这种灵活性和敏捷性。”

NetApp AFF 和 FAS 存储

NetApp 是我们拥有的最高效、可扩展和最灵活的系统之一。20 年来,我们从未丢失过一个文件。

Roberto Prieto, 空间数据存档软件工程师

Roberto Prieto

NetApp AFF A150 全闪存阵列

AFF A150 为 ESA 的 SOC 数据中心运营提供高速数据访问和改进的可扩展性。这是入门级价格的企业级性能。

NetApp AFF A150

任务关键型技术

更深入地了解 SOC 的 IT 战略后,可见其管理着一个名副其实的宇宙级信息库所固有的复杂性,其数量随着来自遥远仪器的每次传输而增加。SOC 将网络弹性置于首位,特别是考虑到宇宙图书馆必须保持“敞开大门”。Ruben 在这方面的警惕性怎么强调都不为过。他说:“我们必须向公众提供我们的使命所创造的数据。同时,我们必须保护自己和数据。这是一场永无止境的比赛。”用于灾难恢复的数据备份和冗余也是他职责范围的一部分。在这里,它技术性很强,速度很快,但他工具箱中的其他 NetApp 解决方案包括:

  • NetApp® Snapshot™ 可在应用程序运行时即时拷贝有价值的数据
  • NetApp® FlexClone® 用于父卷的可写入时间点副本
  • NetApp® ONTAP® FlexGroup 可实现近乎无限的容量,在元数据繁重的工作负载中具有可预测的低延迟性能

所有这些技术都通过 NetApp® ONTAP® 汇集在一起,ONTAP 是统一存储的领先操作系统,在科学运营中心的生态系统中提供优化的容量和性能。Ruben 强调了这种无缝集成和易管理性,他说:“我们重视 NetApp 的可靠性和效率。他们真正兑现了他们的承诺。”他还认识到,与 NetApp 长期合作的背后不仅仅是硬件和软件,他还说道:“在过去的 20 多年里,这些因素的结合 — 技术、人员、支持 — 一直至关重要。”NetApp 很自豪能成为这个合作关系中的一部分。

我们重视 NetApp 的可靠性和效率。他们真正兑现了他们的承诺。

Ruben Alvarez, 科学 IT 基础架构协调员和网络安全经理, 欧洲航天局

Ruben Alvarez

天文任务

与宇宙本身一样,欧洲航天局的许多科学任务的数据正在扩展和加速。 

  • BepiColombo,一项于 2018 年发射的双卫星任务,将于 2026 年进入水星轨道
  • Jupiter Icy Moons Explorer (Juice) 有望在 2031 年围绕气体巨星进行轨道插入

此外还有超过 15 项科学任务位列清单,这就是 Ruben 和他的团队今天、明天以及未来几十年将继续代表全人类完成的(字面意义上的!)天文任务。在此过程中,他们会不时举杯庆祝太空探索和天文学方面的重大成就,因为一个任务开始,另一个任务结束,永不停歇。

其中一些庆祝活动是为了新的太空数据目录的录入而欢呼,因为它已发布供全世界使用。这些“图书发布”活动对于负责监督宇宙图书馆的馆员来说尤其繁忙,因为在被搁置之前,每个新的知识量都会使用与杜威十进制分类系统相同的唯一标记进行严格标记。ESA“数据发布”的主要目的是最大限度地提高其工作的科学回报,并通过让全球社区分析数据,实现远远超出其原始任务目标的发现。

这是一种系统和科学的方法来帮助回答重大问题。我们所有人都有这些问题,即使我们在第一次开始思考时还没有合适的词汇,我们在哪里?我们是怎么到达这里的?我们要去哪里?Ruben 说:“从小我就被太空所吸引。我每天晚上都会看到满天繁星的美妙景象。这使我想知道……它们有多遥远,光从星星到我眼中的旅程。因此,我很高兴能够做我正在做的事情 — 见证我们在不同任务中取得的进展,以及它们如何促进我们对宇宙的理解。”

银河系

Gaia 任务正在推翻许多世纪以来关于地球称之为家园的星系的假设

在欧洲航天局工作的人员
科学运营中心

SOC 团队管理多个 ESA 任务的数据运维

重返月球

Artemis 任务将把宇航员送回地球的月球

当被问及他是否有一天会看到自己在太空中时,Ruben 提到了 Artemis 项目,这是一项让人类重返月球的多方面计划。ESA 是 NASA 的 Artemis 计划的重要合作伙伴,提供欧洲服务模块和月球 Gateway 模块,每个模块在为期三周的 Orion 航天器任务中为四名宇航员提供支持方面发挥着关键作用。这些任务将包括欧洲宇航员,标志着欧洲探索月球的新篇章。

这个问题悬而未决,Ruben 停顿了一下,微笑着说:“我认为有趣的时刻即将到来。只有 12 个人曾踏上过月球。所以,是的,让我们期待几年后会发生什么……”

了解 NetApp® ONTAP® 的精简性、强大功能和可靠性

使用唯一原生覆盖混合云的统一数据存储操作系统转换您的数据体验。

Drift chat loading