選單

大爆炸、更大的問題、最大量的資料

歐洲太空總署使用智慧型資料基礎架構來維護宇宙數位圖書館

關於歐洲太空總署

23

成員國

20 +

目前任務

30 K+

科學檔案使用者

European Space Agency logo

European Space Agency

大爆炸,大問題

很多大哉問都是最古老的問題。我們在哪裡?我們從哪裡來?要往哪裡去?

這些大哉問當中一個較新的問題是:物理宇宙學的 ΛCDM(Lambda-CDM 或 Lambda 冷暗物質)模型的三個假設是否正確?即 1] 宇宙在任何地方都是一樣的並且正在膨脹中;2] 一個時空中的線只會在一個點相交,沿著每條線的時間可以同步;3] 廣義相對論可以準確地將時空的幾何形狀與物質和能量的分佈聯繫起來?

很簡單,對吧?

歐洲太空總署(European Space Agency,ESA)的科學家和工程師每天都在尋找這些問題的答案,就像他們自 1975 年成立以來所做的那樣。每一代的見解都會激發更多的好奇心。

當 ESA 於 1975 年成立時,它不僅僅是一個科學里程碑,它更是歐洲決定將分散的國家計畫整合到單一公約之下,並在太空中用一個聲音說話。這個統一化步驟為該機構過去五十年的成就奠定了基礎。在此基礎上,ESA 建立起相當廣大的計畫,從尖端科學到探索、地球觀測和載人太空飛行。

參與國際太空站(ISS)的載人太空飛行計畫令人印象深刻,ESA 還管理著對銀河系中其他行星和衛星以及近地軌道上眾多人造衛星陣列的無人探索。該機構目前總共監督大約 20 項任務,研究從太陽風對地球的影響和北極不斷變化的天氣模式,到等離子體物理學(等離子體是我們宇宙中最無序和無處不在的物質狀態),以及大約 140 億年前大爆炸的連鎖反應(奇異的宇宙事件仍然是人類已知所有大-更大-最大問題的奧秘之母)。

來自古代的答案

ESA 回答 ΛCDM 問題的使命是以古希臘數學家亞歷山大.歐基里德 (Euclid) 命名,他將點、線、面和角度的性質整理成傳統幾何形式。根據定義,Euclid 太空望遠鏡旨在使用點、線、面和角度的經典屬性來觀察 100 億光年外數十億個星系的幾何形狀。

撇開(對我們大多數人來說)困難的數學和許多零不談,Euclid 任務所建立的資料已有效地繪製了超過三分之一的可觀測天空。但令人興奮的是,Euclid 團隊的研究集中在只觀察看不見的東西,也就是引力,以及所謂的暗能量和暗物質。這是因為,更令人興奮的是,只有 5% 的宇宙是可見的(例如,原子、光、您的首選 Starbucks 訂單)。其他 95% 的宇宙,直到現在都還隱藏在眾目睽睽之下,其中含有 Euclid 想要尋求的答案。

這些答案很快就會在 NetApp 伺服器的資料中找到,它們即將來到您附近的銀河系。

從研究生實驗室到宇宙圖譜

Ruben Alvarez 在 Complutense University of Madrid 獲得了天體物理學碩士學位,該大學成立於 1293 年。作為世界上最古老大學之一的研究生校友,Ruben 是幫助回答一些世界上最古老問題的合適人選。幾年後,他獲得了 IT 管理碩士學位。作為 ESA 的科學 IT 基礎架構協調員和網路安全經理,Ruben 在一個罕見的十字路口應用了他的多學科技能。他在早期職業生涯擔任科學家和研究人員,現在則負責連接宇宙學理論的無形世界,以及擷取和管理用於證明或反駁太空科學重大問題之資料所需的非常有跡可循的硬體和軟體世界。簡而言之,Ruben 提供 ESA 科學營中心 (SOC) 所需的 IT 基礎架構和網路安全。正是在這裡,高度專業化的專業人員巧妙地同時協調著多項太空和天文任務的需求。

他們忙得不可開交,沒有兩天是相同的。他們的工作範圍從機載儀器的啟動後校準、到構建整個資料生命週期的儲存環境,全都涵蓋在內。這是在他們處理和分析來自多個太空船和天文衛星的原始太空資料時必須實現的。他們的職責是關懷備至確保永不停機,以致最終塑造出我們對宇宙物理存在、以及人類本身物理存在的理解。ESA 在過去半個世紀中產生的資料集,產生了一系列被公認為宇宙數位圖書館的作品。在圖書館的書架上,有越來越多的資料呈現著這世上最新的書籍內容,儘管這本書已經書寫了數十億年。

Euclid 資料集就是我們的數位宇宙地圖集。

European Space Agency 工作人員
Euclid 任務

ESA 的 Euclid 任務旨在探索黑暗宇宙的組成和演化

歐洲太空天文學中心(European Space Astronomy Center,ESAC)

歐洲太空總署的科學營運中心 (SOC) 位於西班牙馬德里附近

Euclid 的宇宙地圖集

Euclid 任務將在六年內擷取許多千兆像素的資料

這需要一個社群

Euclid 廣角望遠鏡今天沿著太陽周圍的光暈軌跡運行,距離它於 2023 年 7 月在佛羅里達州的 Cape Canaveral 發射地有一百萬英里。Euclid 是由 ESA 領導的任務,NASA 也給予貢獻,包括紅外線探測器、地面支援、以及參與 Euclid Consortium 的美國科學家。發射由 SpaceX 提供的 Falcon 9 執行,大約一個月後,衛星進入穩定軌道,科學家們集體屏住呼吸,可惜 Euclid 傳回地球的第一批圖像受到光污染的影響。但不用擔心,在馬德里的 SOC 團隊與法國 Toulouse 和義大利 Turin 的工程師協調之後,對太空船進行了幾度校準,很快就糾正了這個問題,使任務繼續快速進行。

歐洲太空天文學中心(European Space Astronomy Center,ESAC)科學營運中心 (SOC) 的核心職責

  • 太空任務規劃:在任何給定時間涵蓋 15 項以上的任務,大多數持續 5-15 年
  • 太空儀器校準:協助工程師調整發射後的航太器參數,直到達到穩定軌道並正式開始可靠地傳輸任務資料為止
  • 太空資料處理:對資料進行處理、排序、編目、分析和一般清理,以準備「發佈」(可能需要數年時間)
  • 太空資料歸檔:為 30,000 名研究人員和學者提供並保護全年無休存取宇宙圖書館的服務,確保隨時隨地皆可使用

Euclid 最初被提議為兩項目標相近的任務,但透過將它們結合起來,ESA 今天獲得了事半功倍的好處。這也是 ESA 分散式特性使我們所有人受益的一個很好的例子:Euclid Scientific Consortium 包含來自 15+ 個國家的 2,500+ 名工程師和科學家。但 Euclid 也是 Ruben 和他的團隊所面臨的關於複雜性的一個完美例子。許多太空任務都只聚焦於一個重點,例如研究一顆遙遠的衛星,或降落在地球附近的小行星上。相反的,Euclid 的議題是可以想到的最廣泛議題之一:調查銀河系以外數十億個河外物體和恆星,解析度達到世上最先進地面望遠鏡的 4 倍。

幸運的是,我們有先行者。

一個時代的結束,另一個時代的誕生

即使這篇文章於 2025 年在網上發佈,但歐洲太空總署最引人注目的任務之一也達到了它的壽命終點,因為隨著其研究母星的季節不可避免地發生變化,Gaia 太空船也不可避免地進入了「鈍化」階段,此時其剩餘的內部能量(例如未啟動的電池功率和未使用的推進劑)都被故意耗盡。該儀器將進入國際協定所指定的軌道,不會成為危險的太空碎片而對未來的太空任務構成威脅。太空船設計和任務範圍的最後一個階段是正式將 Gaia 指定為「記錄簿之一」。這也意味著,在十多年致力於產生最大型、最準確的銀河系三維地圖之後,Gaia 將不再是我們與宇宙進行星際對話的活躍聲音。但是 Gaia 在啟迪和激勵我們的使命中,已被證明是多麼響亮的聲音。

儘管 Ruben Alvarez 和 NetApp 都在地球上,但他們都隱含參與著整個旅程

Gaia 於 2013 年推出時,被設計用於天體測量學針對各個維度的嚴謹研究:根據它們的相對位置、大小和顏色,來測量銀河系中恆星、系外行星及其鄰居的屬性。當然,實際任務比這複雜得多,但結果是,我們獲得前所未有的天文物體目錄:恆星、行星、彗星、小行星、類星體等等,而且所有這些都是 3D 資料。

一開始,Gaia 預計會比以前的任務產生多 100 倍的資料,但即使是在這種罕見的高度期望之下,Gaia 也被證明是一個超額完成者。Gaia 只瞄準銀河系的 1%,即我們稱之為家的銀河系中 1000 億顆恆星中的 10 億顆,並最終繪製了將近 20 億個天體,同時記錄下大約 200TB 的資料,研究人員和學者有一天將會運用到這些資料。(馬德里的 Gaia SOC 花了幾年時間才發揮其魔法,將 Gaia 如此龐大的專案任務資料合併成可用資料。最終的 Gaia 目錄預計將於 2030 年交付。)

它加入了該機構過去在虛擬圖書館中的其他資料集,而虛擬圖書館所留存的 7 PiB 資料則位於 NetApp 的智慧型基礎架構上。具體來說,西班牙的 SOC 仰賴 All Flash(AFF)和網路附加儲存(FAS)的混合式環境。為了實現最低的資料生命週期成本,Ruben 使用 FAS 來儲存歐洲太空總署約 90% 的科學資料足跡。

NetApp AFF A150 All Flash Array 的優勢 

  • 以入門級價格享有企業級效能 
  • 低延遲和高輸送處理量 
  • 高速資料存取和更優異的擴充性 
  • 效能、可靠性、能源效率均優於其他 HDD  系統

NetApp FAS 儲存設備的優勢  

  • 為冷資料分層化儲存和 Cyber Vault 工作流程提供最低的資料生命週期成本 
  • 高效備份快速成長的 SAN、NAS 及物件資料集 
  • 無縫擴充容量與效能 

太空資料歸檔軟體工程師 Roberto Prieto 表示:「我們使用 NetApp AFF 和 FAS 設備一起建立了一個叢集,使我們能夠即時將資料 Volume 從一個系統遷移到另一個系統。」多傳輸協定 FAS 服務意味著 SOC 可以向它們所服務的科學界,提供網路檔案系統(NFS)功能、經由 iSCSI(Internet Small Computer System Interface)進行區塊層級存取、Fibre Channel Protocol(FCP)或 S3 物件儲存。Roberto 繼續說道:「NetApp 是我們有史以來最高效、最具擴充性、最靈活的系統之一。20 年來,我們從未遺失過任何檔案。」 

最棒的是(除了經濟、簡單、安全之外),FAS 非常容易擴充。當您在調查大爆炸時,這個能力很有用。儘管 Gaia 在繪製銀河系將近 2% 的恆星後進入鈍化,Euclid 現在已經繪製了 36% 以上的更廣大宇宙的地圖。一個時代的結束是另一個時代的開始,ESA 的 NetApp 資料儲存方案使每個科學任務的資料都能安全儲存,天生令人滿懷信心。Ruben 這樣說:「使任務成功的關鍵是資料基礎架構必須足夠靈活,能夠以敏捷的方式分發資料。NetApp 系統為我們提供了這種靈活度和敏捷性。」 

NetApp AFF 與 FAS 儲存

NetApp 是我們有史以來最高效、可擴充、最靈活的系統之一。20 年來,我們從未遺失過任何檔案。

Roberto Prieto, 空間資料歸檔軟體工程師

Roberto Prieto

NetApp AFF A150 All Flash Array

AFF A150 為 ESA 的 SOC 資料中心營運提供高速資料存取和更優異的擴充性,以入門級價格提供企業級效能。

NetApp AFF A150

關鍵任務技術

仔細研究 SOC 的 IT 策略,就會發現要管理純粹的資訊世界會面臨固有的複雜度問題,即使是遠距離儀器的每次傳輸,也會增加其複雜程度。SOC 將網路恢復能力放在首位和中心,特別是考慮到宇宙圖書館必須保持「敞開的大門」。Ruben 在這方面的警惕心再怎麼強調都不為過。他說:「我們必須向公眾提供我們執行使命所建立的資料。同時,我們必須保護自己和資料,這是一場永無止境的比賽。」用於災難恢復的資料備份和備援也是他職權範圍的一部分。這方面非常技術化,需要非常快的反應,但他工具箱中的其他 NetApp 解決方案包括:

  • NetApp® Snapshot:可在應用程式執行的同時提供寶貴資料的即時複本
  • NetApp® FlexClone®:用於父 Volume 的可寫時間點複本
  • NetApp® ONTAP® FlexGroup:提供近乎無限的容量,並在中繼資料密集型工作負載中達到可預測的低延遲效能

所有這些技術都透過 NetApp® ONTAP®(統一化儲存的先進作業系統)彙集在一起,為科學營運中心的生態系統提供最佳化的容量和效能。Ruben 強調的正是這種無縫整合和易於管理,他說:「我們看重 NetApp 的可靠性和效率,他們真的兌現了他們所做的承諾。」他還體認到,他與 NetApp 的長期關係背後不僅僅是硬體和軟體,他繼續說道:「所有因素組合起來,包括技術、人員、支援,才是我們過去 20 多年的成功關鍵。」這是 NetApp 引以自豪的合作關係。

我們看重 NetApp 的可靠性和效率,他們真的兌現了他們所做的承諾。

Ruben Alvarez, 科學 IT 基礎架構協調員兼網路安全經理, European Space Agency

Ruben Alvarez

天文任務

就像宇宙本身一樣,歐洲太空總署有許多科學任務的資料正在擴大和加速。 

  • BepiColombo:2018 年發射的雙衛星任務,將於 2026 年進入水星軌道
  • Jupiter Icy Moons Explorer (Juice):有望在 2031 年插入軌道繞行這顆巨大的氣態行星

這份清單上還有其他超過 15 項科學任務,這就是 Ruben 和他的團隊今天、明天和未來幾十年(完全符合字面意義!)將繼續代表全人類完成的天文任務。這一路上,他們會不時舉杯,慶祝太空探索和天文學方面的重要成就,因為一項任務開始,另一項任務結束,永不停歇。

其中一些慶祝活動是為了新的太空資料目錄的發布而歡呼,因為它將發布供全世界使用。對於監督宇宙圖書館的圖書館員來說,這些「新書發表」活動特別繁忙,因為在上架之前,每一卷新知識都必須使用杜威十進位分類系統的獨特等效系統進行嚴格標記。ESA「資料發布」的主要目的是最大限度地提高其工作的科學回報,並透過讓全球社群分析該資料來實現遠超其最初任務目標的發現。

這是一種系統性的科學方法,可以幫助回答重大問題。我們所有人都有的問題,即使我們第一次開始思考時還沒有適當的詞彙,我們在哪裡?從哪裡來?往哪裡去?Ruben 說:「從我小時候開始,我總是被太空所吸引,每天晚上我都想看到滿天繁星的美妙景象。這讓我想要知道……它們有多遠?想知道這些光從星星到我眼睛的旅程。所以,我很高興做我正在做的事情:見證我們在不同任務中取得的進展,以及它們如何幫助我們理解宇宙。」

銀河系

Gaia 任務正在推翻幾個世紀以來關於地球稱之為家的星系的假設

在 European Space Agency 工作的人員
科學營運中心 (SOC)

SOC 團隊管理多項 ESA 任務的資料作業

重返月球

Artemis 任務將把太空人送回地球的月球

當被問及是否有一天會在太空中看到他時,Ruben 提到了 Artemis 專案,這是一項將人類送回月球的多方面舉措。ESA 是 NASA Artemis 計畫的重要合作夥伴,提供歐洲服務模組和月球閘道器模組,每個模組都在支援四名太空人於 Orion 太空船上執行為期三週的任務中發揮著關鍵作用。這些任務也有歐洲太空人參與,標誌著歐洲探索月球的新篇章。

這個問題懸而未決,Ruben 停頓了一下,笑了笑,然後說:「我認為有趣的時代即將到來。只有 12 個人曾經踏上月球,所以,是的,讓我們看看幾年後會發生什麼……」

探索 NetApp® ONTAP® 的簡易性、強大功能和可靠性

使用唯一原生跨越混合雲的統一化資料儲存作業系統,改變您的資料體驗。

Drift chat loading