NetApp ONTAPで実現-生成AIソリューション-後編

前編では、NetAppのメンバーが共同執筆者として参加しているAWSブログ「NetApp ONTAP を使用してオンプレミスのデータを活用するための RAG ベース生成 AI アプリケーション」の補足として、企業でよく使われているファイルサーバー上にあるデータをどのように生成AIで活用するのか、また、そのデータをどのようにセキュアに守るのか、国立大学法人広島大学（以下、広島大学）ならびにアマゾン ウェブ サービス ジャパン（以下、AWSジャパン）と取り組んだ実証実験の背景、および情報インフラの指針について解説しました。 

後編では、広島大学との実証実験の中でAWSジャパンと開発したソリューションついて、主にNetApp ONTAPの機能とともにご紹介します。  

このソリューションを支えるクラウドストレージAmazon FSx for NetApp ONTAP(以下、FSx for ONTAP)の機能と最新の情報と参考資料を交えて紹介し、皆様の環境構築に役立てていただければと思います。ストレージインフラを元に、データパイプラインの実践を進め、自社のAI活用を加速させましょう。 

前編でご紹介した大学の情報インフラの指針を考慮しつつ広島大学との共同実証実験を行い、企業や組織で蓄積されているデータを既存のオンプレミスのNetApp ONTAPのストレージに保持したままAWS上で提供される生成AI機能にてデータを活用するためのソリューションを開発しました。  

その環境は以下の構成です。 

前編でご紹介した共同ソリューション開発の要点をもとに、環境のポイントについて紹介します。 

【データの可搬性とそのシンプルさ】 

• 企業や組織内に蓄積されているクローズドデータはオンプレミス環境に置いたまま、ストレージのキャッシュ機能を用いて生成AI機能の近くにデータを配置する 
• 生成AI環境はキャッシュボリューム内のデータをRAGデータとして参照する 

【データの主権とセキュリティリスクへの対策】 

• 上記のキャッシュ機能にて、オンプレミス環境のボリューム・フォルダ・ファイルにそれぞれ設定されているアクセス権の設定をキャッシュボリュームにも反映させ、チャットアプリを利用するユーザー毎のアクセス権を確認し、回答にあたってデータの参照可否を判断する（Permission Aware型RAG） 

• クローズドデータを格納するボリュームへのランサムウェア攻撃検知機能、および攻撃を受けた際のデータのリカバリ、改ざん防止対策、および監査ログの設定と改ざん防止領域への監査ログの格納  

次項では、これらのポイントを実現するNetApp ONTAPの機能について解説していきます。なお、ナレッジDBと生成AIチャットボットアプリケーションについてはAWSのサービスを活用していますので、そちらの詳細については、AWSジャパンのブログを参照ください。 

上述した構成に用いるNetApp ONTAPの機能について解説します。  

• NetApp FlexCache   

NetApp FlexCacheは、アクティブに読み取りが行われるデータのみをデータセンター内でローカルに、または地理的に分散したリモートサイト間のボリュームでキャッシュし、ローカル読み取りのレイテンシを低減します。データの連携先、連携元がオンプレミスかクラウドかは関係なく、バージョン9.xx 以降であればネットワークで繋がるONTAP間でFlexCacheの環境を構築することが可能です。読み取りは FlexCache ボリュームにローカルにキャッシュされますが、書き込みはキャッシュを経由してオリジンボリュームに送信されるため、データのシングルソースオブトゥルース（信頼できる唯一の情報源）を維持できます。これにより、あるエンジニアがプロジェクトファイルを変更しても、別の場所にいる別のエンジニアが同じファイルの旧バージョンを読み込むという不整合を防ぐことができます。  

本構成では、オンプレミスONTAP内のボリュームをFSx for ONTAPに対してキャッシュし、AWS内で構築する生成AI環境の近くにデータを配置しています。キャッシュ側である FSx for ONTAP のデータの容量はオンプレミス NetApp ONTAP の1/10程度に抑えることができました。 

また、FlexCacheによってオンプレミスONTAPに設定されているアクセス権情報をそのまま保持してキャッシュすることで、上述のPermission Aware型RAGを体現します。  

更に、オリジンのボリューム内にファイルの更新や追加があった際には、既存からの差分のみをキャッシュすることで、WAN帯域幅コストの削減に貢献します。  

FlexCacheの構成、機能の詳細につきましては、以下のドキュメントをご覧ください。  

• FlexCache and FlexGroup volume technical reports  
• テクニカル レポート FlexCache in ONTAP ONTAP 9.11.1  

AWSブログ、リファレンスアーキテクチャー、Customer Successとして以下の資料をあわせてご覧いただくと、このソリューション以外でも利用されるケースが確認いただけます。 

• AWSブログ Amazon FSx for NetApp ONTAP を使ったデータキャッシング  
• AWSブログ AWS と NetApp データサービス連携を活用して EDA を加速する  
• AWS リファレンスアーキテクチャ図 FSx for NetApp ONTAP を使用したクラウドバースト EDA  
• コミックス・ウェーブ・フィルム、AWS のレンダリング管理ツールとストレージを活用。『すずめの戸締まり』では 約300台のクラウドレンダーファームを活用  
• AWSブログ Designing a hybrid AI/ML data access strategy with Amazon SageMaker 
• AWSブログ 【随時更新】InterBEE 2024 AWS 展示のご紹介  
• AWS ブログPetrobras optimizes cost and capacity of HPC applications with Amazon EC2 Spot Instances  

• ARP(Autonomous Ransomware Protection) 

ランサムウェア攻撃は、世界中の企業にとって最も重大な脅威の一つとなっています。データがオンプレミスで保存されているかクラウドに保存されているかにかかわらず、ランサムウェア攻撃の被害に遭うリスクは常に存在します。Cyber ​​security Venturesの最近のレポートによると、2031年までにランサムウェア攻撃による企業の損害は世界中で年間2,650億ドルを超え、2秒ごとに攻撃が発生すると予想されています。 
また、Sophosによる2024年のランサムウェアの現状に関する調査では、過去1年間に66%の組織がランサムウェア攻撃を経験しており、クラウド環境がますます標的になっていることが明らかになりました。お客様のような組織がワークロードをクラウドに移行し続けるにつれて、ストレージ層でのデータ保護はこれまで以上に重要になっています。 

 
NetApp ONTAPに組み込まれたNetApp Autonomous Ransomware Protection（ARP）は、特定のランサムウェア攻撃ベクトルによるファイル異常を検出するように設計されています。この機能は、FSx for ONTAPでもライセンス料は無償で利用可能になりました。ARPをFSx for ONTAPに統合することで、AWS環境にNetAppのエンタープライズグレードのランサムウェア対策を導入し、組織が自信を持ってデータを保護できるようにします。検出と対応のシームレスな統合により、手動による介入を必要とせずにデータが保護され、IT チームの負担が軽減され、全体的なセキュリティ体制が向上します。FSx for ONTAPをご利用いただくことで、NetAppがオンプレミスストレージセキュリティのリーダーとして確固たる地位を築いたのと同じレベルのランサムウェア保護を、組織でもご活用いただけます。また、オンプレミスのNetApp ONTAPとFSx for ONTAPを利用したハイブリッドクラウド環境ではONTAP内に格納されたデータに対して統一された堅牢なデータ保護を実現可能です。参考資料として、以下のAWSドキュメント、AWSブログ、NetAppブログをご覧ください。 

• Amazon FSx for NetApp ONTAP now supports ONTAP Autonomous Ransomware Protection
• Protecting your data with Autonomous Ransomware Protection 
• NetAppブログ Industry-leading security no matter where your data lives~Introducing NetApp’s Autonomous Ransomware Protection for Amazon FSx for NetApp ONTAP~

• ARP/AI（Autonomous Ransomware Protection/Artificial Intelligence） 

ARP/AIは、AIを活用してランサムウェア攻撃をリアルタイムで検出し、迅速にSnapshotを取得するなどの対応を行う自律型ランサムウェア防御機能です。以前のAIではないARPバージョンのランサムウェア検知機能では、暗号化によるエントロピーの増加と拡張子の変更による検出を行っていました。最新のONTAP バージョン9.16.1では、AIがエントロピーの他、ファイルアクティビティやヘッダーなどの情報を使って総合的にランサムウェアを検出します。これは世界で唯一の機能です。  

オンプレミスONTAPのボリューム内に蓄積されるクローズドデータに対して、ランサムウェア攻撃を検知した際には瞬時にスナップショットを取得し、管理者への通知を行います。 

オンプレミスONTAPの最新バージョン9.16.1ではこのAIを活用したARP機能を利用可能です。FSx for ONTAPでも上述のとおりARPの利用は可能ですが、ARP/AIは今後リリース予定です。  

• SnapshotおよびTamperproof Snapshot（改ざん防止スナップショット） 

FSx for ONTAP の Snapshot 機能により、Point in Time 方式でボリュームのデータコピーを作成できます。Point in Time 方式は、データに変更が行われた時にデータブロックをそのままコピーするのではなく、ブロックへのポインタだけを変更するため、変更が発生してもほぼ瞬時にスナップショットが作成されます。余計な読み書きが発生しないため、スナップショット取得時のパフォーマンスオーバーヘッドが少ないです。ファイルデータとスナップショットは同じ場所で保存されますが、変更された部分に対してのみストレージ容量を消費するため、従来の Copy on Write 方式より容量効率が優れています。Snapshot 機能を活用してローカルまたはバックアップサイトでデータコピーを作成することで、ランサムウェア攻撃からデータの保護と迅速な復旧が実現できます。 

最近のランサムウェア攻撃は元データをターゲットするだけではなく、スナップショットコピーも攻撃のターゲットとして暗号化されたり、削除されたり、バックアップ先が攻撃されるケースも増えています。バックアップデータが読み取り専用に設定しても、ランサムウェアの被害に気づくのが遅れると、ランサムウェアによる暗号化されたバックアップデータが暗号化前の正常なバックアップデータを食いつぶしてしまう可能性があります。 
このような攻撃に対する保護対策として、NetApp ONTAPのTamperproof Snapshot 機能を使用することで、スナップショットが指定した期間ロックされ、有効期限までこのスナップショットの改ざん・削除が一切できなくなります。特定の管理者であっても、弊社サポートにお問い合わせいただいても、期間中は削除できません。 

ボリュームがランサムウェアによる被害を受けた場合、ロックされた Tamperproof Snapshot を使用してデータを復元できます。また、管理者権限の漏洩や内部の不正な管理者による Snapshot の削除も防ぐことが可能です。設定方法例につきましては、以下のAWSブログをご覧ください。  

• 【寄稿】Amazon FSx for NetApp ONTAP イミュータブルバックアップの利用でランサムウェア対策の強化: https://aws.amazon.com/jp/blogs/news/immutable-backup-written-by-netapp-2024/ 

• NetApp SnapLock 

NetApp SnapLock は、指定された保存期間中にわたってデータの変更や削除を防止する Write Once Read Many (WORM) 保護を提供する ONTAP の機能であり、コンプライアンス規制への対応とデータ保護の向上を可能にします。指定された保存期間内のファイルの変更や削除を防止する SnapLock ボリュームは、規制要件への準拠に加えて、ビジネスの重要なデータをランサムウェア攻撃やその他の悪意のある改ざんまたは削除の試みから保護するために使用できます。  

FSx for ONTAP は、SnapLock Compliance モードをサポートする唯一のクラウドベースのファイルシステムです。FSx for ONTAP は WORM データの階層化もサポートするので、すべての SnapLock ボリュームの低コストストレージを実現できます。  

2025 年 3 月 5 日以降は、SnapLock が有効になっているボリュームではライセンス料が発生しなくなりました。このライセンスによる課金の廃止は、新しいボリュームと既存の SnapLock ボリュームの両方に自動的に適用され、お客様のアプリケーションにおける変更は必要ありません。詳細は以下のAWSリリースノート、AWSブログをご覧ください。 

• Amazon FSx for NetApp ONTAP で SnapLock ライセンス料が無料に  
• 新着情報 – 規制コンプライアンスとランサムウェア対策を目的として Amazon FSx for NetAPP ONTAP が WORM 保護のサポート提供を開始   

まとめ  

AWSブログ「NetApp ONTAP を使用してオンプレミスのデータを活用するための RAG ベース生成 AI アプリケーション」でご紹介したデータ保管は従来のまま、生成 AI を使ってデータを活用するためのソリューションを支えるFSx for ONTAPの機能についてご紹介しました。  

オンプレミスやクラウ上のONTAPからのデータの移動が困難な状況や、AWS内でもAvailability Zoneやリージョンを跨いだデータ連携を行いたい場合、セキュリティや管理の観点でデータの保管場所を変更できない状況で、最先端の生成 AI 機能を利用する場合にご活用いただけます。 

最新情報として、広島大学との取り組み時点ではFSx for ONTAPで利用できなかったARPが利用開始され、SnapLockの機能のライセンス料が無償化されましたので、追加いたしました。また、上記の図に記載されているNetApp提供のSaaS型サービスであるDII(Data Infrastructure Insights)もデータ保護に利用可能です。 

このソリューションは AWS CDK によってコードで定義されているため、AWS アカウントがあればどなたでも環境構築が可能です。コードは以下の GitHub リポジトリで公開されていますので、デプロイ方法などの詳細はこちらをご確認ください。 

また、このソリューションの構築・利用を体験するためのハンズオンコンテンツも作成しています。ソリューションのデプロイに関するお問い合わせや、ハンズオンのご要望などがありましたら、以下よりご連絡をお願いいたします。 

本ソリューションに関するお問い合わせhttps://www.netapp.com/ja/forms/sales-contact/ 

*コメント欄に本ブログを見て問い合わせしたとご記入いただけますようお願いいたします。 

井上耕平　 

前職SIerにて、IoT/AIに関わるシステムの提案からデリバリーまで幅広く経験。現在は、AI/IoTシステムをストレージの観点から支援するソリューションを担当。  

川端 卓 

これまでにサーバー/ストレージのベンダーにてプリセールスからポストセールスまで経験。現在は西日本のお客様に向けてAI/生成AIやサイバーレジリエンスのソリューションを中心に提案活動・ハンズオンなどを担当。 

小寺 加奈子 

AWSパートナーにてクラウド事業の責任者を経て、ネットアップではSales SpecialistとしてAWSへのマイグレーションを中心に、導入支援やマーケティング活動等に従事。 

JAWSクラウド女子会運営メンバー。