NetApp Tech OnTap NetApp Logo
NetApp Tech OnTap
     
NetApp CloudSync サービスの使い方

今回はオンプレミスNFSからオンプレミスオブジェクトストレージにデータを移動してみた。

シェアするNetAppオフィシャルFacebook   ツイート

 

今回は CloudSync サービス サービス について紹介したいと思います。 オンプレミスの NFS サーバーからAWS S3 へデータを高速に転送するという話を多くさせていただいておりますが、実はオンプレミスでのデータ移行、クラウド内のデータ移行にも利用可能なものです。

今回はそもそもなぜ CloudSync サービスが生まれたのかと、オンプレミスの NFS サーバからオンプレミスのオブジェクトストレージへデータ転送を試してみた結果をお届けします。

CloudSync が生まれた背景 NASA ジェット推進研究所がやりたかったこと

そもそもの生まれとしては NASA の火星探査機で収集した画像データをNASAのジェット推進研究所へ転送し、オンプレミスのサーバにある大量のデータ解析に AWS の解析サービスを使用したいという要望から生まれたソリューションです。

ホストOS設定

http://live.netapp-insight.com/detail/videos/see-more-netapp-insight-2017-videos/video/5599211315001/netapp-insight-general-session-day-3?autoStart=true&page=3

今までの NetApp のクラウド連携ソリューションとの違いはデータをそのまま AWS S3 に転送するというところになります。

S3 に直接データを入れることで AWSS3 を中心としたデータ分析系のサービスを活用し分析を行うといったことが可能となります。

NASA ジェット推進研究所では夜間に転送を実施し、分析までを終わらせるためには高速に転送を行うソリューションが必要でした。
そのような背景のもと CloudSync が生まれてきました。

今までのクラウドにデータを送るもののまとめ

ONTAP Cloud NetApp

SnapMirror を使った転送、転送元、転送先に ONTAP が必要。バックアップ、DR 、ワークロードオフロードなどの様々なユースケースに利用可能。オンプレミス のONTAP がそのままクラウド上で動作する。

AltaVault

基本的にはアーカイブ・バックアップのクラウドゲートウェイとして利用される。バックアップ、DR のユースケース。ポイントは既存インフラを変更せずに導入可能、対応しているバックアップ先の多さ、データの重複排除・圧縮の効率性が特徴

StorgeGrid WebScale(SGWS)

オンプレミスからデータをS3へデータをレプリケーションする。オブジェクトストレージのレプリケーション機能。

CloudSync

オンプレミスのNFS/CIFS から直接データをS3 へ送る。 S3 をデータレイクとして、AWSPaaS サービスを直接利用可能となる。分析を行いたいときに高速にデータを転送可能。また、大量ファイル環境においても 高速にデータ転送が可能に。

CloudSync の使い方

ここからは CloudSync を使うための手順について確認します。
CloudSync は環境を選ばずデータを転送することができます。
アーキテクチャを説明後、実際のオペレーションを見ていただければと思います。

アーキテクチャ

NFSS3 の間にデータを変換する 「 Data broker 」が存在します。このデータブローカーにデータを送ることで宛先に適したフォーマットに変換しデータ転送を行います。

ホストOS設定

Cloud Sync の動き

一通りの手順を見てみます。以下のスクリーンショットの内容はバージョンアップにより内容が異なる可能性があります。

まずはサービスにアクセスし、ログインします。

ホストOS設定

ログインするとリレーション(転送元、転送先)を選択する画面となります。

ホストOS設定

Add Source 」、「 Add Target 」を選択すると選択可能な対象サーバー・サービスが見れます。今回はすべて表示されるものは記載していますが転送先、転送元すべての組み合わせが使えるわけではありません。 SaaS として提供しているため「転送先」、「転送元」は随時増えていきます。

Add source 」として選択出来るものは以下の通りです。

  • NFS Server
  • EFS
  • CIFS Server
  • S3 Bucket

ホストOS設定

Add Target 」を選択した場合は以下の通りです。

  • NFS Server
  • EFS
  • CIFS Server
  • S3 Bucket
  • Storage Grid

ホストOS設定

今回はオンプレミスのNFSとオンプレミスの StorageGrid を選択しました。

ホストOS設定

仕組みの説明画面がでます。

ホストOS設定

転送元の IP を設定します。

ホストOS設定

ネットワークの疎通が取れると以下のような確認になります。

ホストOS設定

データブローカーのデプロイ先を選択します。

ホストOS設定

今回はオンプレミスを選択しました。

ホストOS設定

オンプレミスを選択するとデプロイメントの手順が表示されます。

ホストOS設定

最後まで手順を実行すると、以下のような画面となります。これでデータブローカーのインストール完了です。

ホストOS設定

該当のDatabroker をクリックして 「Continue」をクリック

転送元のディレクトリ一覧を選択します。

ホストOS設定

転送先の IP を設定します。

ホストOS設定

ポート、アクセスキー、シークレットキーを設定します。

ホストOS設定

Continue 」をクリックすると以下のバケットを読み込む画面になります。

ホストOS設定

転送先のバケットを選択します。

ホストOS設定

確認画面が表示されます。

ホストOS設定

Create Relationship 」をクリックすると同期が始まります。

ホストOS設定

転送完了画面は画面下部に進捗%が表示されます。

ホストOS設定

管理画面

リレーション毎の管理画面は以下のように見えます。

ホストOS設定

同期設定のスケジュール

手動での転送だけではなく、スケジューリングして定期的に差分転送をすることも可能です。

以下の画面の 「Sync Schedule」をクリック。

ホストOS設定

設定画面が表示されます。

ホストOS設定

スケジュールだけではなく、手動でオンデマンドに同期することもできます。

ホストOS設定

まとめ

今回は NetApp CloudSync Service について説明しました。発表当初は オンプレミスの NFS サーバーから AWS S3 へデータを高速に転送するソリューションでしたが、日々進化しており対応する転送元、転送先が追加されております。

また、大量のファイルが存在しても高速に転送出来るというのも特徴の1つです。

2018 01

Go further, faster
お問い合わせ   |   購入方法   |   フィードバック   |   採用情報  |   登録   |   プライバシーポリシー   |   © 2018 NetApp