どこにでもあるデータへのクラウドネイティブパス

Kubernetesを使用したアーキテクトは、データ分析を非常に柔軟にし、ビジネスニーズのどこでも実行でき、大規模かつ高い同時実行性、パフォーマンス、効率、可用性を実現するために不可欠な目玉です。

金融サービスや保険から製造業やヘルスケアに至るまで、さまざまな分野の何千もの企業が、データ管理と分析のニーズに最適なパブリッククラウドとプライベートクラウド、ハイブリッド、エッジの導入が必要であることに気づいています。したがって、分散型クラウドの概念がクラウドの成熟の一部であることは当然のことです。データウェアハウス、データレイク、および高度な分析を分散型クラウドアーキテクチャに導入することは、市場が向かっているところです。このアーキテクチャを拡張して、より高レベルのデータ管理および分析サービスを網羅することは、当然、分散データクラウドのアイデアにつながります。 。分散データクラウド内では、エンタープライズデータウェアハウスは、企業内の数百人のビジネスアナリストやデータサイエンティストに分析を提供するために使用されるだけでなく、最終的には企業の側で直接使用されるリアルタイムの分析アプリケーションを強化できるようになります。数万人の顧客。データはどこからでもすぐにアクセスでき、洞察が得られます。

関連項目： 2021年のクラウド導入の傾向は2022年に増幅します

目的地を探索する

クラウドネイティブとはよく使われる用語ですが、分散型クラウドのメリットを活用するためにソフトウェアアーキテクチャをゼロから設計する場合、それは本当の意味を持ちます。完全に実現されたクラウドネイティブデータウェアハウスは、分散データクラウドアーキテクチャを論理的に活用する必要があります。大まかに言えば、データがどこにあっても（その逆ではなく）分析をデータにもたらし、集中リスクを軽減し、効率を劇的に向上させ、管理された支出と競争力のための近代化を先導します。

さらに細かく言えば、クラウドネイティブのデータ管理および分析テクノロジーは、分散データクラウドの青写真に合わせて5つの主要な特性を表示する必要があります。

• プラットフォームに依存しないランタイムにより、どこにでもデータと分析をプロビジョニングできます
• どこでも一般的なユーザーエクスペリエンス
• あらゆる展開ターゲットに共通のセキュリティおよびガバナンス機能
• どこでもコストとテクノロジーの効率を高め、リソースを最小限に抑え、強力なコスト管理（FinOps）と支出のガードレールを可能にします
• 単一のコントロールプレーン、すべての展開を結び付ける、パブリッククラウド、オンプレミス、およびネットワークエッジ

このパターンに従って完全に実現されたクラウドネイティブデータウェアハウスは、必要なときにどこにでも展開可能であり、クラウド、オンプレミス、およびネットワークエッジインフラストラクチャの複雑さをエンドユーザーから抽象化します。重要なのは、インフラストラクチャの詳細から解放し、クラウドの本来の力を与えながら、分析から価値を生み出し、データを管理することに集中できるようにすることです。

適切なガイドの選択

では、その目的地にはどのように到達するのでしょうか。オープンソースのコンテナオーケストレーションツールであるKubernetesは、クラウドネイティブオペレーションへの最も一般的なパスを提供します。 Unixでワークロードを分割するというアイデアは1970年代から存在していましたが、アプリケーション開発をより簡単に、より移植性が高く、リソースの使用効率を高めるためにコンテナが広く実装されたのはわずか10年前のことです。しかし、広大なマイクロサービスアーキテクチャ全体に数百または数千のアプリケーションをデプロイすることは、非常に難しいことがわかりました。他のオプションもありますが、現在Cloud Native Computing Foundationによって管理されているGoogleのオープンソースKubernetesプロジェクトは、マイクロサービスアプリケーションのオーケストレーションを解決するために注目を集めました。これにより、アプリケーションを汎用インフラストラクチャで実行し、標準的な方法で監視および管理し、オープンスタンダード。

これは、アプリケーションに適しています。しかし、データの世界はどうですか？クラウドネイティブのデータウェアハウスがパブリッククラウドとプライベートクラウド、ネットワークエッジ、ハイブリッド、および完全に分散されたクラウド全体に弾力性と展開の柔軟性を提供するには、同じ基本的なコンテナオーケストレーションが必要です。

スケールアウトWebアプリケーションのクラウドネイティブな再アーキテクチャは一般的ですが、データベースはほとんどがクラウドネイティブの世界に「リフトアンドシフト」されたばかりです。データベースをコンテナに組み込むことで、データベースを最新のインフラストラクチャで実行できますが、クラウドのすべてのメリットを実証するエクスペリエンスは提供されません。このソフトウェアは、コンテナ環境で実行されているという事実をほとんど認識しておらず、Elastic Clusterの管理などの操作は、Operatorsを使用してデータベースの外部から操作し、Helmチャートをハッキングすることで不器用に処理する必要があります。複数の弾力性のあるオンデマンドコンピューティングクラスターがオブジェクトストレージ内の同じ基になるデータを共有できるようにするなどの機能は、多くの場合利用できません。弾力性のあるクラウドベースのデータウェアハウスからビジネス価値を獲得しようとしているユーザーは、Helmチャート、ポッド、ノード、または構成ファイルについて知りたくありません。彼らは、データウェアハウスをプロビジョニングし、エラスティッククラスターを管理し、データから洞察を得たいと考えています。

Kubernetesを介してSQLインターフェースを提供し、オンデマンドで複数の弾力性のあるクラスターをプロビジョニングし、Kubernetesの複雑さをDBAやエンドユーザーから隠すことが答えです。

このようにして、さまざまなユーザーをさまざまなコンピューティングクラスターでワークロードを実行するように割り当てることができ、使用中のコンピューティングクラスターは、許可に応じてSQLを介して実行時に変更できます。クラスターは、アイドル期間後に自動的に一時停止し、オンデマンドで再度スピンバックするように構成できます。たとえば、必要に応じてETLプロセスを実行するために、アドホックビジネスインテリジェンス（BI）と複数のデータサイエンスクラスター用に個別のコンピューティングクラスターを作成できます。コンピューティングクラスターは、使用頻度の高い時間帯にオンラインで拡張したり、静かな時間帯にオフにしてコストを節約したりできます。クラスターは、それらの期間中にのみアクティブになる日次、週次、または月次のバッチレポートタスクを実行するように作成できます。このモデルでは、計算クラスター内のノードのサイズとノード数の両方を制御でき、予測可能性のために、リソース消費の制限をインスタンスレベルで確立できます。同様に、プライマリデータウェアハウスインスタンスからレプリケーショントラフィックを受信する低コストのレプリカシステムをセットアップすることも可能です。このシステムは、レプリカを使用する必要があるときにオンデマンドでスケールアップできます。

この種の弾力性は、Kubernetesと緊密に統合するだけでなく、開発者ツールの代わりにクラスターを作成、一時停止、再開、管理するための「ユーザーインターフェイス」としてSQL自体を使用することによって実装されます。 Kubernetesは、すべてのクラスターの状態に関する信頼できる正しい情報源です。クラスタの状態を示すシステムビューは、APIを使用してKubernetesからデータを取得します。クラスタ管理SQLステートメントが入力されると、クラウドネイティブのデータウェアハウスがKubernetesに連絡して、インスタンスの目的の状態を変更します。次に、Kubernetesは必要な変更を実装します。クラスタ内のノードが異常になった場合、Kubernetesは代替をオンラインにします。

これは、Kubernetesとの独自の裏返しの関係を表しています。Kubernetesがクラスターの状態を駆動するための「ユーザーインターフェイス」ではなく、Kubernetesによって管理されるデータベース自体がユーザーインターフェイスになります。このアーキテクチャは、独自の完全に実現されたクラウドエクスペリエンスを提供する共生関係を作成します。 Kubernetesのパワーとクロスプラットフォームの柔軟性は、完全にSQLを介して駆動されるデータウェアハウスで利用できるようになります。

より多くのデータが生成され、より多くのユースケースが展開されるにつれて、企業は、エコシステムが特定のクラウド内にますます定着するという悪循環に陥りやすくなります。システミックリスクは、金融サービスや保険などの厳しく規制されたセクターの重要なITインフラストラクチャに過度のエクスポージャーをもたらす単一のクラウドで発生する可能性があります。 Kubernetesを使用したアーキテクチャは、完全に実現されたクラウドネイティブデータウェアハウスを実現する唯一のコアコンセプトではありません。分散データクラウドパターンに沿ったアーキテクチャコンポーネントはこれだけではありません。しかし、データ分析を非常に柔軟にし、ビジネスニーズのある場所でどこでも実行できるようにするのは不可欠な目玉であり、大規模かつ高い同時実行性、パフォーマンス、効率、可用性で実行できます。結果として、さまざまなビジネスラインや地理的地域にまたがる特定の企業の何千人ものユーザーが、非常に迅速な意思決定を行い、ほぼリアルタイムで進行中の分析から価値を生み出すことができます。