Ascendがツールをプレビュー：データ・パイプライン管理を効率化し、より速く信頼性の高いインサイトを実現

クエリ可能なデータフローは、現在DataOpsの管理に関連する手動オーバーヘッドの多くを大幅に削減します。

ITを誰も望まないほど、または評価しないほどアジャイルでなくさせる最大の要因の1つは、データ・パイプラインを手動で構築するために費やされるすべての時間と労力です。それらのパイプラインを最初に構築することが課題であるだけでなく、それらがどのように機能し、実装されているかを解読するのに数日、数週間かかることがあります。

既存のデータ・パイプラインをより簡単に変更できるようにするため、Ascendは最近リリースしたAutonomous Dataflow Serviceを使用して構築されたデータ・パイプラインに対して、ITチームが直接クエリを実行できるツールのテクニカル・プレビューを提供しています。このサービスは、Amazon Web Services（AWS）、Microsoft、またはGoogleによってホストされるパブリック・クラウド上のApache Sparkインメモリ・コンピューティング・フレームワークのインスタンス上で、宣言的ツールを使用してパイプラインの作成をシンプルにします。

関連記事： DataOps：詰まったデータ・パイプラインの解毒剤

Queryable Dataflowsと名付けられたこの新機能は、現在DataOpsの管理に関連する手動オーバーヘッドの多くを大幅に削減すると、Ascend CEOのSean Knapp氏は述べています。

Queryable Dataflowsにより、DataOpsチームは構築時に大規模な生データセットをインクリメンタルに探索し、プロファイリングできます。この機能は、新しいパイプラインをより速く構築しやすくするだけでなく、データを下流アプリケーションに公開する前に結果が正確であることを確認するためにも使用できます。

パイプラインはステージングと探索を、それらのアクティビティをデータ・ウェアハウスからオフロードする方法で処理できるようになりました。さらに、インタラクティブ・クエリをAutonomous Dataflow Service内のステージとして即座に本番に移行でき、再コーディングと再処理を排除できます。

Queryable Dataflowsは運用分析とレポートの最適化にも役立ちます。データ・アナリストとサイエンティストも、データをウェアハウスに最初にロードすることなく、パイプライン・ステージに直接接続できるため、好みのツールでデータにアクセスできます。

データ・パイプライン管理ツールの前世代は、比較すると栄光あるジョブ・スケジューラに過ぎないとKnapp氏は述べています。

DataOpsはIT分野として、IT環境内で発生する変化の速度が加速したため、圧力が高まっています。DevOpsプロセスとマイクロサービスの台頭のおかげで、データ・パイプラインの最適化または更新が必要になる速度が指数関数的に増加しました。データ・パイプラインへの手動更新は、DataOpsとDevOpsの間で非常に予測可能な摩擦ポイントを生み出すとKnapp氏は言います。

「DataOpsとDevOpsは調和させる必要があります」とKnapp氏。

実際、調和の欠如が開発者をしばしば社内ITチームを迂回させ、オープンソース・データベースでアプリケーションを構築させ、時間が経つにつれてそのデータベースがアプリケーションの要求を満たすようにスケールしないことを発見させます。その後、Apache Sparkや他のデータベースのようなプラットフォームでそのアプリケーションを移行するために社内ITチームと再契約する羽目になります。

DataOpsとDevOpsがいつか収束する程度は明確ではありません。現時点では、両分野はそれぞれ独立したドメインであり続ける可能性が高いです。しかし、データ・パイプラインの構築がITのモダナイゼーションを阻害する主要なボトルネックでなくなる点までDataOpsプロセスを改善する必要があることは明らかです。