データパイプライン管理を簡素化するAscendPreviewsツール

クエリ可能なデータフローにより、DataOpsの管理に関連する今日の手動オーバーヘッドの多くが大幅に削減されます。

ITを誰もが望んでいる、または評価しているよりもはるかに機敏性を低くするために最も共謀していることの1つは、データパイプラインを手動で構築するための時間と労力です。そもそもこれらのパイプラインを構築するのは難しいだけでなく、それらがどのように機能し、実装されているかを解読するには、数日から数週間かかる場合があります。

Ascendisは、既存のデータパイプラインの変更を簡単にするために、ITチームが最近リリースされたAutonomous Dataflow Serviceを使用して構築されたデータパイプラインに対して直接クエリを起動できるツールのテクニカルプレビューを提供します。これにより、パブリッククラウドでホストされるApacheSparkインメモリコンピューティングフレームワークは、Amazon Web Services（AWS）、Microsoft、またはGoogleのいずれかによって提供されます。

関連項目： DataOps：混雑したデータパイプラインの解毒剤

クエリ可能なデータフローと呼ばれるこの新機能により、今日のDataOpsの管理に関連する手動のオーバーヘッドの多くが大幅に削減されるとAscendのCEOであるSeanKnapp氏は述べています。

クエリ可能なデータフローにより、DataOpsチームは、大規模な生のデータセットを構築しながら段階的に調査およびプロファイリングすることができます。この機能により、新しいパイプラインの構築がより簡単になるだけでなく、データをダウンストリームアプリケーションに公開する前に、結果が正確な結果であることを確認するために使用することもできます。

パイプラインは、データウェアハウスからこれらのアクティビティをオフロードする方法でステージングと探索を処理できるようになりました。さらに、インタラクティブクエリをAutonomousDataflowサービス内のステージとしてすぐに本番環境に移行して、再コーディングと再処理を排除できます。

クエリ可能なデータフローは、運用分析とレポートの最適化にも役立ちます。データアナリストや科学者は、最初にデータをウェアハウスにロードしなくても、パイプラインステージに直接接続できます。つまり、好みのツールを使用してデータにアクセスできます。

比較すると、データパイプラインツールを管理するための前世代のツールは、栄光に満ちたジョブスケジューラにすぎないとKnapp氏は言います。

IT分野としてのDataOpsは、IT環境内で発生する変化の速度が加速しているため、ますますプレッシャーにさらされています。DevOpsプロセスとマイクロサービスの台頭のおかげもあり、データパイプラインを最適化または更新する必要のある速度は飛躍的に向上しています。データパイプラインを手動で更新すると、DataOpsとDevOpsの間に非常に予測可能な摩擦点が作成されるとKnapp氏は言います。

「DataOpsとDevOpsを調和させる必要があります」とKnapp氏は言います。

実際、その調和の欠如により、開発者はオープンソースデータベースを使用してアプリケーションを構築し、データベースがアプリケーションの要求を満たすように拡張できないことを時間の経過とともに発見することで、内部ITチームの実行を試みて終了することがよくあります。その後、社内のITチームと再連携して、そのアプリケーションをApacheSparkやその他のデータベースなどのプラットフォームに移行する必要があります。

DataOpsとDevOpsがいつかどの程度収束するかは明らかではありません。今のところ、両方の領域はそれ自体でドメインのままである可​​能性があります。ただし、DataOpsプロセスを改善して、データパイプラインの構築がITの近代化を妨げる大きな問題ではなくなるまで改善する必要があることも十分に明らかです。