電通デジタルでバックエンド開発をしている松田です。弊社ではデータパイプラインの構築や管理のために主にApache Airflowを利用しています[1, 2]。 本記事では、AirflowのOperatorを使ってタスク実行環境を分離する方法についてご紹介します。 タスク実行環境を ...

The Apache Software Foundation(以下、ASF)は米国時間2019年1月8日、ビッグデータパイプラインを管理するためのワークフロー自動化およびスケジューリングシステム「Apache Airflow」を、トップレベルプロジェクトに押し上げたことを公式ブログで明らかにした。

DX（デジタルトランスフォーメーション）を推進するうえで、データを効率よく扱うためのデータ統合は欠かせません ...

ログインして、InfoQのすべての体験をアンロックしましょう！お気に入りの著者やトピックの最新情報を入手し、コンテンツと交流し、限定リソースをダウンロードできます。 クラウドコンピューティングの登場以降、ソフトウェア業界は大きな変革の中に ...

外部からデータを収集しHadoopクラスタのHDFSへインポートするETLツールとしてAirflowを選択した。今回はAirflowの最小構成であるスタンドアロンでのセットアップとKerberos認証のかかったHDFSへの接続のための認証設定を行った。（認証自体の動作確認はまだして ...

ログインして、InfoQのすべての体験をアンロックしましょう！お気に入りの著者やトピックの最新情報を入手し、コンテンツと交流し、限定リソースをダウンロードできます。 クラウドコンピューティングの登場以降、ソフトウェア業界は大きな変革の中に ...