BIツールの導入などをきっかけとして、ETLツールを利用する企業が増えています。ETLツールは企業におけるデータ管理を効率化できる便利なツールです。
今回本記事で取り上げるのは、日立が提供しているETLツール「DataStage」です。DataStageとはどのようなETLツールなのか、機能や価格などを解説していきます。
また、他のETLツールとの比較も紹介していきますので、DataStageに興味がある方や、ETLツールの導入を検討している方は、参考にご覧下さい。
ビジネスの場で、BI(ビジネスインテリジェンス)という言葉を耳にしたことはないでしょうか。近年多くの企業でBI(ビジネスインテリジェンス)への関心や導入が増えてきています。 しかし、BI(ビジネスインテリジェンス)に興味はあるものの、[…]
- 1 はじめに理解しておきたい日立のETLツール「DataStage」の基礎知識
- 2 日立のETLツール「DataStage」の6つの主な機能
- 3 日立のETLツール「DataStage」を利用する3つのメリット
- 4 日立のETLツール「DataStage」はこんな方におすすめ!
- 5 日立のETLツール「DataStage」のデメリットは?
- 6 日立のETLツール「DataStage」と併せて比較検討したいオススメETLツール5選
- 7 自社に合ったETLツールを上手に選ぶ3つのポイント
- 8 WEB広告運用には広告に特化したETLツールもおすすめ
- 9 まとめ
はじめに理解しておきたい日立のETLツール「DataStage」の基礎知識
まずはETLツール「DataStage」の基礎知識から見ていきましょう。ETLツールとは、DataStageとは、そして価格やライセンス、効果を発揮するシーンなどを紹介します。
【前提】ETLツールとは?
引用元:株式会社データ・アプリケーション
ETLツールとは、「Extract」「Transform」「Load」という3つの機能を備えたツールです。それぞれ以下のような機能を果たします。
- Extract:データソースからデータを抽出
- Transform:抽出したデータを加工
- Load:加工したデータをDWHへ格納
現代の企業では、さまざまなデータを大量に取り扱うシーンが非常に多くなっています。また、利用するシステムごとや拠点・店舗ごとなど、データを保管している場所が複数存在しており、瞬時にすべてのデータを統合した分析が難しくなっているという現状があります。
このような場合にETLツールを導入すれば、自動的にすべてのデータを抽出して一箇所に統合することが可能となります。また、システムが異なるデータは、同じ属性のデータであっても形式が異なる場合があり、それを事前に同じ形式に加工することで、分析しやすくするといった機能も、ETLツールの役割の一つです。
社内のデータを整理して活用する際に活躍するETLやETLツールは、近年多くの企業が利用しています。しかし、まだETLを導入していない方にとっては、ETLとはどのようなものなのか、ETLツールにどんなメリットがあるのかなど不明な点も多いのでは[…]
日立のETLツール「DataStage」とは?
引用元:DataStage
DataStageは、日立が提供しているETLツールです。豊富な機能と膨大な量のデータを処理できる能力があり、企業におけるデータ統合基盤として利用できます。
GUIによるビジュアル開発が、短期間での開発や低い維持コストを実現している特徴があります。
【参考】IBMと日立の「DataStage」の違いは?
DataStageには、日立のDataStage以外に「IBM DataStage」というものがあります。DataStageにおける日立とIBMというのは、IBMが開発元、日立が開発パートナーという立ち位置になります。
IBMと日立が協業して提供しているのがDataStageなのです。日立はDataStageを日本国内で多数導入しているため、その経験から手厚いサポートを提供できるという特徴があります。
DataStageの価格・ライセンス
日立のDataStageは、ライセンス体系や価格を公開していません。導入を検討する際は、導入予定や予算と共に日立への問い合せが必要となります。
DataStageが効果を発揮するシーン
DataStageは、企業のさまざまな部門におけるデータ統合基盤として効果を発揮します。DataStageのデータ処理は、データを分割して並列処理を行うパラレル実行が可能です。
これによりマルチプロセッサをフルに活用した高速処理が実現できます。操作が簡単なGUIになっており、統合されたデータは経営から企画、営業、エンジニアなど幅広い部門で利用できます。
日立のETLツール「DataStage」の6つの主な機能
DataStageにはさまざまな機能があります。その中から主要な機能を6つ紹介します。
主な機能1.開発前準備
引用元:DataStage
開発前準備では、テーブル定義の取り込みを行います。データベースのディクショナリやXMLファイルといったテーブル定義情報を取り込み可能です。
主な機能2.開発
引用元:DataStage
開発では、ドラッグ&ドロップの簡単な操作によって、データ加工処理を実装します。重複を削除したり、ソートやコード変換、クレンジングなどDataStageで用意されている部品や関数を利用して行います。
また、各種DBに対応したデータ入出力機能や、文字コードセットの変換機能によってデータを統合していきます。
主な機能3.確認・テスト
引用元:DataStage
確認・テストでは、ジョブのコンパイルや実行・停止、モニタリングが可能です。ジョブの実行や停止も簡単なGUIによって操作できる上、外部プログラムからの起動も可能です。
主な機能4.リリース
引用元:DataStage
リリースでは、開発済みのジョブをパッケージ化して実行できます。リリースした後でジョブを修正した場合は、更新情報や差分情報の自動出力も可能です。
そのため、変更後に変更前のジョブに簡単に戻すことができます。
主な機能5.本番
引用元:DataStage
本番では、大量のデータをパラレル実行によって処理します。DataStageはデータを自動で分割して並列処理を実行します。これにより、マルチプロセッサをフルに活用して、高速でデータ処理が可能となります。
また、「JP1」という運用管理ツールによるスケジューリングやエラーハンドリング、他処理との連携もできます。
主な機能6.保守・拡張
引用元:DataStage
保守・拡張では、ジョブレポートの出力、処理変更時の影響分析が可能です。影響分析の結果はグラフィック表示、またはHTML形式でのレポートを出力できます。
ジョブの差分比較は、画面上に比較するジョブが表示されるので、視覚的にわかりやすくチェックしやすい特徴を持っています。
日立のETLツール「DataStage」を利用する3つのメリット
DataStageを利用するメリットを3つ紹介します。このメリットを参考に、自社でDataStageを利用するシーンをイメージしてみましょう。
- 短期間でデータ処理開発が可能
- 開発コストを削減できる
- 拡張や引き継ぎが簡単
メリット1.短期間でデータ処理開発が可能
DataStageは、短期間でデータ処理開発ができるというメリットがあります。簡単なGUIによるビジュアル開発が可能なDataStageなら、データの流れとパラメータ設定をするだけで、プログラムが自動で生成されます。
また、あらかじめ用意されている部品を利用することで、簡単かつ迅速に開発できます。
メリット2.開発コストを削減できる
DataStageは一度作成した処理を再利用できます。これにより、開発コストを削減することが可能です。さらに、プログラミングスキルなど専門的な知識がなくても開発できるので、エンジニアリソースへの影響も少なく、開発や保守が容易なツールと言えます。
メリット3.拡張や引き継ぎが簡単
DataStageは、処理をわかりやすく視覚的に表現できるので、既存の処理を把握しやすい特徴があります。また、メタデータを一元管理しているので、データの属性、処理変更による影響なども容易に把握できます。
こうしたことから、簡単に担当者間の引き継ぎを行うことが非常に可能です。さらに、並列処理はデザインを変更することなく実施できるため、拡張しやすいシステムでもあります。
日立のETLツール「DataStage」はこんな方におすすめ!
これまで解説してきたDataStageの機能やメリットを踏まえて、どんな方にDataStageがおすすめなのかを紹介します。
はじめてETLツールを導入する方
日立のDataStageは、はじめてETLツールを導入する方におすすめです。ETLツールを利用する目的は、企業に散在するデータを効率良くまとめ、スムーズな情報活用を目指すことが一般的です。
しかし、実際にはETLツールを導入してどのようにデータを整理すればよいのか、そもそものETLツールの使い方など多くの課題にぶつかります。
日立ではこれまで数多くDataStageを導入しており、その経験から培ったサポートに強みを持っていますので、導入前の段階から導入後の運用方法まで、しっかりとサポートを受けながら活用することが可能です。
日立のETLツール「DataStage」のデメリットは?
DataStageを導入する際は、メリットだけではなくデメリットについても正しく認識した上で、検討する必要があります。そこで、DataStageのデメリットを3つ紹介します。
- 費用が高い
- 最低限の知識は必要
- 使い方を理解するのに時間がかかる
1.費用が高い
DataStageは、利用するために費用がかかります。有料のETLツールはどれも費用がかかりますが、DataStageの費用はやや高額となる可能性が高いと言えます。
DataStageのサービスページを見てみると、詳細な費用については情報がないので、問い合せを行う必要があります。DataStageは基本的に大企業向けのツールとなっているため、格安で利用できる可能性は低いと言えるでしょう。
2.最低限の知識は必要
DataStageを導入することで、プログラミング知識を持たない一般のビジネスユーザー自らデータの管理や連携が可能となります。しかし、最低限の知識は必要になりますので、その点は理解した上で導入する必要があります。
プログラミングができるほどの知識は必要ありませんが、社内のシステムやデータベースに関する知識がないと、DataStageを正しく使いこなすことはできません。また、せっかくDataStageによって社内のデータを統合しても、加工が不十分であったりと精度の低いデータになってしまう可能性があります。
3.使い方を理解するのに時間がかかる
DataStageには、豊富な機能が搭載されています。この機能によって、社内のデータをスムーズに統合することが可能となります。ただし、豊富な機能が搭載されているため、使い方を完全にマスターするにはやや時間がかかります。
特にETLツールを使用したことがない方は、導入後一定期間はDataStageの使い方を学ぶための時間が必要となることを前提としておいた方が良いでしょう。
日立のETLツール「DataStage」と併せて比較検討したいオススメETLツール5選
今回紹介したDataStage以外にも、数多くのETLツールがあります。その中から、DataStageと併せて比較検討したいおすすめのETLツールを紹介します。
DataStageと併せて比較検討したいETLツールまとめ
ツール名 | 特徴 | DataStageより優れている点 | DataStageに劣る点 | こんな方におすすめ! |
Tableau Prep | ・データプレパレーションツール ・Tableauのライセンスがあれば、追加料金なしで利用可能 |
・コストパフォーマンス | ・大企業への導入実績 | ・ETLツールとBIツールを同時に導入検討している方 |
Talend | ・ガートナー社のマジック・クアドラントレポートで6年連続リーダーとして評価されている | ・無料版でも環境次第で十分利用できる | ・大企業への導入実績 | ・それほど扱うデータ量が多くない方 ・できるだけコストを抑えてETLツールを利用したい方 |
Waha! Transformer | ・純国産ETLツール | ・手厚いサポート | ・開発コスト | ・ETLツールについての知識がない方 ・はじめてETLツールを利用する方 |
ASTERIA Warp Core | ・ノーコードで利用できる ・自社の環境に応じてオンプレミスでも、クラウドでも利用可能 |
・低コストで利用できる | ・対応OSがWindowsのみ | ・低コストでETLツールを利用したい方 ・Windows環境のみで問題ない方 |
Pentaho Data Integration | ・BIツールの「Pentaho」に同梱 | ・無料で利用できる | ・サポートなどを受けられない | ・ETLツールやBIツールの知識がある方 ・エンジニアスキル(リソース)に余裕のある方 |
今回紹介するETLツールの中で、コストパフォーマンスを重視するのであれば無料で利用できるTalend(Talend Open Studio)やPentaho Data Integrationがおすすめです。ただし、有料ツールには劣る部分もありますので、本格的な導入を目指すのであればASTERIA Warp Coreとなります。
さらに、BIツールとセットで導入するならTableau Prep、手厚いサポートを求めるならWaha! Transformerなどが選択肢となります。さらに詳しい特徴などはこの後解説していますので、そちらを参考に自社に合ったETLツールを探してみてください。
Tableau Prep
引用元:Tableau Prep
特徴
Tableau Prepは、BIツールのTableauと一緒に利用できるツールです。Tableauのライセンスがあれば、追加料金なしで利用できます。Tableau Prepは厳密にはETLツールではなくデータプレパレーションツールと呼ばれるものですが、実務的にはETLツールとして活用できます。
DataStageより優れている点
Tableau Prepは、前述した通りBIツール「Tableau」のライセンスに含まれているツールです。そのため、BIツールを利用することを前提としてETLツールをお探しであれば、Tableauを選択することで追加費用なしでETLツールも使えるので、コストパフォーマンスはTableau Prepの方が優れていると言えます。
DataStageに劣る点
Tableau Prepは多くの導入実績を持っていますが、大企業への導入実績はDataStageの方が多いため、大企業の方はDataStageの方が向いていると言えます。豊富な機能と多くの導入実績から、大規模なデータ活用にはDataStageがおすすめです。
こんな方におすすめ!
Tableau Prepは、ETLツールとBIツールを同時に導入検討している方におすすめです。BIツールをTableauにすれば、Tableau Prepが追加費用なしで利用でき、もちろんTableauとの相性も良いのでスムーズに導入から利用まで進められます
URL
https://www.tableau.com/ja-jp/learn/get-started/prep
企業ではさまざまなデータを取り扱っており、それらのデータを分析することで、現状を把握したり、新たな戦略のヒントを見つけたりします。企業のIT化・DX化が進んでいる近年は、こうした工程を効率よく進めるために、BIツールを導入する企業も増えてき[…]
Talend
引用元:Talend
特徴
Talendは、自由度の高いETLツールです。基本的にはGUIから操作を行いますが、必要であればJavaコードを読み込んで利用することも可能です。ガートナー社のマジック・クアドラントレポートで6年連続リーダーとして評価も受けています。
また、Hadoopを活用したビッグデータの利用にも対応しています。
DataStageより優れている点
Talendは、無料で利用できる「Talend Open Studio」があります。一般的に無料版のツールは多くの制限があるため実用的ではありません。しかしTalend Open Studioはそういったこともなく、環境次第では本格的なETLツールとして活用できます。
DataStageの無料版はあくまで導入前のトライアルという位置づけなので、本格的に無料で利用することはできません。
DataStageに劣る点
TalendはETLツールとして非常に人気のツールですが、大手企業への導入実績ではDataStageに劣ります。
こんな方におすすめ!
Talendは、それほど扱うデータ量が多くない方、できるだけコストを抑えてETLツールを利用したい方におすすめです。バッチ処理が中心となる場合には、無料版であるTalend Open Studioでも対応可能なので、一切コストをかけずに導入することも可能です。
URL
TalendはETLツールの一つで、企業のデータを統合する役割を果たします。IT化やDX推進によって扱うデータが増え続ける中、こうしたツールの需要も伸びてきています。 そこで今回こちらの記事では、ETLツールの中でも特に有名なツール「[…]
Waha! Transformer
特徴
Waha! Transformerは、純国産ETLツールです。データベース、API、Excelなどさまざまなデータに対応しています。専門的知識も必要無く、簡単な操作でデータの抽出や連携が可能です。
また、膨大な量のデータを扱う際は、メモリに依存しないマルチスレッドを採用しているため、高いパフォーマンスを維持できます。
DataStageより優れている点
Waha! Transformerは、DataStageよりも手厚いサポートが期待できます。自社開発で長年サポートを続けてきた経験をもとに、導入前から導入後までしっかりとしたサポートを受けられます。
DataStageに劣る点
一度利用した開発をDataStageは再利用できるため、開発コストを抑えることができます。この点から、開発コストの面では、Waha! TransformerよりもDataStageの方が優れていると言えます。
こんな方におすすめ!
Waha! Transformerは、ETLツールについての知識がない方、はじめてETLツールを利用する方におすすめです。導入前後の不明点は、サポートに問い合せることでしっかりと解決できますので、ETLツールに詳しくない方でも安心して利用できます。
URL
ASTERIA Warp Core
特徴
ASTERIA Warp Coreは、ノーコードで利用できるETLツールです。自社の環境に応じてオンプレミスでも、クラウドでも利用できます。初期費用0円、最安月額30,000円からというリーズナブルな料金設定も、大きな特徴となっています。
DataStageより優れている点
ASTERIA Warp Coreは、低コストで利用できる点がDataStageより優れています。ツールにそれほど予算を割けない企業は、DataStageよりもASTERIA Warp Coreがおすすめとなります。
DataStageに劣る点
ASTERIA Warp Coreは、対応OSがWindowsのみとなっています。DataStageはLinuxやAIXにも対応しています。
こんな方におすすめ!
ASTERIA Warp Coreは低コストでETLツールを利用したい方、Windows環境のみで問題ない方におすすめです。OSがWindowsのみで問題がなければ、月額30,000円からの低コストでデータの入出力を自動化できます。
URL
https://www.asteria.com/jp/warp_core/
Pentaho Data Integration
特徴
Pentaho Data Integrationは、直感的な操作やグラフィカルな設計環境が特徴のETLツールです。オープンソースBIツールの「Pentaho」に同梱されています。動作環境はWindows、Linux、MacOSに対応しており、ビッグデータからNoSQLまで幅広く処理できます。
DataStageより優れている点
Pentaho Data IntegrationはBIツール「Pentaho」に同梱されているツールであり、Spoon上でデータの可視化を実施する場合を除き無料で利用できます。そのため、DataStageのように高額な費用が発生しません。
DataStageに劣る点
Pentaho Data Integrationは無料で利用できるツールのため、サポートなどを受けられないのがDataStageよりも劣る点となります。
こんな方におすすめ!
Pentaho Data Integrationは、ETLツールやBIツールの知識がある方、エンジニアスキル(リソース)に余裕のある方におすすめです。BIツールのPentahoを導入する際に同梱されているので、Pentahoと併せて利用することが想定されますが、OSSツールなのでサポートがなくても扱えるスキルや知識が必須となります。
URL
https://community.hitachivantara.com/home
企業において業務の効率化や成果の最大化を目指す際、さまざまなツールが用いられます。その中で今回紹介するのが「ETLツール」です。ETLツールの機能は、その他のツールを活用するために重要な役割を果たします。 こちらの記事では、OSSのE[…]
自社に合ったETLツールを上手に選ぶ3つのポイント
DataStageを含む6種類のETLツールを紹介してきましたが、ここからは自社に合ったETLツールを上手に選ぶポイントを3つ紹介します。
- 費用を確認する
- 操作性を確認する
- 機能や連携先を確認する
POINT1:費用を確認する
ETLツールは、まず費用を確認しましょう。月数万円で利用できるものもあれば、数十万円以上必要となるツールもあります。自社でETLツールにどこまで予算をかけることができるのかを確認し、予算に合ったツールを選びましょう。
POINT2:操作性を確認する
ETLツールは、操作性も重要です。多機能なETLツールであっても、操作性が悪いと積極的に活用しにくくなります。また、操作性だけでなく専門的な知識やスキルが必要であるかどうかも同時に確認することをおすすめします。
一般のビジネスユーザーが利用する場合に専門的な知識を必要とするツールを導入してしまうと、十分活用できるようになるまで時間がかかってしまう、あるいは扱い切れないといった恐れがあります。
POINT3:機能や連携先を確認する
ETLツールの機能や連携先も確認しましょう。ETLツールはそれぞれ異なる機能を備えています。確実に利用したい機能がある場合は、その機能を搭載しているかどうかチェックしてみてください。
また、データの連携先やコネクタの種類も確認が必要です。自社で利用しているデータソースと連携して、確実にデータを抽出できるものを選びましょう。
WEB広告運用には広告に特化したETLツールもおすすめ
WEB広告を運用しているシーンでは、WEB広告に特化したETLツールの利用もおすすめです。
広告レポートを自動作成できるETLツール「Databeat Explore」
今回おすすめするETLツールは、WEB広告のレポート作成を自動で行うことができる「Databeat Explore」です。GoogleやYahoo!、FacebookなどさまざまなWEB広告媒体から自動でデータを取得して、レポートを作成する機能を持っています。
WEB広告運用における「Databeat Explore」の活用ポイント
WEB広告運用におけるDatabeat Exploreの活用ポイントを紹介します。
- 自動データ取得
- レポート作成自動化
- データ加工・連携
自動データ取得
Databeat Exploreは、広告媒体から自動でデータを取得できます。媒体の管理画面からダウンロードする必要がありません。複数媒体の運用にも対応しているため、広告データの集計作業を大幅に効率化できます。
レポート作成自動化
広告媒体から取得したデータを使い、Databeat Exploreが自動でレポートを作成します。Databeat Exploreが作成するレポートは、複数のテンプレートを用いて作成されるため、わかりやすく見やすいレポートになっています。
このレポート自動作成機能があれば、レポート作成のためにデータをまとめたり、レポートのレイアウトを考えるといった行程も不要になります。
データ加工・連携
Databeat Exploreはレポート作成以外に、外部ツールへのデータ出力にも対応しています。例えばTableauやLooker Studio(旧Googleデータポータル)などのBIツールを利用しているシーンでは、複数の広告データを加工して最適な状態で出力します。
Databeat Exploreはこんな方にオススメ!
Databeat Exploreは、WEB広告を中心にマーケティングを行っている方、複数の広告媒体の運用を行っている方におすすめです。Databeat Exploreを導入すれば、広告データを一元管理できるようになります。
さらに、レポートも自動で作成されますから、レポート作成に費やす時間も短縮でき、生産的な業務に集中できます。
まとめ
日立のETLツール「DataStage」は、日立とIBMが共同で開発したツールです。開発コストを抑えられる点や、大企業への導入実績が多いなどの特徴を持っています。膨大な量のデータ処理が発生するシーンや大企業でETLツールを導入するのであれば、DataStageはおすすめのツールと言えるでしょう。
ただし、それなりに費用がかかることが想定されるため、ある程度ETLツールのための予算を確保できることが条件となります。コストを抑えてETLツールを利用したい場合は、TalendやASTERIA Warp Coreなどを検討してみてください。
その他にも本記事でいくつかのETLツールを紹介しましたが、ETLツールを選ぶ際は費用や操作性、機能などから総合的に判断することがポイントです。また、最後に紹介した広告レポート自動化ツール「Databeat Explore」は、WEB広告に特化したETLツールとしても利用できます。
WEB広告運用に注力している方は、ぜひ導入をご検討ください。
現在Web広告の業務に関わる方は、「広告レポート自動化ツール」を取り入れることがベストです。 広告レポート自動化ツールは、Web広告のデータ収集・レポーティング業務を効率化する上で大きな威力を発揮します。 そして、業務効率化以外[…]