いつもITユニプラをご愛読いただきありがとうございます。
今回は、データを活用していくうえで、気にしておいた方が良いこととしてデータリネージュについて記事にしました。
どんなことができるのか、確認していきます。
目次
- データリネージュとは？
- データリネージュのメリット
- ユニリタプラスが提供するETLツール
データリネージュとは？
データリネージュは、データがどこで生成されて、どんな処理をされて最終どこに行きつくか、データの流れを管理する仕組みです。
様々なデータソースが増えていくと、分析などのデータ活用のニーズが出てきます。
分析などで活用するためには、大概そのデータ同士を組み合わたり結合をしたりとデータを利用しやすいように処理したり、移動させたりすることがあります。
そのため手元にあるデータがどこから出力されたデータなのか？どんな処理がされたデータなのか？等状況を把握することが重要です。
データリネージュを取り入れることで、利用するデータは、何のデータなのか？システムのデータの追加や変更があった際の影響範囲の特定や管理の手間を減らすことにも繋がります。
データリネージュのメリット
前章でも記載した通り、データの流れが把握できることで、利用・管理の手間を減らすことを実現しまた、データの品質・鮮度・信頼性を向上させることが可能となります。具体的には以下のようなメリットがあります。
１．データの信頼性の担保
データの生成から利用までの経路や変更の履歴を把握することでどんなデータなのか？を把握でき信頼性のある分析や判断ができるようになります。
２．運用の効率化
システムのトラブル発生時にデータが受ける影響やトラブルの原因の特定、データの経路内での漏洩などのセキュリティリスクを把握し運用の設計や事前に対策を立てることが可能になります。
３．データ修正のサポート
システムの仕様変更や利用したいデータの変更があった際に、データに対してどこでどんな対応をしたら良いかを可視化することにより、変更時のミスを減らし、データの品質の維持・向上を図ることができます。
４．コスト削減
煩雑なデータの管理は、人手による解析や運用が発生しコストが増大しがちです。データリネージュによって管理上不要な部分の洗い出しを行い効率的なデータ管理運用をサポートします。
５．リスク回避
データの流れを把握することで漏洩や不正利用・改ざんのリスクの発見や防止に役立ちます。
ユニリタプラスが提供するETLツール
弊社では、様々なシステム間の橋渡しを行う
ＥＴＬツール"Waha! Transformer"を取り扱っております。
Waha! Transformerは、画面上でデータのフローを設計することでデータの入力から変換・クレンジング・出力をデータの流れを結成しつつ可視化することが可能です。
また、作成した処理はドキュメントとしても管理していただけるので、データリネージュを把握するのに役立てることができます。
システムやサービスのデータの活用で課題がある際はお気軽にお問合せいただければと思います。
また、データを活用するためのプラットフォーム「クラウドデータプラットフォーム」も提供しております。こちらは利用する器だけでなく、目的に対してどのようなデータを揃えたらよいかどのような設計をしたらよいかの支援から運用まで幅広くサポートさせていただいております。
以下のリンクでデータクラウドプラットフォームについてご紹介させていただていおります。
https://www.uniritaplus.co.jp/data_solution
