いつもITユニプラをご愛読いただきありがとうございます。
今回は第二回「データの取得と生成について記事を投稿していきたいと思います。
データカタログに必要なデータの取得方法や作成方法を確認していきます。
どのような目的でデータカタログを作成するのかに着眼し、5W1Hでまとめてみました。
目次
目次
- データカタログとは？
- 前回の内容「①データの種類と属性」
- データカタログ作成10ヵ条其の②データの取得と生成
データカタログとは？
データカタログは、企業や組織で生成されたデータやメタデータ※を収集し、企業が保有するデータの一覧や詳細を簡単に確認できるようにするシステムです。これにより、必要なデータを素早く見つけ出し、ビジネス戦略や経営の意思決定などに活用することができます。
※メタデータ・・・データを説明するためのデータ。
例:売上金額といったデータがあった場合、その売上月や地域（どのエリアの売り上げか？）、
商品のことを言います
【データ活用】データカタログのポイント
前回の内容「①データの種類と属性」
今回の内容にも関わるデータの種類と属性については前回記事にてまとめております。
①データの種類と属性
データカタログ作成10ヵ条其の②データの取得と生成
前回は、データカタログを作成するための、基となるデータの種類と属性を洗い出しました。
今回は、洗い出したデータが実際にどこにあってどのように取得できそうかという観点から取得と生成について確認していきます。
データの取得と生成
データカタログを作成するにあたっては、次回以降で記事にしていく予定ですが、データの活用を促進していけるよう運用も想定したルール作りが大切です。鮮度のあるデータを継続して活用していけるよう文書化したり取得方法やその頻度を明確にしておくことが大切です。
以下にデータ取得と生成時のポイントを5W1Hでまとめてみました。
データ取得/生成の5W1H
取得したいデータ、生成したいデータごとに５W1Hに当てはめて確認していくと、文書化・プロセス化がしやすいかと思います。
5W1H「When：いつ」「Where：どこで」「Who：だれが」「What：何を」「Why：なぜ」「How：どのように」
When
いつ、どのタイミングで生成されるデータなのか、頻度とタイミングを明確にします。
リアルタイムに生成されるデータなのか、夜間などにバッチで処理され発生するデータなのかなどがあります。
Where
どこから取得可能なデータなのか、生成元（データベース、API、内部システム）を明確にします。
データが保存されている場所により取得方法が変わってきます。最近ではクラウドサービスの利用も増えているかと思います。
Who
誰が、どのシステムが取得可能なのか、認証やセキュリティ対策が取られているのかも含め明確にします。
人手で取得する場合等、データの取得が適切に保護されているかも確認します。
What
生成されるデータが何なのかを明確にし、その生成プロセスを確認します。
システムが生成しているデータなのか、人が手動で作成しているデータなのかです。
Why
データカタログを作成する初めの段階で決めておく必要があります。
何がしたくてカタログ化するのか？明確にします。
よくあるユースケースとして、コストの削減や業務効率化、商品の優位性の創出や顧客満足度向上などの目的があります。
How
5Wに対してどのような手法でデータを取得するのが良いのかを明確にします。
データ取得においてエラーが発生した場合のハンドリング手順や、取得状況をモニタリングできるようにする方法についても検討します。
トラブル時の検知や対処、影響度を定義しておくことが重要です。
また、取得するために必要なコストやリソースについても確認しておくことが必要です。
これには、データストレージの費用、APIの利用料金、取得する処理の開発やツールの使用料それに必要なハードウェアなどが含まれます。
取得するデータごとに、5W1Hをまとめることで、データカタログ作成で必要な取得と生成のプロセスが明確に整理していけます。
今回は、5W1Hという形式で明確にするポイントをまとめましたが、他の形式でも、データ取得・作成の方法を同じ形式で文書化・明確化することによりデータが追加になる場合や取得元が変更になった際にも同じ形式で対応が可能かと思います。
次回は、「データの保存場所と管理」について記載したいと思います。
