データカタログを使ってダッシュボードの更新処理を効率化したい

Exploratoryには、データをサーバーに保存してダッシュボードのデータソースとして利用できるデータカタログ機能があります。この機能を活用することで、データ加工処理とダッシュボード更新を分離し、更新処理の効率化とスピードアップを実現できます。

役立つ人

ダッシュボードをサーバーにパブリッシュして、スケジュールを設定して定期的に更新している方、データ処理に時間がかかりスケジュール実行がタイムアウトしてしまう方にお役立ていただける機能です。

ダッシュボードの更新時に、複数年分のデータをマージしたり、顧客ごとに表計算を実行したりする処理が含まれていると、データの再インポート時に処理時間が長くなります。その結果、ダッシュボードの更新に何分もかかったり、サーバーでスケジュールを実行した際、タイムアウトしてしまうことがあります。

データカタログ機能を使用すると、データ加工済みのステップをサーバーにパブリッシュし、そのデータをダッシュボードのデータソースとして利用できます。これにより、ダッシュボード更新時にはデータ加工処理を実行する必要がなくなり、大幅な処理時間の短縮が可能になります。

具体的には、まずデータ加工が完了したステップをデータカタログとしてサーバーにパブリッシュします。

次にデータカタログにスケジュールを設定して、サーバー側で定期的にデータ更新を実行させます。

最後に、パブリッシュしたデータカタログをデータソースとしてインポートします。

パブリッシュしたデータカタログをインポートします。

上記の操作により、加工済みのデータをデータソースとしてインポートできるため、インポートしたデータフレーム側にダッシュボードのチャートを準備し、ダッシュボードに配置します。

ダッシュボード側での処理は、加工済みデータをデータカタログから取得して、チャートを描画するだけになります。

そのため、データカタログをデータソースに設定したダッシュボードをパブリッシュして、スケジュールを設定した際の処理速度が向上します。

なお、今回の運用に際しては、一点、注意点があります。

それは、データカタログによるデータの更新が完了した後にダッシュボードの更新を実行させる必要があるため、データカタログの更新タイミングをダッシュボードの更新よりも早く設定しておく必要があるという点です。

例えば、データカタログは毎朝8時に更新するように設定し、ダッシュボードの更新は毎朝9時に設定することで、期待通りの処理を実現できます。