PrestoをアップデートしたらHivemetastoreを落としてしまった

うちで運用しているPresto + HivemetastoreのシステムでPrestoを0.174以上に上げてトラブったのでメモ書き。

うちで運用しているシステムっていうのはこれ => https://www.slideshare.net/techblogyahoo/teradata-prestodb

2020/02/16 追記

v330のドキュメントからはHive metastoreのCache周りの設定について記述が追加されました。

Presto 0.174でHivemetastoreに対するキャッシュがデフォルトで無効化されており PrestoのバージョンアップによりHivemetastoreへのリクエストが増えてしまいHivemetastoreを落としてしまった。

バージョンアップ前でも結構ギリギリだったやつがリクエスト増えたせいでHiveサーバーのキャパシティを超えてしまった。

Hive metadataのキャッシュを再度有効化するにはhive.metastore-cache-ttl と hive.metastore-refresh-intervalのパラメータを有効にする必要がある。ただし、これらのパラメータはドキュメントには記載されていない。

今回トラブったおかげでこのパラメータのデフォルト値が書かれているクラスのコードを読んだが、他にもドキュメントに記載されてないパラメータがいくつかあったので改めてコードを読み直したい。

とりあえず、今回のトラブル関わったであろうパラメータ2つについては、ドキュメントに記載して欲しかったのでPRを送っておいた。