Presto (2) 썸네일형 리스트형 [Presto] Nginx + Reverse proxy를 이용한 Cache Layer 구축기 현재 Tabluea + Presto + Kudu 를 이용해 BI 플랫폼을 제공하는 프로젝트를 진행중이다. 이때 Tabluea를 통해 매일 일간 지표에 대한 대시보드를 제공하고 있는데, 매번 사용자가 Tabluea에 접속할때마다 Presto 쿼리가 수행되어 대시보드 화면이 늦고, Presto & Kudu의 리소스가 낭비가 되는 문제가 있었다. 이를 해결하기 위해 Presto 앞에 Cache Layer를 하나 두고, 동일한 쿼리를 수행하려고 하면 캐싱된 값을 리턴 할 수 있도록 만들어 보고자 했다. 1. Presto-jdbc의 통신방식 Presto-jdbc를 보다보니, JDBC Driver와 Presto coordinator간에 http로 통신하는 것을 확인하였다. 즉 일반적인 http 캐싱 방식으로 처리하.. [Kudu]Kudu와 Presto 그리고 unix_timestamp에 대해 이해하기 Kudu 공식 문서에도 나와있지만 Kudu에서 주로 사용하는 쿼리엔진은 Impala나 Hive다. 하지만 필자는 이미 사용하고 있는 Presto 클러스터가 있어 Presto-Kudu Connector 를 이용하여 Kudu에 쿼리를 수행하고 있었는데, Kudu의 unixtime_micros 타입의 컬럼이 계속 헷갈려 여러가지 테스트를 수행해 보았다. 이 포스팅은 그 테스트 과정 및 결과에 대한 이야기이다. Kudu에 데이터를 넣을때 KST(UTC+9) 시간을 UTC로 변경해서 넣어야 할까? 사실 많은 개발자들이 알고있듯, 유닉스_시간은 1970년 1월1일 부터 현재까지의 시간을 정수형으로 나타낸 값이다. Kudu에도 시간을 나타내는 컬럼인 unixtime_micros 타입의 컬럼이 유닉스 타임을 저장하기 .. 이전 1 다음