kylin 修改cube时 如何处理已build的数据

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

kylin 修改cube时 如何处理已build的数据

北极星
大家好我们公司正在研究kylin,准备后续应用到自己的大数据平台,现在遇到一个问题,不知道如何处理,还请指教。


如果需要修改cube以增加新的维度,这时候就需要先purge这个cube。
但是这个cube已经存在一段时间,如果只能purge后才能修改cube,那只能修改后重新build整个cube,这期间可能需要很长时间,而且这段时间cube 处于不可用状态,相当于终止服务。
其实很多场景下能够接受历史数据不包含新增加的维度或者指标,查询时返回null,但是长时间终止服务。。。。


请问这种场景下应该如何处理?。
Reply | Threaded
Open this post in threaded view
|

Re: kylin 修改cube时 如何处理已build的数据

shaofengshi
Use hybrid model to compose the old and new Cubes:

1. https://kylin.apache.org/blog/2015/09/25/hybrid-model/
2. https://issues.apache.org/jira/browse/KYLIN-2317

在 2017年6月1日 上午10:54,北极星 <[hidden email]>写道:

> 大家好我们公司正在研究kylin,准备后续应用到自己的大数据平台,现在遇到一个问题,不知道如何处理,还请指教。
>
>
> 如果需要修改cube以增加新的维度,这时候就需要先purge这个cube。
> 但是这个cube已经存在一段时间,如果只能purge后才能修改cube,那只能修改后重新build整个cube,这期间可能需要很长时间,而且这段时间cube
> 处于不可用状态,相当于终止服务。
> 其实很多场景下能够接受历史数据不包含新增加的维度或者指标,查询时返回null,但是长时间终止服务。。。。
>
>
> 请问这种场景下应该如何处理?。




--
Best regards,

Shaofeng Shi 史少锋