数据仓库知多少
数据仓库知多少
首先,我们来了解一下数据仓库吧!数据仓库是一个面向主题的、集成的、相对稳定的、反应历史变化的数据集合。
我们来看这几个词:
- 面向主题,数据仓库会规划各种业务主题,所以我们需要理解各大主题的范畴以及之间的关系,这样就了解了数仓的基本架构。
- 集成,数据仓库的数据会来自各个业务系统数据或者外部爬取数据,所以需要我们知道每个数据仓库的模型字段都是来自哪个源,这样我们就能快速全面的了解相关业务。
- 相对稳定,数据仓库的数据一般不会实时变化,所以我们今天看去年的数据和明天看去年的数据是一样的,如果我们发现某一个月度数据不对,就可能需要重新汇总历史月份每天的数据(请理解数数仓小伙伴们没及时给你数据)
- 反应历史变化,这就是为什么预测一般就需要数据分析师们大显身手了。
如何利用数据仓库优化数据分析
首先数据分析又是干什么的呢?基于业务需求,结合历史数据,利用相关统计学方法和某些数据挖掘工具算法对数据进行整合、分析,并形成一套最终解决某个业务场景的方案(刚入门数据分析的浅显思考)。
听团队小伙伴说,在数据分析的过程种有大部分的工作都是在处理数据(大部门分我认为是60%工作量),所以为了提高工作效率和质量,借助数据仓库进行数据分析是一个很好的选择。
如何来使用数据仓库呢?
- 了解原始数据,想要真正的理解指标,你必须了解原始明细数据,知道是哪里来的,经过了怎样维度的计算得到的。
- 寻找“干净”数据,数据分析要求数据都是“干净的”(可以作为算法特征输入),而数据仓库中的模型一般都符合你的要求。我们需要找到“干净的”模型,但事实往往不会很顺利,我们需要找到相近的数据,然后自己找到之间同的纽带(关联条件)汇总数据。
- 反馈数据,数据分析在做完整个分析方案后,可以和数据放仓库小伙伴一起分享成果,让数仓同事学习数据分析思路的同时,也可以更好的规划模型,从而进入良性循环。
总结
数据仓库和数据分析都存在的组织架构在很多大团队会有,很多小团队是没有专门的数据分析人员或者数据仓库人员的,二者是合为一体的。
做为一个数据分析猿,你都用哪些数据处理手段,或者对数据仓库需要到怎么的理解程度,可以留言告诉我,一起探讨!
本博客所有文章除特别声明外,均采用 CC BY-SA 4.0 协议 ,转载请注明出处!