染雾回顾早期的争论 现在搞大数据(后端数据)的朋友，和早些年搞数据仓库的没啥本质区别，因为都是人为需要把各系统的数据集中化，现在增加个非结构化数据，于是就叫大数据，而以前就叫数据仓库。 在10多年前，数据仓库界一直有个争论，到底是TOP-DOWN好还是Bottom-UP好，一边说，我先把企业所有数据都集成，数据基础做扎实了，然后分析就可以源源不断产出了。而另一边认为，我们得先建数据集市，把业务主题搞扎实，让数据先有产出，然后再多个主题后再进行数据梳理整合。 前者的诟病是大半年都不会有啥“数据变现”的产出，问产出，就一直在说，系统搭建中，XX系统搭好了，XX 业务数据集成了，等等。后者的诟病是，数据是有产出了，但是不同主题间的数据会有管理问题、每个主题需要不断添加新的数据源，开发、数据冗余都是个问题。 这是数据仓库界争论10多年的话题，直到近两年大数据兴起，大家就都没兴趣讨论了。在很多企业，大家都采用数据团队组织基础数据，做传统数据仓库前者的事情，再组织一个商业数据分析团队，做后者的事情。只不过大家都很少提数据仓库、BI这些老概念，不知道认为过时了，还是新一代数据人都不知道这些历史。其实本质是一样的，IBM等企业10年前就是2 个团队在做，前后者的优势兼得。 商业数据分析的传统 在商业数据分析方面，我也是近4、5年才真正切入，之前都是做传统的数据仓库和BI。不过我经常欣赏几十年前的小数据商业分析的成功案例，试想小数据时代商业分析如此成功，大数据时代炒得那么热，却炒来炒去，就那么几个案例，有意思么? 我这里还是介绍那2个经典小数据时代的案例： 1。早期超市为了优化超市设计，采用人工观察，到后来的视频观察，来解析用户行为，他们解析用户行为的时候，发现了几个方面的业务改进Idea，超出了预期的想法。当看到人们眼光主要放在眼睛上下30度范围，于是陈列的时候，总是把利润最高的放这2排，利润低，性价比高的分别放上面和最下面;当发现人们通过买面包顺便买红酒，而不是买红酒顺便买面包，于是他们改变两种商品的组合和区域顺序;当发现免费品尝某水果，可以带动新鲜水果以及高利润的纯果汁的时候，超市又改变了策略。 2。有个商场，纠结于传统方案是现代方案，于是两个方案同时上，一个是用咨询团队，一个是监控方案，数人数看人流。结果咨询团队的方案胜，原因是咨询团队虽然是小数据，但是他们的抽样数据都是按照经验选择恰当的样本，其次小数据的信息非常全面，包括人的性别、年龄、身份背景、收入水平(经验判断)、去哪个区域，买东西走到哪一步了(咨询、试穿、有没讨价还价)，这些数据监控都没法得出，所以监控数据全面，但无法给出任何实质价值意义的建议，都是些空话。 大数据商业分析应该TO-DWON还是Botton-Up? 一种思路是需要足够大、全面的数据，没有解决不了的分析，一上来把所有可能的维度、数据分布、趋势都尝试一遍，认为没有规律也能看出规律了;一种是看问题，需要解决什么问题，就做什么分析，缺什么数据再从大数据中去取。 有人问，如果采用第二种方案，那么大数据价值何在，那么多数据都没利用起来?我想问，如果你想挖前面一座金山，你是挖一部分，然后淘一部分出来卖，还是把金山都挖完，然后一点点淘出来卖呢?当然你选择第一种，但你选择这个，你不会说浪费了整个金山，因为你知道你需一点点变现后才会有动力挖后面的。但为啥那么多搞大数据的人不是这个思路呢? 看到这里，可能大家认为我偏向第二种方案，其实不全是，我一直认为任何方案都有其优势，中庸取其精华最好。第二种方案的死穴是，如果你问题没搞得透彻明白，那么分析的都是无用功，都是在错误的轨道上转圈。 什么是大数据时代好的分析方案? 我们来看第一个超市案例，他通过一个简单的、人工判断过的“
[大数据时代的商业分析]
