加拿大外贸
数据分析这点事先声明一下,按照传统的定义,我还真不是数据分析高手,各种关联算法,只会最简单的一种(话说不少场合还算管用);各种挖掘技术,基本上一窍不通;各种牛逼的数据分析工具,除了最简单的几个免费统计平台之外,基本上一个都不会用。所以,各种高手高高手请随意BS,或自行忽略。这里说点高手不说的。
从微博段子说起,微博上关于数据分析有两个段子,我经常当作案例讲,第一个段子,说某投资商对某企业所属行业有兴趣,要做背景调查,甲是技术流,一周分析各种网上数据,四处寻找行业材料,天天熬夜,终于写出一份报告;乙是人脉流,和对方高管喝了次酒,请对方核心人员吃了顿饭,所有内幕数据全搞定,问谁的方法是对的;第二个段子,某电商发现竞争对手淘宝店,周收入突然下降了30%,但是隔周后又自然恢复,中间毫无其他异常现象,于是老板让分析师分析,苦逼的分析师辛苦数日,做各种数学模型,总算找到勉强的理由自圆其说,老板读毕,虽说不能让人信服,却也没有更合理的解释,某日,见对手老板,闲聊此事,“你们某段时间怎么突然收入下降?”“嗨,别提了,丈母娘去世了,回家奔丧,公司放羊了。”老板恍然大悟。
两个段子,第一个段子,微博上一边倒的说,苦逼分析没有人脉有用;第二个段子类似,一边倒的认为,人脉的消息比苦逼分析管用多了。但是我想说的是,这个解读绝对是错的!
先说第一个段子,其实网络不乏这种“人脉达人”,特别是媒体圈,一些所谓的“IT名记”或者“著名评论家、分析师”和各种互联网大佬称兄道弟,天天秘闻不断,但是呢?他们从不研究产品,不分析用户,所以,他们知道了数据,却不懂数据背后是什么,更不知道什么是重要的,什么是次要的,我有时会批评身边这样的朋友,别天天觉得自己知道几个互联网大佬的花边新闻,就当自己是资深业内人士了,正因为掌握这些东西又觉得炫耀,才反而忽视了真正有价值的信息和有价值的数据。这就是为什么混网络媒体的,见过市面的各种达人,在互联网创业浪潮里,几乎没有成功几率的真实原因,自以为人脉广泛,无所不知,其实正因为缺乏最基本的数据背景分析,所以才是看上去什么都懂,细究下其实什么都不懂。请记住一点,除非你是富二代,官二代,衔着金钥匙出生,那不在我的讨论范围里,否则,没有苦逼的经历,就没有牛逼的成就。
我常订阅一些著名分析师的微博,他们透露的数据往往是很有价值的(这是我订阅的原因),但是他们的解读通常是惨不忍睹的,这就是只看表象的恶果,而且随便翻看一下他们的数据解读,可以说他们的数据感和数据认知贫乏到可笑,甚至缺乏最基本的数据校核和考证的能力,他们拿到了某公司核心数据又怎样?没经历过苦逼的分析,他们其实什么都看不到。
第二个段子同理,如果不是持续有效的数据跟踪,怎么能得出下降30%的结论,这一数据结论与人脉得到的消息相互验证,才会得到完整真实的结果,否则仅仅是闲聊,你怎能知道对方企业管理对业绩影响的范畴,苦逼的分析也许一时没有人脉的消息管用,但是你所得到的对数据的认知和积累,是人脉永远不会给你的。
所以,再次强调,基本的数据跟踪和日常的数据感养成,绝不是可以忽略和无视的。人脉情报可以成为数据解读重要的信息来源,但是绝不能喧宾夺主,替代基本的数据分析工作。
下面说一下数据感,什么是数据感?就是别人说一个数据出来,你会琢磨一下这个是否符合常理,与你日常的数据观测经验是否一致,如果不一致,那么可能的理由是哪些? 比如12306号称一天几十亿次点击,如果你有数据感,第一眼就会质疑这个“点击”定义的合理性;比如曾经有人说某国内图片分享网站一天多少亿访问量,第一眼就知道这个“访问量”定义是有歧义的,(事后官方解释是图片加载量,这个和访问量差异几十倍。) 数据感需要不断的培养,和基本的逻辑(比如你应该知道中国有多少网民,每天有多少人上网,一个大概什么类型,什么排名的网站会覆盖网民的比例是多少),以及善于利用各种工具,我以前在巨头公司,得益于公司巨大的数据资源,可以看到很多互联网的核心数据;但是离开后,才发现,其实互联网上公开可获取的数据途径是非常多的,而且善于利用的话非常有效。每天去查询一些感兴趣的数据,经过一段时间积累,想没有数据感都难。
作为公司或团队负责人,怎么培养员工的数据感,我其实也有一个建议,平时可以搞一些小的竞猜,比如团队集体竞猜新产品或产品改版上线后的日活跃用户,或者pv数字,或者收入数据,等等;然后看谁的最准,一种是惩罚制,最不准的请最准的喝奶茶,吃冰淇淋;另一种不惩罚,最准的累计积分后公司可以发一些奖品鼓励,这样下去大家的数据感就会在日常培养起来,而且对团队的气氛培养也有帮助。
数据感之后,谈数据分析的方法,我的建议是,不炫技,不苛求技术复杂度,最简单的数据,所包含的信息往往是最有价值的,而很多人恰恰这一步都没做好,就总想着弄一堆挖掘算法;数据的价值在于正确的解读,而不是处理算法的复杂度,切不可喧宾夺主。 大公司的kpi制度,往往会产生偏差,比如技术工程师的评定,要讲究“技术复杂度”、“技术领先性”,直接导致简单的事情没人肯做,最基本的工作不认真做!所以往往是大公司的分析工程师,为了评高级工程师,非要简单问题复杂化,四则运算就搞定的事情一定要弄一套诡异的算法,最终非但浪费了资源,消耗了时间,而且往往由于工程师对业务理解的漠视,对应的产品人员又对算法的陌生,导致了严重的理解歧义,从而出现各种误读。
下面说关键,数据解读,正确的数据解读,是所有数据分析工作最关键的一步,这一步错了,前面的所有努力都是白搭,然后,往往很多人简单的以为“数据会说话”,他们认为把数据处理完一摆就ok了,所以我看到很多知名分析师拿着正确的数据信口胡诌;而更有甚者,显然是故意的行为,一个非常非常著名的、口碑极佳的跨国企业,曾经就同一份很酷的数据,在不同的场合下,为了市场公关的需求,做出不同的解读;这简直就是道德问题了。
数据解读,不能是为了迎合谁,要遵循数据的本质,要遵循科学的逻辑,要有想象力(配合求证),可能有时候也需要依赖人脉关系所获得的情报,(这个也有很多典型范例),这个具体再怎么说可能我也说不清楚,说几个反面例子也许更容易理解。
1、因果关联错误,或忽略关键因素,A和B的数据高度相关,有人就片面认为A影响了B,或者B影响了A;但是,有时候真实原因是C同时影响了A和B,有时候C被忽略掉了。
2、忽略沉默的大多数,特别是网上投票,调查,极易产生这种偏差,参与者往往有一定的共同诉求,而未参与者往往才是主流用户。
3、数据定义错误,或理解歧义,在技术与市场、产品人员沟通中产生信息歧义,直接导致所处理的数据和所需求的数据有偏差,结果显著不正确。
4、强行匹配;不同公司,不同领域的数据定义可能不一致,在同一个公司内或领域内做对比,往往没有问题,大家对此都很习惯,却有评论家不懂装懂,强行将不同定义的数据放在一起对比做结论,显著失真;海外著名金融机构在分析中国页游和端游市场就连续犯这类错误。
5、忽略前提;有些数据结论是基于某种前提,符合某种特定场景下得出的,但是解读者有意或无意忽略前提,将结论扩大化,显著误读。
6、忽略交互;在商业模式改造和产品改进,往往都会出这类问题,最简单说,你游戏中的道具降价,对收入的影响是增还是减?如果忽略交互,仅仅依赖于数据推算,当然是减,但是实际呢?做运营的都知道。
7、缺乏常识;如果对一些重要的纪念日,节日,或者网购节不了解,那去处理有关数据显然就不知所云了。做行业报告更是如此,很难想像对行业不了解的人能做出怎样的报告。
8、无视样本偏差;我们通常做数据调研,是基于样本数据,而采样过程本身很难做到完全的公平和分散,样本偏差要控制在合理范畴内,即便无法控制,在结论中也需要标注;这才是严谨的数据解读,对样本偏差视而不见,甚至为了某种宣传目的刻意寻找偏差的样本,都不可能做出好的数据结论。
那么, 数据处理也多说一点,虽说是个技术活,但是有些不那么技术的事情,也必须做到位才行;很多时候,我看到一个数据,不符合我的预期,我第一反应,是了解数据来源和处理逻辑,我们通常面对的数据,包括大量的干扰,噪音数据,以及一些识别上容易产生歧义甚至误判的数据,这都是需要处理的,很多时候工程师只关心算法层面、效率层面,不愿意也不关心这些东西,所得出的数据结论失真度就非常高,越是大公司,这种情况越普遍;在我效力的巨头公司时,这样的范例非常多,处理方法其实很简单,多看看源数据,对中间的噪音和干扰数据正确识别标注,对容易误判的数据进行二次判定,全是苦力活,没啥技术含量,但是这是必须的。
最后,很多人想知道我怎么看数据,或者想问我,他们每天看很多数据,不知道怎么去看,我其实有很简单的三板斧,一学就会,一用就灵,对常见的数据场景,可解决绝大部分日常需求。 简单说就是“对比,细分,溯源” 六字真言,没了。
对比,数据放在那里,是没意义的,你说你游戏周流失率80%,啥情况?不知道,你问我我也不知道。对比起来才知道。
一是横比,你拿出50款游戏来比,别人平均流失率90%,你80%,你游戏还不错勒,别人要平均流失65%,你80%,这就有问题了。
二是纵比,和自己时间轴比,你两个月前1.0版本流失率90%,你现在80%,有进步么,你要是两个月前是50%,现在80%,好好反思喽。
所以,我特别强调,在通常企业数据监控,显示一大屏数据的界面上,对比特征要最大体现,比如所有同比下降超过多少比例的一概红色体现,所有上升多少比例的一概绿色体现,公司运营状况一目了然。
细分,数据出现对比异常,你当然想知道原因,那就需要细分了。
细分先分维度,再分粒度,什么是维度?你按照时间去分,就是时间维度,按照地区去分,就是地区维度,按照来路去分,就是来路维度,按照受访去分,就是受访维度;你说今天网站访问量涨了5%,咋回事不知道,你细分一看,大部分网页都没涨,某个频道某个活动页涨了300%,这就清楚了,这就是细分最简单的范例,其实很多领域都通用。 粒度是什么,你时间维度,是按照天,还是按照小时?这就是粒度差异,你来路维度,是来路的网站,还是来路的url,这就是粒度的差异;这样可以将对比的差异值逐级锁定,寻找原因。
溯源,有时候我对比,细分锁定到具体维度,具体粒度了,依然没有结论,怎么办,溯源,依据锁定的这个维度和粒度作为搜索条件,查询所涉及的源日志,源记录,然后基于此分析和反思用户的行为,往往会有惊人的发现,我们正是基于这一逻辑发现过产品的一些缺陷,而且你不断通过这个方式分析数据,对用户行为的理解也会逐步加深。
其实,这个话题还有很多延伸,比如,如何看一个年轻人有没有数据分析潜质;以及如何培养数据分析和产品分析人才,等等,不过,就这样吧。今天说的不少了,我水平有限,吃饭的就这几招,而且又老又笨,大家都会了我离下岗也不远了,您就凑活看吧。
感谢诸多网友反馈提到的错误用词,纬度修改为维度,特此标注。
http://hi.baidu.com/ncaoz/item/564975db8fcd6495260ae79e
评论
郭昂9 :也谈数据分析这点事
昨天看到了caoz写的《数据分析这点事》,非常值得深度,看完后很有感触,也在这里随便写写关于数据分析的个人看法。
首先,在数据分析中我也不敢妄称高手,不会很多分析算法,不会用啥统计工具,只会傻傻的去盯着看。但是我非常喜欢看各种数据,大学时整天看各种硬件评测;研究生阶段看了无数相机、镜头评测;后来是每周琢磨全世界各种游戏机、游戏的销量。工作中也特别喜欢建立各种统计系统,看各种数据,现在公司的所有统计代码都是我自己写的,一般工作每天也会花接近30%的时间研究数据,至少可以算是个不折不扣的数据分析爱好者了。
关于数据分析,caoz已经说的非常好了,我也只能补充一下自己的经验感受了。
1、不管做统计还是看别人的数据,第一步永远是数据获取的可靠性。假如是采样数据的话,一定要看看采样方式,看看可能会存在什么样的误差。如果是自己数据的话,也要看看数据获取本身是否科学,例如统计用户行为一般都用js回调,如果还用apache日志来做统计,结果想来也不会靠谱。
2、获取到数据之后,肯定是需要建立统计,这时候,需要想想,建立什么样的统计信息才能更好的分析产品及用户的特性。很多时候,往往单一特征已经很难去描述,需要综合很多地方来看。例如网页搜索中,往往要看首条CTR、前三条CTR,末次点击等多种因素,并通过很多种不同因素结合做出分析和判断。
3、对数据要抱有怀疑之心,尤其是数据本身与你要达到的结论之间有没有必然的因果关系。举个例子,网页搜索结果如果CTR高一定就是体验好吗?搜索广告的RPM高就一定理想吗?
4、生成同一个数据,往往可以有不同的统计方法,如果选择错误的话,结论往往会大相径庭。例如想分析网站对搜索引擎的依赖性,究竟应该用PV,用Session,还是用UV做统计呢?如果一个用户一天访问多次,某些是来自搜索引擎,某些是主动访问,该如何计算呢?这里面还是有很深的学问。
5、数据中往往会有很多噪声,怎么将这些噪声过滤也很重要。就像投票有投票机,有些spider会执行你的统计js,有些用户会误点,如果没有很好的过滤和处理,会使数据的可靠性大打折扣。
6、理解各种可能会使数据产生波动的原因,并通过不断的分析、验证和排除找到真正原因。例如当发生搜索流量下降,有可能有很多种原因,例如机房网络出故障、竞争对手用某些产品捣乱、上线的代码存在重大不稳定因素、运营商出故障或者拉闸限电等等,这中间每个都有不同的验证方式,需要从服务器日志、基调数据、分区域、用户行为等多个维度去进行跟踪和试验,找到真正可能的核心原因。
对数据进行预估和判断需要一种感觉,这种感觉不是天生的,而需要不断的锻炼和培养。这个过程可能很漫长,一般情况下,需要先看很多数据,培养自己对数据的基本认识,也要分析一些事件中(如周末、节假日、或者故障等)数据的变化。而在产品上线前,先自己锻炼一下预估,然后再通过实际值对自己的预判进行验证和评估。通过这种不断的学习和分析,逐渐培养出自己对数据的领悟。
数据来源于用户,这个很多时候更是需要对人性的研究和分析。就像摆在页面不同位置的广告,CTR一般能达到多少?同样位置,摆广告好还是摆用户产品好?要做某个新产品,CTR能到多少?做互联网的大多是高端用户,很多东西自己是不会用不会点的,但正是这样,需要对用户有非常强的代入感,去换位思考,去分析人性,才能事先避免很多过于乐观的预估,以及无谓的试错。
以上,是自己的一点经验之谈。
http://blog.sina.com.cn/s/blog_6592c40501019bt3.html
评论
作为公司或团队负责人,怎么培养员工的数据感,我其实也有一个建议,平时可以搞一些小的竞猜,比如团队集体竞猜新产品或产品改版上线后的日活跃用户,或者pv数字,或者收入数据,等等;然后看谁的最准,一种是惩罚制,最不准的请最准的喝奶茶,吃冰淇淋;另一种不惩罚,最准的累计积分后公司可以发一些奖品鼓励,这样下去大家的数据感就会在日常培养起来,而且对团队的气氛培养也有帮助。
评论
学习领教了,谢谢分享
加拿大电商做区块链为什么都注册新加坡基金会 目前做区块链项目的客户都会通过注册基金会来作为项目的主体,为什么都在新加坡注册基金会,首先性价比高,而且新加坡市场也比较成熟,项目 加拿大电商露天电影首发——葡中双语字幕《中央车站》 http://bbs.shanghai.com/thread-1714999-1-1.html screen.width*0.7) {this.resized=true; this.width=screen.width*0.7; this.alt='Click here to open new window\nCTRL+Mouse wheel to zoo
·生活百科 我被骗了,对吗? (水管工/热水器。)
·生活百科 地板隔热层