数据分析,最先要明确的是目的,没有目的,就没有方向。目的是做数据分析的一条主线,根据目的才能去想要什么数据,要经过哪些处理,再进行什么样的分析,得出什么样的报告。 那么,我们就来进行数据分析的第一步,我们先来假设一个命题,也就是我们的目的,做电商的人都知道,流量对于店铺来说,是一个很重要的东西,而要有流量,就要有展现,展现分很多,各种活动,直通车钻展,当然还有大家最喜欢的免费流量,免费的展现。那最核心的还是,想要有展现,就得有排名。那我们不妨来研究一下,排名到底有什么样的规则。 一篇文章,必然讲不完那么大的一个命题,所以我给大家演示的也是其中的一部分。众所皆知,在免费流量里面,综合入口是最大的,而影响综合入口一个很大的因素就是上下架时间点对于排名的影响(当然除了3个豆腐块之外),那这次就来看看上下架的时间点,对于排名来说,它的影响到底是什么样的。 目前有了目的,我们就要来选择数据,我们需要什么数据来分析,那第一个能想到的,必然就是在某一个时间点,在某一个关键词下面,综合排名前几页的宝贝的具体下架时间。 查找你想了解的宝贝关键词,拉出相关数据(我用的驭宝魔盒拉的数据,也可以用其他软件采集):
这里已经有了我们所需要的上下架时间,这时候你要做好记录,什么关键词,词的宝贝数是多少,什么时间点拉下来的。
我会这样做一个记录。这个记录方便以后查看,包括可能后续的需要更加大数据或者其他方面的研究。 好了,我们完成了第二个步骤,我们有了数据,接下去,就是考验大家用工具的一些基本功底了,我们要对整个数据进行一些处理。光光这么看数据,可能能看出一些东西来,但是必然不严谨,偶然性比较大,而且我们需要分析的维度是时间,时间在这里,还不是一个序列,只是一个变量,但是这又不是一个数值型的变量,不能直接拿来做一个直观的比较。而且有时候不处理直接看几万条数据,看见头都会大。所以数据处理和清理这一步很重要。 所以这里,我就对于这个时间变量进行一个模拟变量的数字化:
首先一步,我会把这个时间点,单独提取出来,当然,日期也是,日期必然也会有好多个日期:
但是我会先把其他日期屏蔽掉,因为其他日期的量很少,属于离群值,大家也都知道,离群值不同于异常值(当然也要经过分析看看是不是异常值,由于软件跟系统原因,出现异常值也是正常),但是这些离群值,数量不大,除了3个是豆腐块之外,也就一只手不到的数目,这些数目,我们可以单独作为研究,其实这也是一个很好的维度,我们可以看看,为什么这些宝贝离下架时间点明明还有很长的时间,但是却能在前面几页,当然这不是我们目前主要的课题,所以不深入讨论,大家感兴趣可以自行研究。 好了,异常值也没有了,接下去,我们要做的就是模拟变量的一个数字化,以便于我们分析,这里就是让时间变量,变成我们可以分析的数值,大概的意思就是离我查询的那个时间点为标准,离的近的数字小,离的远的数字大。
其中的14点,就是我查询的时间,所以就以这个为一个标准点。经过这些处理之后,我们就大概的得到了我们想要的一个数据,就是我们有了排名,有了上下架时间。 接下去,就是展现我们数据分析师功底的时候了,我的做法是,先把这个导入到常用的数据分析软件SAS中,一般我个人使用的话,一般使用的是SAS Enterprise Guide这个模块,比较无脑党一点。
大概简单的这么做了一个过程流:
这是大概做的一个数据流,我还是跟大家讲讲我那时候做的一个思路吧,那个才是最重要的,也是我希望大家能学到的。
这个就是我刚刚弄好的两个变量,其中假设排名分,就是设的一个根据排名越高,给分越高的一个设定,在这个分析中,并没有什么作用,大家不必去在意。然后,需要做一个初步判断,最简单的方法,就是作图,直观,简单,能看出很多东西。我先做了一个散点图,看看分布。
其实就这个图,就能说明很多的问题了,我们已经可以初步的下一个结论,这个词,时间点到了某一个点之后,排名最前面的一些,和后面的完全不是一个规则,或者说权重。然后也可以初步判断,在某个时间段之内后,排名靠前之后,其中的权重应该为差不多,而不是再根据时间点的推移,加大权重。当然这需要验证,包括可以研究,究竟是这个词的原因,还是说这个量级的宝贝数都是这个规则。大家可以自己去做一个验证。 图其实已经告诉我了,这样发分布规则,基本做不了其他什么数据的分析了,这里规则分两个,但是其中的关联基本没有,我这边也可以演示给大家看:
很明显,这个P值太大,根本没法拒绝原假设,这个词基本不能正常的做一个逻辑回归的分析,当然也可以分类做个验证:
我是把排名前40位做了个验证,也可以看到,至少可以说吗,单单根据上下架,是无法做出什么判断了。 当然,我们也可以看看,是否说,天猫店跟集市店,对于排名是否有影响:
可以看出,1为天猫店,0为集市店。在这个词,确实天猫店在第一页的占比会比后面几页要高,具体当然还需要大家去找更多的证据去证明。我这边更多的是提供一种思维思路,指引大家自己去做一个分析。 当然,我们会想到的是,词的一个宝贝数,量级的一个影响,我们可以把上面的看成是一个50万宝贝数的量级。 那我接下去再分析了两个词,一个是10万,一个是100万左右宝贝数的词。我们先来看10万的:
这边纵坐标的1,已经是代表了1天,因为这个词的宝贝数比较少,已经不能把日期看做一个离群值来考虑了。可以看到,这边明显分为3个层级,在一天到一天半之内的时间,也是可以上首页的,那我们是否也可以考虑,把这三个层级分下,看看具体他们宝贝有什么区别,也可以作为我们排名靠前该怎么做的一个依据。
我大致用EXCEL做了一下,这个图是用透视表之后做的,可以看到,如果提前一天就想上第一页,可以对于宝贝的销量要求就增高了,这些大家都可以自己去做一个分析,比较简单。也可以让自己获得很多东西。当然这也需要再看看别的词是否也这样,我强调了很多次,因为电商规则的数据分析很大程度上,也算是大量样本下的验证分析。然后我们看看100万左右的:
这里我没有对那些离群值做一个处理,也是为了让大家看看效果,前面3个点是豆腐块,后面基本都是靠近下架时间点的宝贝了。 这篇文章就先写这么多吧,相对比较简单,操作步骤需要大家自己去实践和继续分析。我们可以初步推断,词下面宝贝数量级越大,上下架权重越大,特别是到达某一个特定的时间点之后,而且不同量级,规则会有所不同。当然还可以做下一步:大量验证,量级可以为10,20...500万量级,每个量级3~5个词,验证上面结果,得出更加详细结论,比如详细的改变权重时间点,异常值为何出现等细化研究,可以验证——同一个层级之类,排名是否就按照人气排名......主要给大家提供的还是一个思路,而不是直接告诉大家规则,那样的话,很快就没用了,教大家的是可以提前比别人知道的一些方法。