遇见大数据可视化 :人人都能做数据可视化

之前写过几篇大数据的文章《遇见大数据可视化 :基础研究》《遇见大数据可视化 : 来做一个数据可视化报表》《遇见大数据可视化 : 图表的视觉系统感知》。得到了身边不少小伙伴的认可,都觉得数据可视化是一件挺有意思的事情,纷纷投入到数据可视化上来。

但是很快一腔热血就被浇灭了,很多小伙伴都反映来说做数据可视化的学习成本太高了。从最开始数据的挖掘(学习:Python,JavaScript,R语言等等),再到可视化图表的设计(学习:Processing,D3.js,PhotoShop,Illustrator等等),还要看各种书籍。其实小伙伴的目标只是想简单的做一些不是很复杂的数据可视化,但陡峭的学习成本,让很多小伙伴望而却步,看到各种复杂的教程,简直是从入门到放弃。

那么有没有什么好的办法,可以不用学习这么多的知识点,而能做一些不太复杂的数据可视化图表出来呢?答案肯定是有的,那下面就手把手的带领大家,零代码来做数据可视化图表。

【生产力有两项,一项是人,一项是工具。工具是由人创造的。 - 毛主席】

想要零代码来完成数据可视化图表来,很简单,只要选好工具来就可以了。网上有很多介绍各种工具的文章,这里就不一一的去粗浅的介绍各种工具,而是深入的用案列的方式带大家了解我觉得还不错的可视化工具(数据挖掘和可视化图表),目标的就是让大家可以零代码的做一些简单的可视化分析报表出来。

既然是按照案列的方式,那首先需要确定我们做什么主题。作为一个四川人,每次做自我介绍的时候,都会说到四川的美食,川菜作为中国八大菜系之一,还是深受广大人民的喜爱的。那么我们就用数据,来看看川菜和中国其他菜系(鲁菜、川菜、粤菜、苏菜,浙菜、闽菜、湘菜、徽菜)到底有什么不同,来做一个【中国八大菜系菜谱数据可视化图表分析】出来。

主题确定了,下一步就是数据的挖掘。 一般来说,基础数据的来源分为这几类。

自家数据 – 自家应用APP收集的数据。不对外输出,最好的数据来源,纯洁数据拿来就可以用。

行业报告 – 上市公司的年报、半年报、工商系统、股转系统。定期对外输出,有干扰项。

政府官方数据 – 国家统计局,中国环境监测总站,世界银行等。定期对外输出,或有接口API,干扰项较少。

全网公开数据 – 拉勾、知乎、链家、雪球等公开网站的数据。需自己抓取数据,干扰项较多,一般都需要做二次数据清理。

那这次我们要做菜谱的分析,自家数据是没有的。行业报告和政府官方数据也没有这方面的数据。所以我们只能去网上自己爬取相关数据了。简单找了一番,就发现了很多的菜谱网站,比如【下厨房】、【美食天下】、【豆果美食】、【好豆网】等等,这些网站上面都有大量用户上传的各种菜谱。这里我选择【美食天下】来爬菜谱数据,因为【美食天下】刚好有按照菜系进行分类,这样我们在做二次数据清理的时候,就可以减少一个步骤了。

上图就是我们需要爬取的一条内容。有了爬取网站,确定了爬取内容。接下来就开始对数据开始爬取。怎么爬取呢?代码大神通常会推选用Python来做数据的爬取。

说好的零代码呢。这时候就要给大家推荐第一款数据挖掘的工具了 - 【造数】https://zaoshu.io 对于简单的数据爬取足够用的工具,简单的了解,10分钟就能上手。

下面我们就开始进行数据的爬取。

第一步:输入需要爬取的网站地址,然后点击【开始爬取】。

第二步:设置爬取规则。点击【开发爬取】后,会进入这个界面,在这个页面进行爬取规则的制定(就是选择出我们需要获取的内容),只需点击我们想要的内容即可,下图绿色区域就是我们需要的内容,然后点击【完成创建】。

第三步:执行下载数据。这步就可以下载数据了,只需三步造数就能得到想要的数据,而不需要各种配置。

下图就是下载下来的原始数据,大致是这样的,全部汇总在一个Excel表中。在这里有菜谱名称,网站地址,和所需原料。当然不是所有内容都是我们需要用的,这时候就需要对原始数据进行清理,删除,汇总等处理。

因为数据量不大,对于原始数据的处理,我们直接选用Excel来做了。

单个菜谱的原料是全部汇总在一个单元格中的,所以首先我们需要把原料分解到单个单元中去。原料是按照【、】来间隔的,那我们直接用【文本分列】直接处理就可以了。通过【文本分列】我们把原料分解到单个单元中,如下图所示。

文本分列后,把它聚合到一起,然后用【数据透视】即可统计出来每个原料的个数出来。再通过简单的降序排序,我们就能得到最终我们需要的数据了。

小结

在这一步我们完成了【中国八大菜系菜谱数据可视化图表分析】的一半的流程,及数据挖掘和清理汇总。在这里我们用到了两个工具,一个是【造数】用做数据的爬取,一个是【Excel表格】用做数据的清理汇总。类似【造数】这类的爬虫软件其实挺多的,比如国内的Gooseeker(集收客),八爪鱼。国外的Kimono,import.io。但是我们的目标是能快速的上手做一些简单数据挖掘,所以这里给大家推荐的是造数,它规则提取足够简单,能通过可视化的简洁的方式来设置提取规则,同时爬取路线很清晰,很容易就能理解它是怎么运行的,从而快速上手。而【Excel表格】也是我们办公常用的软件,对于数级不大数据源,我们完全可以用Excel手动的来做数据清理汇总。

可视化图表

数据处理好后,我们就可以开始进入可视化图表制作这一步了。关于图表的制作,其实用Excel就能完成的。不过Excel图表的默认样式,和图表的对应数据的关系都做的十分不友好的,你很难能对应出数据和图表横纵坐标的关系。毕竟Excel主要是做表格的,而非做图表的工具。这里就是给大家推荐第二款图表制作工具 - 【BDP】https://me.bdp.cn/home.html 。BDP把数据拆分出来,把图表的维度和数值列出来,通过拖拽的方式进行数据分析,完爆Excel。

BDP的具体使用过程就不在这里给大家贴出来了,感兴趣的去试试,很快就能上手开始做图表的了。下面我们就来看下,用BDP做出的图表,来看看中国八大菜系(鲁菜、川菜、粤菜、苏菜,浙菜、闽菜、湘菜、徽菜)有什么不同。

我们在【美食天下】的网站中,一共爬取了1062篇菜谱,其中川菜就有350篇,就占了总量的三分之一的量,全国人民还是都比较喜欢吃川菜的,真可为八大菜系之首的。而紧跟其后的就是粤菜,也有212篇之多的。

我们把川菜和粤菜的Top15的原料拿出来继续来看。

川菜前15项分布是:盐、料酒、生抽、花椒、姜、葱、鸡精、白糖、蒜、干辣椒、八角、淀粉、郫县豆瓣酱和酱油。

粤菜的是:盐、白糖、酱油、生抽、姜、葱、鸡蛋、耗油、胡椒粉、酱油、老抽、香油、花生油、水和淀粉。

除去相同的东西,川菜出现最多就是各种重口味的花椒、辣椒、八角、豆瓣酱之类的。而粤菜是各种油油水水的东西。作为一个四川人,还是不能理解为什么需要放耗油来做菜,耗油不只是用在吃火锅的时候做蘸碟吗?还有居然没有豆瓣酱,豆瓣酱才是做菜的王道呀,炒菜放点豆瓣酱味道一下就来了。

再看下,把1000多个菜谱所有的原料进行统计下。盐是所有原料中使用最多的,60%以上的菜品都用到了盐。不过让我没想到的是排第二的是白糖(PS:具大厨了解,加白糖多是为了上色,而非让味道变甜),而豆瓣酱在Top15中已经没见了,果然豆瓣酱只有在四川才流行的。

我们再把调味品提出去,只看下主材的情况。在主材中鸡蛋出现了121次,也就是说10%菜品用到了鸡蛋,上榜率相当高的。紧接着就是猪肉,这个也是意料之中的。如果把排骨等也归为猪肉的话,猪肉就是最多的了。但没想到的是有这么多菜品用到了香菜,而土豆这种我觉得应该用的很多的主材,却这么少。

OK,这边我们就只做简单的分析即可,如果有同学有兴趣,可以在分析下去,我这边就不继续展开去说了。

总结

在上述【中国八大菜系菜谱数据可视化图表分析】的案例中。我们通过【造数】、【Excel表格】和【BDP】这些工具的使用, 就能做到零代码的完成包括数据挖掘和图表制作的过程。所以想做数据的可视化展示并不难,只要我们开始动手去做,人人都可数据可视化图表来,这就是工具的价值。

所以我们设计中心也在思考,有没有可能在图表之上,提供更好的数据可视化工具,而不单只是做一个个单一的图表。集合图表、地图、大数据的整体可视化工具,我们在这个方向前进,推出一款更好打大数据可视化工具。