分布式爬虫之数据可视化

这周工作空闲时间把之前从知乎爬下来的用户数据做了简单的分析和可视化,分析就用了mongodb的一些简单的聚合命令,可视化用的是Echart. 本来是可以看动态效果的,这里就只能贴几张图了。只是实现功能而已,图中展现的数据不一定准确,用的数据量有限,并没有统计我抓下来的所有数据。



写在最后

从最初打算开始玩爬虫,到现在搞定分布式爬虫,完成可视化,还是挺有意思的一个过程,在工作之余学习了一些东西,也进行了总结。赞!接下来打算玩什么还没想好,待我先看看,选择一下。