大数据，到底要学什么

之前很多知友私信我，因为工作原因没有很好的回复，今天大致给大家讲一下：大数据，到底要学什么？

无论是专科，本科，培训机构还是研究生，都会有一个疑问，大数据到底是什么？

其实大数据这个词语存在很久啦，简单理解就是数据太多，存储空间太大。

那么为什么大数据会那么热门，被大家所追崇？

首先：

大家应该知道抛硬币的故事，实验次数越多，越会趋近于二分之一。

数据量越大越会证明一个事实，描绘出一个趋势，一个比较正确的趋势。

比如为什么现在天气预报会越来越准确，很大一部分是检测数据量增加导致的原因。

然后：

疫情期间，线上超市买菜，买了大桶肥宅水后，会在换购中推荐一次性杯子。虽然两者关系不大，但是系统表示，完肥宅水和一次性杯子的配合购买的概率很高，会进行提示。

之后：

一个企业安排生产的时候，会考虑以往的产量和销量，进行一个简单的规划，从物料到人工都是需要数据进行支撑的。

最后：

百度地图，如何计算出行程道路，一方面是算法，另一方面也是大数据在背后做支撑。

以上：从民生，现代互联网，传统制造业，生活四个方面简单说说大数据对我们的影响和重要性。

现在讲一下这些都是怎么做出来的？

首先：气象，超市购物，百度地图大概率是需要用算法来做出来的，无论是个性化推荐还是未来预测都是需要比较高端的人才来做的。

企业生产这个，没有上面这种需要算法和挖掘的东西，只是把基本数据进行整理展示，更多的是二次人力思考，给决策做依据。当然技术上也比较难，但是相对上面会好一些。

只是做一些简单的区分，然后我们再合在一起讲解。

大数据的基础就是数据。

如何获取数据就已经是五花八门的啦。

首先最简单的：填报，我们会填过各种各样的报表，如果工作后，到企业中会有很多系统来操作，这些操作都会带来数据。

然后最为流行的：爬虫，好多人喜欢去网站上爬数据进行分析，那么这些也是数据源。

然后最常见的但是不知晓的：大家上网的每个浏览页面或者鼠标情况，都会被埋点收集到，供后台进行分析（淘宝的千人千面）

然后就是各种传感器：飞机的位置和高度，室内的温度，电梯的运行，都会创造无数的数据。

还有很多不是那么好分类的。

这些已经提供了无数的岗位：传感器行业，网页，爬虫，erp等等

然后我们在往后面看人家都说数据是石油，那么这些数据看起来乱乱的，如何变成石油的价值呢。

其实杂乱的数据那里都是，应该算是油田，我们需要一个采油厂把这些数据搞出来，上面说到的，传感器，爬虫啥的都算采油厂，然后采集到的数据要用起来，会通过管道或者油桶送到各地。

这里的油桶可以理解为数据库或者存储数据的东西，当然油桶的种类很多，而且如何让油桶更好的装油放油多装油是一个比较大的学问啦，能会搞油桶，也可以就业的。

油桶装好原油后，很难直接用的，需要去炼油厂做各种处理，变成各种各样的产品，这里的炼油厂就是目前大家常常说的，云计算，大数据中心，ETL，数据仓库，数据中台，大数据平台各种东西来做。

云计算，简单来说，我有好多服务器，大家来一起用，共享一下。

大数据中心，IDC，数据中心，把所有数据放在一起，很多都是大型机房。

ETL，把大量乱七八槽的数据整理好

数据仓库，放整理好的数据

数据中台，目前还没咋理解

大数据平台，一个催化剂的感觉，可以加速处理啥的

然后又是很多岗位出来啦，具体缺口多少，不好说，不过这些很多都是标准化的东西，会用工具就行，比如云计算，会调配就可以大数据思考，ETL，会些主流工具就行。

入门是这些，后面不好说，咱们先讲入门。

数据整理好啦，现在就该咋使用啦

有些人做数据挖掘

有些人做数据展现

有些人就看着一堆原油冥思苦想

其实现在对于数据的应用，和上面说的两类类似，一种是可以代码来做的挖掘分析，一种是做的可视化分析。

然后要学python，AI，BI工具之类的。

大家看能力，然后看岗位要求（有些只要研究生或者985啥的），去选择自己横向的一个发展空间。

额，没啥说的啦，岗位分析后面再看评论，哪些感兴趣做哪些，用数据分析去分析真的岗位需求，python，八爪鱼，FineBI啥的都可以搞。

疫情下的就业季，大家加油

（编辑：晋中站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!