10. 大数据：人工智能的基石

数据与智能 出版了畅销书「构建企业级推荐系统：算法、工程实现与案例分析」。每周输出7篇推荐系统、数据分析、大数据、AI原创文章。「数据与智能」(同名视频号、知乎、头条、B站、快手、抖音、小红书等自媒体平台号) 社区GOOGLE大数据，聚焦数据、智能领域的知识分享与传播。

作者 | Harper

审核 | gongyouliu

编辑 | auroral-L

我们之前说，深度学习携手大数据，引领第三次AI浪潮。现在我们了解了什么是深度学习，那么，什么又是大数据呢？

人们经常笼统的说，大数据就是大规模的数据，这个说法并不准确，大规模，只是指数据的量而言，数据量大，并不代表着数据一定有可以被深度学习算法利用的价值。比如说，地球绕太阳运转的过程中，每秒钟记录一次地球相对太阳的运动速度、位置。这样积累多年来得到的数据量，可以说是非常大的了，但是如果只有这样的数据，其实并没有太多可以挖掘的价值，因为地球围绕太阳运转的物理规律，人们已经研究得比较清楚了。

那么大数据到底是什么？大数据是如何产生的？什么样的数据才最具有价值？最适合作为计算机的学习对象呢？

根据马丁希尔伯特的总结，今天我们常说的大数据，其实是在2000年前后因为信息交换、信息存储、信息处理三个方面能力的大幅增长而产生的数据。简单地概括一下，信息交换指的是通信和网络带宽的大幅增长，而信息存储指的是计算机存储量的大幅增长，信息处理呢，则是计算机整理、转换、分析数据的能力大幅增长。

从应用角度来说，今天的大数据越来越多的呈现出以下，一种或者几种特性。

第一，大数据越来越多的来源于生产或服务过程的副产品，但在价值上却往往超过了为了特定目的而专门采集的数据，例如谷歌的大数据，虽然主要从搜索引擎的日常使用中获得，但如果深入挖掘，这些数据往往具有非常高的专业价值。

第二，大数据往往可以取代传统意义上的抽样调查。比如说按照传统方式，电视台某个节目的收视率，往往要有专业抽查公司通过抽样调查的方式通过电话拜访等渠道，获得抽样数据再估算收视率。现在有了微博或者类似的社交网络，我们可以直接利用微博上每时每刻产生的大数据对电视节目、电影的热门程度进行分析，它的准确性往往超过传统的抽样调查方式。

第三，许多大数据都可以实时获取，比如说每年双十一，在淘宝天猫这样的电子商务平台上，所有交易数据在阿里交易平台的内部都可以实时汇总，一部分数据的时效性非常强，如果不能实时利用，数据的附加值会大幅降低。大数据的实时性，为大数据的应用提供了更多的选择，这为数据更快产生应用价值提供了基础。

第四，大数据往往混合了来自多个数据元的多维度信息，比如说一份微博用户的ID列表虽然很有价值，但并不容易转换成商业应用所需要的完整信息，如果能够利用用户ID将用户在微博上的社交行为和用户在电子商务平台的购买行为关联起来，通过对不同来源的大数据的整合，采集到更多维度的数据，就可以向微博用户更准确地提供他最喜欢的商品。聚合更多数据源，增加数据维度，就是提高大数据价值的好办法。

总的来说大数据的价值在于数据分析以及分析基础上的数据挖掘和智能决策。大数据的拥有者，只有基于大数据建立有效的模型和工具，才能充分发挥大数据的价值。

本文的视频版本可以直接点击下面视频观看，欢迎关注数据与智能视频号获取更多精彩视频。

（编辑：晋中站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!