大数据算法是什么?大数据算法设计技术有哪些?
大数据算法指的是在给定的资源约束下,以大数据为输入,在给定时间约束内可以生成满足给定约束结果的算法。大数据算法不仅是:云计算,还是MapReduce(并行编程架构模型)、大数据分析和挖掘的算法。 一、大数据特点 1、Volume:数据量大,包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。 2、Variety:种类和来源多样化。包括结构化、半结构化和非结构化数据,具体表现为网络日志、音频、视频、图片、地理位置信息等等大数据算法,多类型的数据对数据的处理能力提出了更高的要求。 3、Value:数据价值密度相对较低,浪里淘沙,沙里淘金。随着互联网以及物联网的广泛应用,产生海量信息,但目前的大部分信息价值密度较低。如何结合业务逻辑并通过强大的机器算法来挖掘数据价值,是大数据时代最需要解决的问题。 4、Velocity:数据增长速度快,处理速度也快,时效性要求高。比如搜索引擎要求几分钟前的新闻能够被用户查询到,个性化推荐算法尽可能要求实时完成推荐。这是大数据区别于传统数据挖掘的显著特征。 5、Veracity:数据的准确性和可信赖度,即数据的质量。 二、大数据算法设计技术 1、精确算法设计方法:(如DP,分治,贪心策略,回溯法等) 2、并行算法 3、近似算法 4、随机算法 5、在线算法/数据流算法 6、外存算法 7、面向新型体系结构的算法(如GPU算法) 8、现代优化算法(遗传算法,蚁群算法,模拟退火等) (编辑:晋中站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |