spark整合mongodb的方法
发布时间:2023-12-20 03:01:50 所属栏目:系统 来源:DaWei
导读: spark整合mongodb的方法是什么?一些朋友对于怎么实现spark整合mongodb不是和清楚,下面就给大家简单的介绍一下Spark 和spark整合mongodb的方法步骤。
Spark介绍
按照官方的定义,Spa
Spark介绍
按照官方的定义,Spa
spark整合mongodb的方法是什么?一些朋友对于怎么实现spark整合mongodb不是和清楚,下面就给大家简单的介绍一下Spark 和spark整合mongodb的方法步骤。 Spark介绍 按照官方的定义,Spark 是一个通用,快速,适用于大规模数据的处理引擎。 通用性:我们可以使用Spark SQL来执行常规分析, Spark Streaming 来流数据处理, 以及用Mlib来执行机器学习等。Java,python,scala及R语言的支持也是其通用性的表现之一。 快速: 这个可能是Spark成功的最初原因之一,主要归功于其基于内存的运算方式。当需要处理的数据需要反复迭代时,Spark可以直接在内存中暂存数据,而无需像Map Reduce一样需要把数据写回磁盘。官方的数据表明:它可以比传统的Map Reduce快上100倍。 大规模:原生支持HDFS,并且其计算节点支持弹性扩展,利用大量廉价计算资源并发的特点来支持大规模数据处理。 启动mongodb服务 $MONGODB_HOME/bin/mongod --fork --dbpath=/root/data/mongodb/ --logpath=/root/data/log/mongodb/mongodb.log pom依赖 <dependency> <groupId>org.mongodb.spark</groupId> <artifactId>mongo-spark-connector_2.11</artifactId> <version>${spark.version}</version> </dependency> 实例代码 object ConnAppTest { def main(args: Array[String]): Unit = { val spark = SparkSession.builder() .master("local[2]") .appName("ConnAppTest") .config("spark.mongodb.input.uri", "mongodb://192.168.31.136/testDB.testCollection") // 指定mongodb输入 .config("spark.mongodb.output.uri", "mongodb://192.168.31.136/testDB.testCollection") // 指定mongodb输出 .getOrCreate() // 生成测试数据 val documents = spark.sparkContext.parallelize((1 to 10).map(i => Document.parse(s"{test: $i}"))) // 存储数据到mongodb MongoSpark.save(documents) // 加载数据 val rdd = MongoSpark.load(spark) // 打印输出 rdd.show } } 以上就是关于spark整合mongodb的方法步骤操作,有需要的朋友可以参考学习,希望文本对大家学习有帮助。 (编辑:晋中站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |
相关内容
- Wine 7.0上线,Linux上运行Windows程序重大更新
- 当企业准备建数据中心时,往往需要考虑什么?
- 硬核实战分享:企业微服务架构设计及落地的六大难点介绍
- 中国安防市场总产值2020年达到万亿元大关
- GCP - Running Windows Server Failover Clustering Step b
- 使用CSS3 font-feature-settings特性减除字体动画震颤效果
- 路在何方?聊聊中台建设中的那些纠结事
- CSS语法与JSON、JS对象区别比较
- 小白最新重装Win10教程 系统之家重装Win10教程
- windows使用记录---2019.8月补丁更新后出现windows7系列UEF
推荐文章
站长推荐