如何将数据移入和移出Hadoop？

默认情况下，DistCp使用20个mapper运行，每个mapper副本对应的文件由选择的复制策略确定。Hadoop开发人员考虑了mapper数量的默认设置，选择正确的值是想要使用多少网络带宽以及希望在复制期间占用多少任务的函数，可以通过指定-m后跟的值来更改mapper的数量。

带宽

最后一个考虑因素是复制期间使用的网络带宽。大型副本可能会使集群之间的网络饱和。企业中网络运营人员保持运行良好的一种方法是使用-bandwidth参数来指定每个map任务在复制期间消耗的带宽量上限。此参数的值以兆字节/秒(MBps)为单位。

其他

到目前为止，我们已经看到了DistCp中一些更有趣的选项。要查看完整的选项列表，可以运行distcp命令，或者查看Hadoop文档。

【编辑推荐】

1. Hadoop体系结构中的服务角色介绍
2. Hadoop发行版本之间的区别
3. Hadoop生态系统各组件与Yarn的兼容性如何？
4. Hadoop中Hive原理及安装
5. 大数据的特点是什么，大数据与Hadoop有什么关系？

（编辑：晋中站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!