分类 HADOOP 下的文章 - 喵喵知识园

更新于 2020-04-19 | 分类: HADOOP | 作者: admin | 0条评论

格式化namenode的命令hdfs namenode -formatHDFS的常用命令创建目录hadoop dfs -mkdir /home上传文件或目录到hdfshadoop dfs -put hello /hadoop dfs -put hello...

阅读全文...

更新于 2020-04-12 | 分类: 计算机 HADOOP | 作者: admin | 0条评论

我今天写作业的时候才发现eclipse中的创建空文件和上传文件都不能用。。头大。。。创建空文件的问题，这个问题我在命令行中用 haoop dfs -mkdir /文件名能解决但是在eclipse却解决不了也没有反馈。。一直到我发现。。hdfs-site...

阅读全文...

MapReduce

更新于 2020-04-09 | 分类: HADOOP | 作者: admin | 0条评论

MapReduce整体分三类MrAppMaster：负责整个程序的过程调度及状态协调就是管控MapTask和ReduceTaskMapTask ：负责Map阶段的整个数据处理流程ReduceTask ：负责Reduce阶段的整个数据处理流程。

阅读全文...

更新于 2020-04-08 | 分类: HADOOP | 作者: admin | 0条评论

NameNode与Secondry Namenode的关系namenode用于管理存储元数据，客户端请求过程中会产生元数据树edits日志文件，并在重启后整合序列化成fsimmage文件，namenode通常不会重启，这样产生的edits文件会越来越多，...

阅读全文...

更新于 2020-04-08 | 分类: HADOOP | 作者: admin | 0条评论

HDFS块大小的设置修改hdfs-site.xml配置文件，增加全局参数dfs.block.size dfs.block.size 512000 注意：blockSize必须...

阅读全文...