分类大数据下的文章

更新于 2022-05-21 | 分类: LINUX 大数据 | 作者: admin | 0条评论

这里我强烈建议去设置里手动配置ipv4不配置的话你可能哪天换个wifi你的ip就会跳成别的，到之后你网络可能没有断，但是你的hosts文件里的ip已经不相同了。这会导致什么？？？哎？我忘记了大概率你的免密会受到影响你的dfs应该也会受到影响具体会怎么样我...

阅读全文...

更新于 2020-04-12 | 分类: 计算机 HADOOP | 作者: admin | 0条评论

我今天写作业的时候才发现eclipse中的创建空文件和上传文件都不能用。。头大。。。创建空文件的问题，这个问题我在命令行中用 haoop dfs -mkdir /文件名能解决但是在eclipse却解决不了也没有反馈。。一直到我发现。。hdfs-site...

阅读全文...

MapReduce

更新于 2020-04-09 | 分类: HADOOP | 作者: admin | 0条评论

MapReduce整体分三类MrAppMaster：负责整个程序的过程调度及状态协调就是管控MapTask和ReduceTaskMapTask ：负责Map阶段的整个数据处理流程ReduceTask ：负责Reduce阶段的整个数据处理流程。

阅读全文...

更新于 2020-04-08 | 分类: HADOOP | 作者: admin | 0条评论

NameNode与Secondry Namenode的关系namenode用于管理存储元数据，客户端请求过程中会产生元数据树edits日志文件，并在重启后整合序列化成fsimmage文件，namenode通常不会重启，这样产生的edits文件会越来越多，...

阅读全文...

更新于 2020-04-08 | 分类: HADOOP | 作者: admin | 0条评论

HDFS块大小的设置修改hdfs-site.xml配置文件，增加全局参数dfs.block.size dfs.block.size 512000 注意：blockSize必须...

阅读全文...