蜡笔小新

本次来做的是在windos下面配置idea的hdfs——java api的操作 基础代码 以及配置。

下载配置

首先我们先下载apache-maven-3.6.3
下载完成后配置 conf下面的settings.xml文件。
需要配置的有 {

  1. 仓库存在的路径
  2. 把仓库源改为国内阿里的

}
路径

J3iW0x.png

阿里仓库

J3i4AK.png

 <!--阿里云仓库地址-->
    <mirror>
        <id>alimaven</id>
        <name>aliyun maven</name>
        <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
        <mirrorOf>central</mirrorOf>
    </mirror>
    <mirror>
        <id>alimaven</id>
        <mirrorOf>central</mirrorOf>
        <name>aliyun maven</name>
        <url>http://maven.aliyun.com/nexus/content/repositories/central/</url>
    </mirror>

配置环境变量

环境变量1

配置环境变量。配置完成后去dos窗口下运行看看能不能看到mvn -version的版本

环境变量2

配置idea

图片上有说明安装这个配置,准没错。

idea1

idea2

创建maven工程

maven1

点击next下一步。

maven2

填写好名称和路径之后就可以点完成了。

pom

完成之后我们配置maven工程里的pom文件

网址https://mvnrepository.com/
直接把需要的从这里拷贝走就可以用了。
这里我直接放代码吧。我用的是2.7.7版本的Hadoop所以配置的时候看准自己Hadoop的版本。

<dependencies>
    <!-- https://mvnrepository.com/artifact/junit/junit -->
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.12</version>
    </dependency>

    <dependency>
        <groupId>org.apache.logging.log4j</groupId>
        <artifactId>log4j-core</artifactId>
        <version>2.8.2</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.7.7</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>2.7.7</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>2.7.7</version>
    </dependency>




</dependencies>

编写代码

配置完成之后我们去编写hdfsapi代码

在java文件夹里面创建一个包我又创建了一个类。

//创建在hdfs中的文件夹的代码。
package com.benfang;
import java.io.FileInputStream;
import java.io.IOException;

import org.apache.commons.io.IOUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

    public class mkdir_test {
    
    
        public static void main(String[] args) throws IOException {
            // TODO Auto-generated method stub
            Configuration conf=new Configuration();
    
            conf.set(“fs.defaultFS”, “hdfs://benfang4:9000”);
    
            FileSystem fs=FileSystem.get(conf);
    
            fs.mkdirs(new Path(“/newFiles”));
            fs.close();
    
    
    
    
        }
    
    
    }

BUT
运行之前先配置一下。
找到RUN-edit Configuartions….

run

YM options:选项写上-DHADOOP_USER_NAME=root

run2

果不配置这个YM options:的话会报权限错误。

run3

解决了后:我们去运行。

run4

然后去50070查看一下。

run5

问题: 如果报错无效的maven发行版本的话

记得检查,maven版本是否正确。 这个版本是java版本,别问我为什么我也不知道。
JtG3SU.png