Hadoop-HDFS用户自定义上传和下载

用户自定义上传文件大小

需求：我把这个文件的前20kb上传。

// 只上传文件的前20K /* * 官方的实现 * InputStream in=null; OutputStream out = null; try { in = srcFS.open(src); out = dstFS.create(dst, overwrite); IOUtils.copyBytes(in, out, conf, true); } catch (IOException e) { IOUtils.closeStream(out); IOUtils.closeStream(in); throw e; } */ @Test public void testCustomUpload() throws Exception { Configuration conf=new Configuration(); FileSystem windows=FileSystem.get(conf); FileSystem linux=FileSystem.get(new URI("hdfs://hadoop1:9000"), conf, "ygp"); //提供两个Path，和两个FileSystem Path src=new Path("C:/Users/Lenovo/Desktop/乔老师/05534745.pdf"); Path dest=new Path("/05534745(20k).pdf"); // 使用本地文件系统中获取的输入流读取本地文件 FSDataInputStream is = windows.open(src); // 使用HDFS的分布式文件系统中获取的输出流，向dest路径写入数据 FSDataOutputStream os = linux.create(dest, true); // 1k byte [] buffer=new byte[1024]; // 流中数据的拷贝 for (int i = 0; i <20; i++) { is.read(buffer); os.write(buffer); } //关流 IOUtils.closeStream(is); IOUtils.closeStream(os); }

但是我这报了一个错，说我本地的那个路径不是一个有效的分布式文件名？？ 然后resource目录的自定义的core-site.xml删除之后就成功了。

用户自定义下载

我现在HDFS上有一个670MB的文件PPT.zip， 显然可分为6个块

需求：下载某一个块 先下载第一块

@Test public void testFirstBlock() throws Exception { Configuration conf=new Configuration(); FileSystem windows=FileSystem.get(conf); FileSystem linux=FileSystem.get(new URI("hdfs://hadoop1:9000"), conf, "ygp"); //提供两个Path，和两个FileSystem Path src=new Path("/PPT.zip"); Path dest=new Path("D:/firstblock"); // 使用HDFS的分布式文件系统中获取的输入流，读取HDFS上指定路径的数据 FSDataInputStream is = linux.open(src); // 使用本地文件系统中获取的输出流写入本地文件 FSDataOutputStream os = windows.create(dest, true); // 1k byte [] buffer=new byte[1024]; // 流中数据的拷贝 for (int i = 0; i < 1024 * 128; i++) { is.read(buffer); os.write(buffer); } //关流 IOUtils.closeStream(is); IOUtils.closeStream(os); }

再下载第二个块

@Test public void testSecondBlock() throws Exception { Configuration conf=new Configuration(); FileSystem windows=FileSystem.get(conf); FileSystem linux=FileSystem.get(new URI("hdfs://hadoop1:9000"), conf, "ygp"); //提供两个Path，和两个FileSystem Path src=new Path("/PPT.zip"); Path dest=new Path("D:/secondblock"); // 使用HDFS的分布式文件系统中获取的输入流，读取HDFS上指定路径的数据 FSDataInputStream is = linux.open(src); // 使用本地文件系统中获取的输出流写入本地文件 FSDataOutputStream os = windows.create(dest, true); //定位到流的指定位置 is.seek(1024*1024*128); // 1k byte [] buffer=new byte[1024]; // 流中数据的拷贝 for (int i = 0; i < 1024 * 128; i++) { is.read(buffer); os.write(buffer); } //关流 IOUtils.closeStream(is); IOUtils.closeStream(os); }

第三块，第四块以此类推，我们来看看最后一块怎么下载

@Test public void testFinalBlock() throws Exception { Configuration conf=new Configuration(); FileSystem windows=FileSystem.get(conf); FileSystem linux=FileSystem.get(new URI("hdfs://hadoop1:9000"), conf, "ygp"); //提供两个Path，和两个FileSystem Path src=new Path("/PPT.zip"); Path dest=new Path("D:/lastblock"); // 使用HDFS的分布式文件系统中获取的输入流，读取HDFS上指定路径的数据 FSDataInputStream is = linux.open(src); // 使用本地文件系统中获取的输出流写入本地文件 FSDataOutputStream os = windows.create(dest, true); //定位到流的指定位置 is.seek(1024*1024*128*5); //buffSize 默认不能超过4096 IOUtils.copyBytes(is, os, 4096, true); }

当所有块下载完成后，我们在cmd窗口中用type命令，依次将第2，3，4，5，6块的内容追加到第一块里面，然后将第一块文件的名字重命名为PPT.zip,然后我们将其解压打开，判断是否里面每个ppt都能打开。