【中国大学MOOC】java程序设计-week8-多线程爬虫

1.题目

下面的程序可以下载多个网页文件(download方法已写好），请将它改成多线程进行下载（评分占7分），如果可能， 显示计算全部下载完成程序所用的时间（提示：new Date().getTime()可以得到当前时间的毫秒数，评分占3分）。另外，请注意一下，

系统中http:传到平台后，它自动改成了https:，所以请改回http:。 另外，有一些链接访问不了，所以要注意加try…catch。

import java.net.URL; import java.io.*; class Downloader { public static void main(String[] args) throws Exception { final URL[] urls = { new URL("https://www.pku.edu.cn"), new URL("https://www.baidu.com"), new URL("https://www.sina.com.cn"), new URL("https://www.dstang.com") }; final String[] files = { "pku.htm", "baidu.htm", "sina.htm", "study.htm", }; for(int idx=0; idx<urls.length; idx++){ try{ System.out.println( urls[idx] ); download( urls[idx], files[idx]); }catch(Exception ex){ ex.printStackTrace(); } } } static void download( URL url, String file) throws IOException { try(InputStream input = url.openStream(); OutputStream output = new FileOutputStream(file)) { byte[] data = new byte[1024]; int length; while((length=input.read(data))!=-1){ output.write(data,0,length); } } } }

2.题解

import java.net.URL; import java.io.*; import java.util.Date; public class homework8 { public static void main(String[] args) throws Exception { final URL[] urls = { new URL("https://www.pku.edu.cn"), new URL("https://www.baidu.com"), new URL("https://www.sina.com.cn"), new URL("https://www.dstang.com") }; final String[] files = { "pku.htm", "baidu.htm", "sina.htm", "study.htm", }; // 新建线程 Thread t0 = new MyThread(urls[0], files[0]); Thread t1 = new MyThread(urls[1], files[1]); Thread t2 = new MyThread(urls[2], files[2]); Thread t3 = new MyThread(urls[3], files[3]); // 运行线程 t0.start(); t1.start(); t2.start(); t3.start(); } } /* 新建线程类，继承Thread */ class MyThread extends Thread { URL url; String file; public MyThread(URL url, String file){ super(); this.url = url; this.file = file; } public void run() { long time1 = new Date().getTime(); // 计算开始时的时间time1 java.io.InputStream input = null; java.io.OutputStream output = null; try{ try{ input = url.openStream(); output = new FileOutputStream(file); byte[] data = new byte[1024]; int length; while((length=input.read(data))!=-1){ output.write(data,0,length); } }catch(IOException e1){ e1.printStackTrace(); } }catch(Exception ex) { ex.printStackTrace(); }finally{ long time2 = new Date().getTime(); // 计算结束后的时间time2 System.out.println("本次下载耗时" + (time2-time1) + "ms"); // 计算下载耗时time2-time1 } } }