自己执行shell脚本吧,脚本如下:
for i in {1901..2014}
do
cd /home/hadoop/hadoop/data/ncdc/
wget -r -np -nH .cut-dirs=3 -R index.html http://ftp3.ncdc.noaa.gov/pub/data/noaa/isd-lite/$i/
cd pub/data/noaa/isd-lite/$i/
cp *.gz /home/hadoop/hadoop/data/ncdc/
cd /home/hadoop/hadoop/data/ncdc/
rm -r pub/
done
注意创建目录。