ps：参考教程《Hadoop+Spark大数据巨量分析与机器学习整合开发实践》

遇到的问题

Hadoop压缩包下载失败

问题：在几次下载到99%后，提示段错误（核心已转储）。

下载方式：

1 2	$ wget https://archive.apache.org/dist/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz

解决：百度发现大家段错误的原因大多是在运行自己写的代码时，溢出或野指针等，但这里只是使用wget进行下载，不清楚段错误的原因。

第一天尝试了三次下载之后，第二天早上打开电脑一看，第一次下载竟然有完整的压缩包，于是直接解压安装了。

解决：教程中采用的是DSA算法产生密钥，始终无法实现无密码登录，还没找到原因。改为采用RSA算法生成密钥后，顺利实现无密码登录。

这个问题困扰了大半天的时间，查各种解决方法的时候顺便大致搞清了SSH无密码登录的原理，还是有所收获的～

（图源网络）

解决：是由于datanode和namenode中存储的clusterID不一致导致的，解决方法参考：

为了加载你的配置，bash 在每次启动时都会加载 .bashrc 文件的内容。每个用户的 home 目录都有这个 shell 脚本。它用来存储并加载你的终端配置和环境变量。