a、基础环境
1.jdk安装与配置
4.文件目录b、hadoop直接安装与配置1.去下载hadoop软件2.环境变量3.hadoop配置c、运行hadoop1.运行hdfs2.运行yarnd、测试3hadoop,这是垒建集群的大题路径,详细的可以再去看看看二斗学院的视频,第一部分是讲集群搭建的很详细
在学习之前,是需要考虑的不是难并不难,完全是肯定怎摸把英语学好的问题。学习大数据给几点建议:
1.应该手中掌握大数据体系的架构和原理,诸如:分布式存储和可以计算的思想
2.大数据框架的体系,诸如:hadoop,spark等等
3.多尝试着做实验,也多问问有经验的人。
如果能有信心,加上坚持,是有可以不把英语学好。
大数据的版本交扣太块,都说你选老的版本更好一些。但是太老的版本会不允许新的功能。
所以我可不知道选哪个的时候,建议是最好就是中,选择每个组件的比较稳定版,即“stable”版本。
由于组件的安装基本都都要去官网可以下载tar.gz的压缩包,并且在找不到网址后注意了帮一下忙带有“stable”的文件夹。
先说一下要准备着哪些软件和信息:
vmware-workstation;
centos-6.0-i386-bin-dvd;
eclipse-jee-luna-sr1-win32;
hadoop-0.20.2;
jdk-6u27-linux-i586;
(导致hadoop对版本的要求较高,大家我还是千万不能轻易更换版本,这里列进去的各种软件都是稳定点发布版,网上容易这个可以download到的)。
整个教程分为这样的5个部分来说:1)在windows下安装好虚拟机vmware,并新建一个虚拟机装完centos系统;2)centos下可以设置ssh服务无密码登录;3)centos下安装jdk,并配置环境变量;4)centos下直接安装hadoop,并配置文件;5)windows下安装好jdk和eclipse,并将eclipse与centos下的hadoop连接上。也算这5个部分每一个都很重要,尤其是第4)步。下面我们就具体点说看看每一脚应该怎么做。
step0:请大家先在windows下刚建一个普通用户,用户名为hadoop,我们所有的软件全在这个下面完全安装,用户名最好就是就算hadoop,是因为这个要和后面很多username是一样的,设为hadoop比较好记。
1)在windows下安装好虚拟机vmware,并新建一个虚拟机装上centos系统;
简单的方法,去下载vmware-workstation并按装,这步骤和一般windows下完全安装软件的过程是一样的的,入门小白也会比较熟练你的操作,这里就节省时间点儿空间给后面最重要的步骤了~
然后,在vmware的主页上新建一个虚拟机
一路下一步怎么办,待到让你你选系统镜像路径,我们你选centos系统映像,如上图,再点击第二步。接着,必须你输入linux的用户名,这个比较比较不重要,最好就是填好hadoop,因为这个名字在后面要应用好多次!
后面我还是一路的“下一步”,直到此时让你设置里虚拟机的内存大小,建议为1024m。如上图。后面就是要选择和虚拟机的网络类型有关的设置了,见意为“可以使用网络地址装换nat”,如下图。这半步我当时选择了自动桥接的功能,找了一个晚上的错误。。。时间干脆白花花一片的什么都没有~~
之后肯定一路的“然后再”,几乎都是可以使用它我推荐的设置,我们就是可以刚建一个centos,等待个几分钟然后把就可以进入到centos界面了。注意到那一抹科技蓝,有没让你动容了呢~~哈哈哈哈,你虽然别走了准备!
2)centos下设置里ssh.服务无密码登录;
在桌面右击,你选择openinterminal,这个那是linux的终端了。希望读者有一些linux操作系统的基础,这样子练熟快的一些。只不过要是没有的话,也没有关系,我们是走向新手的教程。
2.1.先在linux命令行中输入su,提示密码,再输入你自己设置的密码,这样子你后面的操作都具高了linux系统下的高了权限——root权限。
2.2.在系统设置ssh无密码登录之前,有一个最重要的重要的是的要先出好:关掉selinux。这是因为centos会自动启动拦阻你直接修改sshservice,我们只有一关闭selinux,重启才能生效。如何做,::
修改/etc/selinux/config文件
将selinuxenforcing转成selinuxdisabled
关机重启机器即可
(note:在linux下修改文件,vi新的命令后会刚刚进入到文件窗口,按i刚刚进入upsert,改完毕后之后再按esc会推出upsert,键入;:wq!保存并逃离~这里要感激泡哥,改了半天都不行,肯定泡哥指点方向了~~)
2.3.在linux命令行里然后输入:ssh-keygen-trsa,然后一路回车。
:~$ssh-keygen-trsa
generatingpublic/privatersakeypair.
enterfileinwhichtosavethekey(_rsa)://密钥保存位置,就回车达到设置成;
enterpassphrase(emptyfornopassphrase)://系统设置密钥的密码,空密码然后回车再试一下;
entersamepassp。
然后进入到下面,会看见两个文件id_,id_rsa,
然后把不能执行cpid__keys
接着sshlocalhost验证是否成功了,上次要你键入yep,以后就不是需要了。
如下图,由于我又验证验证了一次,因此还是需要然后输入y,假如你是第一次验证是不要的。
到此,ssh服务吧无密码登录设置完毕!
3)centos下安装jdk,并配置环境变量;
这三步中也可以分为两步:安装jdk、配置jdk环境变量。
3.1.准备:root用户登陆,不使用命令mkdir/usr/program新建任务目录/usr/program,下载jdk安装包,将其不能复制到目录/usr/program下,用cd命令直接进入该目录,先执行命令“”,新的命令运行完毕即安装结束,将在目录下生成文件夹/jdk1.6.0_13,此即为jdk被成功了安装到目录:/usr/program/jdk1.6.0_13下。
用户登陆后,命令行中负责执行命令“vi/etc/profile”,并组建以上内容,配置环境变量(注意一点/etc/profile这个文件很重要,后面hadoop的配置还会都用到)。
#setjavaenvironment
exportjava_home/usr/program/jdk1.6.0_27
exportjre_home/usr/program/jdk1.6.0_27/jre
exportclasspath.:$java_home/lib:$java_home/jre/lib
exportpath$java_home/bin:$java_home/jre/bin:$path
在vi编辑器增加以下内容后能保存再次,并负责执行100元以内命令使配置不生效!
#chmodx/etc/profile;增强负责执行权限
#source/etc/profile;使配置不生效!
配置后后,在命令行中再输入:java-version,都会出现按装jdk的信息。
这时,jdk的安装和配置环境变量就成功了~