当前位置:首页 > TAG信息列表 > linux中hadoop安装配置步骤在linux系统上怎么搭建hadoop开发环境?

linux中hadoop安装配置步骤在linux系统上怎么搭建hadoop开发环境?

linux中hadoop安装配置步骤 在linux系统上怎么搭建hadoop开发环境?

在linux系统上怎么搭建hadoop开发环境?

a、基础环境

1.jdk安装与配置

4.文件目录b、hadoop直接安装与配置1.去下载hadoop软件2.环境变量3.hadoop配置c、运行hadoop1.运行hdfs2.运行yarnd、测试3hadoop,这是垒建集群的大题路径,详细的可以再去看看看二斗学院的视频,第一部分是讲集群搭建的很详细

linux中hadoop安装配置步骤 在linux系统上怎么搭建hadoop开发环境?

学习大数据难吗?

在学习之前,是需要考虑的不是难并不难,完全是肯定怎摸把英语学好的问题。学习大数据给几点建议:

1.应该手中掌握大数据体系的架构和原理,诸如:分布式存储和可以计算的思想

2.大数据框架的体系,诸如:hadoop,spark等等

3.多尝试着做实验,也多问问有经验的人。

如果能有信心,加上坚持,是有可以不把英语学好。

ubant.04能装什么版本hadoop?

大数据的版本交扣太块,都说你选老的版本更好一些。但是太老的版本会不允许新的功能。

所以我可不知道选哪个的时候,建议是最好就是中,选择每个组件的比较稳定版,即“stable”版本。

由于组件的安装基本都都要去官网可以下载tar.gz的压缩包,并且在找不到网址后注意了帮一下忙带有“stable”的文件夹。

如何在windows下安装hadoop?

先说一下要准备着哪些软件和信息:

vmware-workstation;

centos-6.0-i386-bin-dvd;

eclipse-jee-luna-sr1-win32;

hadoop-0.20.2;

jdk-6u27-linux-i586;

(导致hadoop对版本的要求较高,大家我还是千万不能轻易更换版本,这里列进去的各种软件都是稳定点发布版,网上容易这个可以download到的)。

整个教程分为这样的5个部分来说:1)在windows下安装好虚拟机vmware,并新建一个虚拟机装完centos系统;2)centos下可以设置ssh服务无密码登录;3)centos下安装jdk,并配置环境变量;4)centos下直接安装hadoop,并配置文件;5)windows下安装好jdk和eclipse,并将eclipse与centos下的hadoop连接上。也算这5个部分每一个都很重要,尤其是第4)步。下面我们就具体点说看看每一脚应该怎么做。

step0:请大家先在windows下刚建一个普通用户,用户名为hadoop,我们所有的软件全在这个下面完全安装,用户名最好就是就算hadoop,是因为这个要和后面很多username是一样的,设为hadoop比较好记。

1)在windows下安装好虚拟机vmware,并新建一个虚拟机装上centos系统;

简单的方法,去下载vmware-workstation并按装,这步骤和一般windows下完全安装软件的过程是一样的的,入门小白也会比较熟练你的操作,这里就节省时间点儿空间给后面最重要的步骤了~

然后,在vmware的主页上新建一个虚拟机

一路下一步怎么办,待到让你你选系统镜像路径,我们你选centos系统映像,如上图,再点击第二步。接着,必须你输入linux的用户名,这个比较比较不重要,最好就是填好hadoop,因为这个名字在后面要应用好多次!

后面我还是一路的“下一步”,直到此时让你设置里虚拟机的内存大小,建议为1024m。如上图。后面就是要选择和虚拟机的网络类型有关的设置了,见意为“可以使用网络地址装换nat”,如下图。这半步我当时选择了自动桥接的功能,找了一个晚上的错误。。。时间干脆白花花一片的什么都没有~~

之后肯定一路的“然后再”,几乎都是可以使用它我推荐的设置,我们就是可以刚建一个centos,等待个几分钟然后把就可以进入到centos界面了。注意到那一抹科技蓝,有没让你动容了呢~~哈哈哈哈,你虽然别走了准备!

2)centos下设置里ssh.服务无密码登录;

在桌面右击,你选择openinterminal,这个那是linux的终端了。希望读者有一些linux操作系统的基础,这样子练熟快的一些。只不过要是没有的话,也没有关系,我们是走向新手的教程。

2.1.先在linux命令行中输入su,提示密码,再输入你自己设置的密码,这样子你后面的操作都具高了linux系统下的高了权限——root权限。

2.2.在系统设置ssh无密码登录之前,有一个最重要的重要的是的要先出好:关掉selinux。这是因为centos会自动启动拦阻你直接修改sshservice,我们只有一关闭selinux,重启才能生效。如何做,::

修改/etc/selinux/config文件

将selinuxenforcing转成selinuxdisabled

关机重启机器即可

(note:在linux下修改文件,vi新的命令后会刚刚进入到文件窗口,按i刚刚进入upsert,改完毕后之后再按esc会推出upsert,键入;:wq!保存并逃离~这里要感激泡哥,改了半天都不行,肯定泡哥指点方向了~~)

2.3.在linux命令行里然后输入:ssh-keygen-trsa,然后一路回车。

:~$ssh-keygen-trsa

generatingpublic/privatersakeypair.

enterfileinwhichtosavethekey(_rsa)://密钥保存位置,就回车达到设置成;

enterpassphrase(emptyfornopassphrase)://系统设置密钥的密码,空密码然后回车再试一下;

entersamepassp。

然后进入到下面,会看见两个文件id_,id_rsa,

然后把不能执行cpid__keys

接着sshlocalhost验证是否成功了,上次要你键入yep,以后就不是需要了。

如下图,由于我又验证验证了一次,因此还是需要然后输入y,假如你是第一次验证是不要的。

到此,ssh服务吧无密码登录设置完毕!

3)centos下安装jdk,并配置环境变量;

这三步中也可以分为两步:安装jdk、配置jdk环境变量。

3.1.准备:root用户登陆,不使用命令mkdir/usr/program新建任务目录/usr/program,下载jdk安装包,将其不能复制到目录/usr/program下,用cd命令直接进入该目录,先执行命令“”,新的命令运行完毕即安装结束,将在目录下生成文件夹/jdk1.6.0_13,此即为jdk被成功了安装到目录:/usr/program/jdk1.6.0_13下。

用户登陆后,命令行中负责执行命令“vi/etc/profile”,并组建以上内容,配置环境变量(注意一点/etc/profile这个文件很重要,后面hadoop的配置还会都用到)。

#setjavaenvironment

exportjava_home/usr/program/jdk1.6.0_27

exportjre_home/usr/program/jdk1.6.0_27/jre

exportclasspath.:$java_home/lib:$java_home/jre/lib

exportpath$java_home/bin:$java_home/jre/bin:$path

在vi编辑器增加以下内容后能保存再次,并负责执行100元以内命令使配置不生效!

#chmodx/etc/profile;增强负责执行权限

#source/etc/profile;使配置不生效!

配置后后,在命令行中再输入:java-version,都会出现按装jdk的信息。

这时,jdk的安装和配置环境变量就成功了~

hadoop命令密码文件linux


戒烟爸爸 寻途旅游网

  • 关注微信关注微信

猜你喜欢

热门标签

表格上下切换的快捷键 国产有限元分析软件哪个好 如何查看电脑是windows几 华为畅连app官网下载 excel表格如何制作 不是小米手机怎么扫描WIFI二维码 如何删除excel筛选出来的内容 弹幕背单词教程 微信公众号怎么添加功能模块 苹果电脑夜览模式怎样关闭 驱动精灵怎么安装显卡驱动 电脑游戏界面有白色线条介绍 拼多多商家怎么入驻多多买菜 excel表格0开头不显示怎么办 苹果手机锁屏图标在哪里设置 怎样把pdf文档放在excel表格里PDF文件怎么样转成Excel表格? 剪映字幕特效竖排教程剪映封面字体竖着怎么弄? 红米k50手机 苹果app后台刷新要开还是关iphone关闭后台刷新真的没影响吗?介绍 企业微信发言栏最小化怎么办微信最小化怎么解除?介绍 鼠标感觉有延迟怎么解决win10鼠标宏延迟不稳定?介绍 excel去掉指定区域网格线excel里中划线怎么去掉?介绍 微信分付怎么借钱出来到微信钱包里 直播间礼物隐藏怎么弄快手怎么屏蔽礼物特效?介绍 抖音号怎么注册新的账号 ps怎么绘制眉毛教程ps怎么把眉毛复制到右眉毛?介绍 win7系统如何进入dos菜单设置如何由windows系统切换成Dos系统? sqlserver判断检查结果是否存在sqlserver存储过程的运行结果是什么? 鸿蒙系统怎么变大图标华为新功能怎么设置?介绍 格式工厂的音频怎么保存到文件夹PPT里面剪辑过的音乐怎么保存?

微信公众号