当前位置:首页 > TAG信息列表 > linux中hadoop安装配置步骤在linux系统上怎么搭建hadoop开发环境?介绍

linux中hadoop安装配置步骤在linux系统上怎么搭建hadoop开发环境?介绍

linux中hadoop安装配置步骤 在linux系统上怎么搭建hadoop开发环境?

在linux系统上怎么搭建hadoop开发环境?

a、基础环境

1.jdk安装与配置

4.文件目录b、hadoop直接安装与配置1.去下载hadoop软件2.环境变量3.hadoop配置c、运行hadoop1.运行hdfs2.运行yarnd、测试3hadoop,这是垒建集群的大题路径,详细的可以再去看看看二斗学院的视频,第一部分是讲集群搭建的很详细

linux中hadoop安装配置步骤 在linux系统上怎么搭建hadoop开发环境?

学习大数据难吗?

在学习之前,是需要考虑的不是难并不难,完全是肯定怎摸把英语学好的问题。学习大数据给几点建议:

1.应该手中掌握大数据体系的架构和原理,诸如:分布式存储和可以计算的思想

2.大数据框架的体系,诸如:hadoop,spark等等

3.多尝试着做实验,也多问问有经验的人。

如果能有信心,加上坚持,是有可以不把英语学好。

ubant.04能装什么版本hadoop?

大数据的版本交扣太块,都说你选老的版本更好一些。但是太老的版本会不允许新的功能。

所以我可不知道选哪个的时候,建议是最好就是中,选择每个组件的比较稳定版,即“stable”版本。

由于组件的安装基本都都要去官网可以下载tar.gz的压缩包,并且在找不到网址后注意了帮一下忙带有“stable”的文件夹。

如何在windows下安装hadoop?

先说一下要准备着哪些软件和信息:

vmware-workstation;

centos-6.0-i386-bin-dvd;

eclipse-jee-luna-sr1-win32;

hadoop-0.20.2;

jdk-6u27-linux-i586;

(导致hadoop对版本的要求较高,大家我还是千万不能轻易更换版本,这里列进去的各种软件都是稳定点发布版,网上容易这个可以download到的)。

整个教程分为这样的5个部分来说:1)在windows下安装好虚拟机vmware,并新建一个虚拟机装完centos系统;2)centos下可以设置ssh服务无密码登录;3)centos下安装jdk,并配置环境变量;4)centos下直接安装hadoop,并配置文件;5)windows下安装好jdk和eclipse,并将eclipse与centos下的hadoop连接上。也算这5个部分每一个都很重要,尤其是第4)步。下面我们就具体点说看看每一脚应该怎么做。

step0:请大家先在windows下刚建一个普通用户,用户名为hadoop,我们所有的软件全在这个下面完全安装,用户名最好就是就算hadoop,是因为这个要和后面很多username是一样的,设为hadoop比较好记。

1)在windows下安装好虚拟机vmware,并新建一个虚拟机装上centos系统;

简单的方法,去下载vmware-workstation并按装,这步骤和一般windows下完全安装软件的过程是一样的的,入门小白也会比较熟练你的操作,这里就节省时间点儿空间给后面最重要的步骤了~

然后,在vmware的主页上新建一个虚拟机

一路下一步怎么办,待到让你你选系统镜像路径,我们你选centos系统映像,如上图,再点击第二步。接着,必须你输入linux的用户名,这个比较比较不重要,最好就是填好hadoop,因为这个名字在后面要应用好多次!

后面我还是一路的“下一步”,直到此时让你设置里虚拟机的内存大小,建议为1024m。如上图。后面就是要选择和虚拟机的网络类型有关的设置了,见意为“可以使用网络地址装换nat”,如下图。这半步我当时选择了自动桥接的功能,找了一个晚上的错误。。。时间干脆白花花一片的什么都没有~~

之后肯定一路的“然后再”,几乎都是可以使用它我推荐的设置,我们就是可以刚建一个centos,等待个几分钟然后把就可以进入到centos界面了。注意到那一抹科技蓝,有没让你动容了呢~~哈哈哈哈,你虽然别走了准备!

2)centos下设置里ssh.服务无密码登录;

在桌面右击,你选择openinterminal,这个那是linux的终端了。希望读者有一些linux操作系统的基础,这样子练熟快的一些。只不过要是没有的话,也没有关系,我们是走向新手的教程。

2.1.先在linux命令行中输入su,提示密码,再输入你自己设置的密码,这样子你后面的操作都具高了linux系统下的高了权限——root权限。

2.2.在系统设置ssh无密码登录之前,有一个最重要的重要的是的要先出好:关掉selinux。这是因为centos会自动启动拦阻你直接修改sshservice,我们只有一关闭selinux,重启才能生效。如何做,::

修改/etc/selinux/config文件

将selinuxenforcing转成selinuxdisabled

关机重启机器即可

(note:在linux下修改文件,vi新的命令后会刚刚进入到文件窗口,按i刚刚进入upsert,改完毕后之后再按esc会推出upsert,键入;:wq!保存并逃离~这里要感激泡哥,改了半天都不行,肯定泡哥指点方向了~~)

2.3.在linux命令行里然后输入:ssh-keygen-trsa,然后一路回车。

:~$ssh-keygen-trsa

generatingpublic/privatersakeypair.

enterfileinwhichtosavethekey(_rsa)://密钥保存位置,就回车达到设置成;

enterpassphrase(emptyfornopassphrase)://系统设置密钥的密码,空密码然后回车再试一下;

entersamepassp。

然后进入到下面,会看见两个文件id_,id_rsa,

然后把不能执行cpid__keys

接着sshlocalhost验证是否成功了,上次要你键入yep,以后就不是需要了。

如下图,由于我又验证验证了一次,因此还是需要然后输入y,假如你是第一次验证是不要的。

到此,ssh服务吧无密码登录设置完毕!

3)centos下安装jdk,并配置环境变量;

这三步中也可以分为两步:安装jdk、配置jdk环境变量。

3.1.准备:root用户登陆,不使用命令mkdir/usr/program新建任务目录/usr/program,下载jdk安装包,将其不能复制到目录/usr/program下,用cd命令直接进入该目录,先执行命令“”,新的命令运行完毕即安装结束,将在目录下生成文件夹/jdk1.6.0_13,此即为jdk被成功了安装到目录:/usr/program/jdk1.6.0_13下。

用户登陆后,命令行中负责执行命令“vi/etc/profile”,并组建以上内容,配置环境变量(注意一点/etc/profile这个文件很重要,后面hadoop的配置还会都用到)。

#setjavaenvironment

exportjava_home/usr/program/jdk1.6.0_27

exportjre_home/usr/program/jdk1.6.0_27/jre

exportclasspath.:$java_home/lib:$java_home/jre/lib

exportpath$java_home/bin:$java_home/jre/bin:$path

在vi编辑器增加以下内容后能保存再次,并负责执行100元以内命令使配置不生效!

#chmodx/etc/profile;增强负责执行权限

#source/etc/profile;使配置不生效!

配置后后,在命令行中再输入:java-version,都会出现按装jdk的信息。

这时,jdk的安装和配置环境变量就成功了~

hadoop命令密码文件linux


戒烟爸爸 寻途旅游网

  • 关注微信关注微信

猜你喜欢

热门标签

淘宝浏览足迹删除了还能恢复吗 excel表格快捷键大全常用图片 电脑插网线手机能连网吗 cad怎么修改标注文字 苹果辅助触控自定义顶层菜单 拼多多怎么设置支付宝优先 oppo手机的壁纸怎么换不过来 微信读书怎么导入本地文件 华为手机设置移动网络怎么设置华为手机移动网络设置步骤 怎样发qq说说手机版介绍 有道词典下载安装app 天猫商城官网旗舰店正品 钉钉怎么修改打卡位置 微信怎么设置个人特别提示音微信来信息声音怎么设置?介绍 怎么把电脑上的cad图纸导入手机上cad图纸如何存到手机里?介绍 web前端是做什么的 怎么在中间打一条竖线? 红米手机一直停在开机界面怎么办红米k30一直卡在开机界面?介绍 autocad如何镜像cad三维里怎么镜像翻转? 荣耀手机怎么找回彻底删除的软件华为手机自带软件怎样删除?介绍 网站的盈利模式主要包括什么中国化工网盈利模式是什么?介绍 红米note11pro手机 华为手机怎么彻底删除通话记录华为手机通话记录上限怎么增加? sm4350和骁龙765g哪个好一点新发布的vivoX30能全面ko红米k30的5G版本吗? 电脑avi文件播放不出车载优盘电脑上读不出来? iphone12怎么调出快捷操作苹果12返回上级怎么设置? 苹果14怎么让短信显示在屏幕上面苹果14拦截短信怎么查看?介绍 excel表筛选后里面的内容怎么填充excel筛选后如何序列填充? 抖音横屏直播怎么弄的抖音投屏电视怎么横屏? python知识点汇总python基础知识详解?

微信公众号