亚洲精品美女久久久久久久-四川少妇搡bbw搡bbbb-精品免费国产一区二区三区四区,差差差很疼30分钟的视频,蜜桃成人无码区免费视频网站,免费人成视频x8x8

18600329666

咨詢(xún)技術(shù)專(zhuān)家

掃一掃
與技術(shù)專(zhuān)家在線(xiàn)溝通

Menu
hadoop2.7.3在centos7上部署安裝（單機(jī)版）

來(lái)源：未知　時(shí)間：2018-28-17　瀏覽次數(shù)：342次

hadoop單機(jī)版運(yùn)行環(huán)境搭建，相對(duì)于分布式版本而言單機(jī)版相對(duì)簡(jiǎn)單，適合于初學(xué)者學(xué)習(xí)使用
（1）hadoop2.7.3下載
(前提：先安裝java環(huán)境)
下載地址：http://hadoop.apache.org/releases.html
 
（注意是binary文件，source那個(gè)是源碼）
 
（2）解壓tar.gz 
 
 
（3）配置hadoop
1.修改/usr/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh 文件的java環(huán)境，將java安裝路徑加進(jìn)去：
[sql] view plain copy
  1. export JAVA_HOME=/alidata/server/java-1.7.0  
 
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"
注意，不加此配置會(huì)導(dǎo)致部分hadoop命令運(yùn)行時(shí)找不到native lib
#export HADOOP_ROOT_LOGGER=DEBUG,console //查看hadoop日志，一般報(bào)錯(cuò)上語(yǔ)句為報(bào)錯(cuò)原因，需要調(diào)試時(shí)開(kāi)啟
配置hadoop環(huán)境變量
vi /etc/profile
[plain] view plain copy
  1. export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3  
  2. export PATH=$PATH:$HADOOP_HOME/bin  
有的安裝介紹中說(shuō)是vi ~/.bash_profile，其實(shí)也可以用這個(gè)，2個(gè)命令在不同系統(tǒng)用戶(hù)的環(huán)境配置的作用域不一樣。參考：
http://blog.csdn.net/caiwenfeng_for_23/article/details/44242961
使之生效：
[sql] view plain copy
  1. source /etc/profile  
 
 
2.修改/usr/hadoop/hadoop2.7.3/etc/hadoop/core-site.xml 文件，
[plain] view plain copy
  1. <configuration>  
  2.     <!-- 指定HDFS老大（namenode）的通信地址 -->  
  3.     <property>  
  4.         <name>fs.defaultFS</name>  
  5.         <value>hdfs://localhost:9000</value>  
  6.     </property>  
  7.     <!-- 指定hadoop運(yùn)行時(shí)產(chǎn)生文件的存儲(chǔ)路徑 -->  
  8.     <property>  
  9.         <name>hadoop.tmp.dir</name>  
  10.         <value>/usr/hadoop/tmp</value>  
  11.     </property>  
  12. </configuration>  
 
fs.defaultFS直接用localhost就行，如果重命名了主機(jī)名，也可以用重命名的。
 
3.修改/usr/hadoop/hadoop2.7.3/etc/hadoop/hdfs-site.xml 
[plain] view plain copy
  1. <configuration>  
  2.     <property>  
  3.         <name>dfs.name.dir</name>  
  4.         <value>/usr/hadoop/hdfs/name</value>  
  5.         <description>namenode上存儲(chǔ)hdfs名字空間元數(shù)據(jù) </description>   
  6.     </property>  
  7.   
  8.     <property>  
  9.         <name>dfs.data.dir</name>  
  10.         <value>/usr/hadoop/hdfs/data</value>  
  11.         <description>datanode上數(shù)據(jù)塊的物理存儲(chǔ)位置</description>  
  12.     </property>  
  13.   
  14.   
  15.     <!-- 設(shè)置hdfs副本數(shù)量 -->  
  16.     <property>  
  17.         <name>dfs.replication</name>  
  18.         <value>1</value>  
  19.     </property>  
  20. </configuration>  
 
 
 
4.SSH免密碼登錄
[plain] view plain copy
  1. ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa  
  2. cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys  
  3. chmod 0600 ~/.ssh/authorized_keys  
 
5.hdfs啟動(dòng)與停止
第一次啟動(dòng)hdfs需要格式化，之后啟動(dòng)就不需要的：
[plain] view plain copy
  1. cd /usr/hadoop/hadoop-2.7.3  
  2. ./bin/hdfs namenode -format  
 
啟動(dòng)命令：
./sbin/start-dfs.sh
停止命令：
[plain] view plain copy
  1. ./sbin/stop-dfs.sh  
 
 
 
 
從圖中看，會(huì)啟動(dòng)namenode,datanode,secondarynamenode
瀏覽器輸入：http://119.29.174.43:50070     查看效果：
 
6.接下來(lái)配置yarn文件. 配置/usr/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml    。這里注意一下，hadoop里面默認(rèn)是mapred-site.xml.template 文件，如果配置yarn，把mapred-site.xml.template   重命名為mapred-site.xml 。如果不啟動(dòng)yarn，把重命名還原。
 
[sql] view plain copy
  1. mv mapred-site.xml.template mapred-site.xml  
 
 
vi mapred-site.xml
[plain] view plain copy
  1. <configuration>  
  2.     <!-- 通知框架MR使用YARN -->  
  3.     <property>  
  4.         <name>mapreduce.framework.name</name>  
  5.         <value>yarn</value>  
  6.     </property>  
  7. </configuration>  
 
 
 
7.配置/usr/hadoop/hadoop-2.7.3/etc/hadoop/yarn-site.xml文件，
[plain] view plain copy
  1. <configuration>  
  2.     <!-- reducer取數(shù)據(jù)的方式是mapreduce_shuffle -->  
  3.     <property>  
  4.         <name>yarn.nodemanager.aux-services</name>  
  5.         <value>mapreduce_shuffle</value>  
  6.     </property>  
  7. </configuration>  
 
8.啟動(dòng)yarn
啟動(dòng)：
[plain] view plain copy
  1. ./sbin/start-yarn.sh  
 
停止：
./sbin/stop-yarn.sh
 
如圖：
 
會(huì)啟動(dòng)resourcemanager，nodemanager
可以用jps命令查看啟動(dòng)了什么進(jìn)程：
 
 
瀏覽器輸入：http://119.29.174.43:8088      (8088是默認(rèn)端口，如果端口占用，先把占用的端口殺掉 netstat -ano)