하둡 실행하기 (의사 분산 모드)

 

환경 설정 파일 생성

하둡의 환경 설정 파일은  $HADOOP_HOME/etc/hadoop  경로에 있다.

core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost/</value>
	</property>
</configuration>

hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
</configuration>

mapred-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

yarn-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>localhost</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

 

SSH 설정

$ sudo apt-get install ssh

# MAC OS인 경우, [시스템 환경설정]-[공유]-[원격 로그인]을 활성화해야 함

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ ssh localhost

 

HDFS 포맷

$ hdfs namenode -format

 

데몬의 시작 및 종료

$ start-dfs.sh                                  # HDFS 데몬 시작
$ start-yarn.sh                                 # YARN 데몬 시작
$ mr-jobhistory-daemon.sh start historyserver   # 맵리듀스 데몬 시작

실행중인 데몬을 확인하려면 다음 명령어를 사용하면 된다.

$ jps
2755 NameNode
3126 ResourceManager
3225 NodeManager
2858 DataNode
3309 Jps

다음 링크에서 웹 UI로도 확인할 수 있다.

• 네임 노드 웹 UI : http://localhost:50070/
• 리소스 매니저 웹 UI : http://localhost:8088/
• 히스토리 서버 웹 UI : http://localhost:19888/

$ stop-dfs.sh                                   # HDFS 데몬 종료
$ stop-yarn.sh                                  # YARN 데몬 종료
$ mr-jobhistory-daemon.sh stop historyserver    # 맵리듀스 데몬 종료

다음과 같이 한 번에 모든 데몬을 시작 및 종료할 수 있다.

$ start-all.sh    # 전체 데몬 시작
$ stop-all.sh     # 전체 데몬 종료

 

사용자 디렉터리 생성

$ hadoop fs -mkdir -p /user/$USER