해당 포스트는 “하둡 테스트베드(Hortonworks Data Platform, HDP) 설치”로부터 넘어왔습니다.
Hortonworks Data Platform (HDP)을 클라우드 서비스 플랫폼에 설치하는 가이드라인입니다. 알려진 서비스 중, 무료로 클라우드를 제공하는 기간이 가장 긴 Google Cloud Platform에서 구축을 수행하였습니다.
Google Cloud Platform (GCP) 무료 계정 생성
아래 주소로 들어가 우측 상단 무료로 시작하기 버튼을 클릭합니다. 인적 사항과 신용 카드 정보를 쭉 입력하면 무료 계정을 생성할 수 있습니다.
https://cloud.google.com/gcp
cloud.google.com
GCP 계정을 처음 생성하면 90일 동안 사용할 수 있는 크레딧이란 것을 받게 됩니다. 이 크레딧 한도 내의 가상 머신 스펙을 선택하여 HDP 클러스터를 정해진 기간 동안 이용할 수 있습니다.
VM 인스턴스 생성
- 좌측 탭
Compute Engine▶VM 인스턴스
2. 사용 ▶ 인스턴스 만들기
3. 아래 세부항목 설정 후, 만들기 버튼 클릭
- 이름:
sandbox-hdp - 리전:
asia-northeast3 (서울) - 머신 유형:
e2-standard-4 (vCPU 4개 16GB 메모리) - 부팅 디스크:
크기를128GB로 조정
네트워크 설정
로컬 PC에서 직접 가상 머신에 접속할 수 있도록 가상 머신의 방화벽 규칙을 수정합니다.
- VM 인스턴스에서
:버튼 클릭 ▶네트워크 세부정보 보기
2. 방화벽 규칙 만들기
3. 방화벽 규칙 설정 후, 만들기 버튼 클릭
- 대상 태그:
local-network - 소스 IPv4 범위: 본인 PC의
IP 주소또는 대역 - tcp:
0-65535
4. VM 인스턴스 탭에서 VM 이름 (sandbox-hdp) 클릭
5. 수정 ▶ 네트워크 태그: local-network
HDP 설치
네트워크 설정을 마치면 SSH로 VM 인스턴스(sandbox-hdp)에 접속할 수 있습니다. 원격 접속 후, HDP를 설치파일을 다운로드 받는 과정을 진행합니다.
SSH Web 터미널 실행
VM 인스턴스 탭에서 ▼ 버튼을 누르고 브라우저 창에서 열기을 선택하여 SSH Web 터미널을 실행시킵니다.
Docker 설치
- repository 설치
sudo apt-get update
sudo apt-get install ca-certificates curl gnupg lsb-release
curl -fsSL https://download.docker.com/linux/debian/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg
echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/debian \
$(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
2. Docker 설치
sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io
3. 설치가 완료 되었는지 확인
docker --version
HDP 설치
- 패키지 업데이트 & 설치
sudo apt-get update && sudo apt-get install wget zip
2. HDP 3.0.1 설치 스크립트 다운로드
wget https://archive.cloudera.com/hwx-sandbox/hdp/hdp-3.0.1/HDP_3.0.1_docker-deploy-scripts_18120587fc7fb.zip
unzip HDP_3.0.1_docker-deploy-scripts_18120587fc7fb.zip
3. 설치 스크립트 실행
bash docker-deploy-hdp30.sh
4. 설치 확인
curl http://localhost:8080
VM 인스턴스에서 띄운 SSH Web 터미널은 localhost로 HDP 서비스에 접근할 수 있으나, 로컬 PC에서 HDP에 접속하려면 VM 인스턴스를 생성할 때 할당 받은 외부 IP를 사용해야 합니다.
제 VM 인스턴스를 예로 들면, 34.63.176.144:8080로 8080번 포트에 해당하는 서비스(Ambari)에 접속 가능합니다.
설치가 완료되었다면, 본문 “하둡 테스트베드(Hortonworks Data Platform, HDP) 설치”의 HDP 서비스 접속 항목에 소개된 단계를 이어나가면 됩니다.