Hadoop의 3요소 (HDFS, MapReduce, Yarn)

Hadoop이 지금에서야 Spark, Hive와 같이 다양한 오픈소스 프로젝트가 결합되서 쓰이지만, 초창기의 시스템 뼈대는 HDFS와 MapReduce로부터 시작되었습니다. 얼마 안가 Hadoop이 v2.0으로 버전업 되면서 MapReduce의 역할 일부가 YARN이라는 구성 요소로 떨어져 나와, 마침내 HDFS, MapReduce, YARN의 3진 체계가 이루어졌습니다. 3가지 각각의 요소의 기능은 다음과 같습니다. HDFS: 거대한 데이터를 여러 컴퓨팅 노드에 나눠 저장하는 분산 스토리지 시스템 MapReduce: 다량의 데이터를 집계하기 위한 분산 데이터 처리 엔진 YARN: Hadoop 클러스터 전체에서 수행되는 작업과 필요한 리소스를 관리하는 모듈 1. HDFS 빅 데이터라고 하면 "데이터가 개..

• format_list_bulleted 빅데이터
• · 2023. 12. 24.
• textsms

Docker Swarm 가이드 #2 (Stack)

1. Docker Stack Docker Stack = Swarm을 파일(yaml) 레벨에서 관리하는 기능 Docker Swarm 클러스터의 초기 구축은 여러모로 귀찮은 작업들을 수반합니다. 터미널에서 직접 입력해야 하는 docker swarm/service ~ 명령어도 많구요. Swarm뿐만 아니라, 단일 애플리케이션(ex., nginx)를 Docker 환경에 띄울 때도 마찬가지였습니다. 하지만 docker-compose라는 기능 덕에 여러 컨테이너를 하나의 설정 파일(yaml)에 정의해두고 여러 번 반복적으로 돌려 쓸 수 있었죠. 마찬가지로, Docker service에 관한 모든 요소를 yaml 파일에 담아 관리할 수 있는 ‘docker stack‘ 이라는 기능이 존재합니다. 각 Service*를 ..

• format_list_bulleted 서버 & 클라우드
• · 2023. 12. 16.
• textsms

GNS3로 배우는 네트워크 실습 #2 (Router 연결)

라우터는 서로 다른 근거리 통신망(LAN)에 속한 단말간의 네트워킹을 열어주는 장치입니다. 인터넷을 사용하는 행위 역시, 최소 하나 이상의 라우터가 관여하고 있습니다. 본 포스트는 GNS3 환경에서 분리된 망 간의 데이터 송수신을 위해 라우터를 배치하고 연결하는 과정을 다룹니다. 1. Cisco 라우터 이미지 다운로드 GNS3에서는 기본 스위치, 허브, VPC와 같은 요소들이 처음부터 제공되어지지만, 아쉽게도 라우터만큼은 따로 이미지 소스파일을 구해서 GNS3에 등록해야합니다. 가장 쉽게 구할수 있고 많이 애용되는 라우터는 Cisco사의 제품군입니다. 이번 실습에서는 c3725라는 라우터 모델의 가상 이미지가 쓰이며, 해당 이미지를 찾으려고 여기저기 검색하는 수고를 덜어드리기 위해 아래와 같이 다운로드 ..

• format_list_bulleted 네트워크
• · 2023. 12. 9.
• textsms

SSH : WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED 오류

ssh 원격접속을 시도하다가 간혹 “WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED”와 같은 메시지를 마주할 수 있습니다. 이는 과거 어느시점에 내 로컬 PC에서 원격지 주소로 접속한 적이 있는데, 이때 시스템에 저장된 인증 정보가 지금은 유효하지 않기 때문입니다. 주로 접속하려는 IP의 호스트가 다른 것으로 대체되었을 때 발생하는 오류이며, OS 재설치 또는 아예 기존 원격 서버가 없어지고 새로운 PC가 해당 IP를 할당받은 경우가 그러합니다. 문제의 근원은 로컬 PC에서 제때 업데이트 되지 않은 ssh 설정입니다. 오류를 해결하기 위해서는 아래와 같이 Windows에서는 C:\Users\[사용자 계정]\.ssh 폴더로, Linux 계열에서는 /home/[사용자 계..

• format_list_bulleted 기타
• · 2023. 12. 2.
• textsms

DHCP Spoofing & DHCP Starvation 공격

DHCP는 ARP와 더불어 Spoofing 공격에 노출되어 있는 프로토콜 중 하나입니다. DHCP는 어지간한 네트워크에서 주소 체계로 사용되고 있으므로, Spoofing을 통해 DHCP 체계의 제어권을 상실하는 것은 결코 적지 않은 피해를 남길 수 있습니다. DHCP Spoofing을 접하기 전에, DHCP의 메커니즘을 먼저 이해하면 글을 읽는데 도움이 될 것입니다. 관련하여 바로 이전 포스트를 정독해보는 것을 추천합니다. DHCP Spoofing 공격 DHCP의 취약점 네트워크에 새로 추가된 기기가 동적 IP를 할당 받기 위해서는 가장 먼저 DHCP 서버를 찾아야 합니다. 이 때까지는 DHCP 서버가 정확히 어느 지점에 존재하는지(무슨 IP를 가지고 있는지)조차 모르기에 네트워크 전체에 "DHCP 서버..

• format_list_bulleted 보안
• · 2023. 11. 26.
• textsms

DHCP (Dynamic Host Configuration Protocol)

DHCP란? 새로운 PC나 모바일 기기 등의 장치를 추가했을 때, 네트워크 설정을 대부분 1~2 순위로 하게 될 텐데요. 여기에는 IP 주소를 사용자가 직접 설정하는 고정 IP 방식과, 그와 반대로 적절한 IP 주소 후보에서 알아서 골라 네트워크에 붙은 장비에 할당해주는 동적 IP 방식이 존재합니다. 동적 IP 방식의 핵심이 되는 메커니즘이 DHCP인데요. DHCP(Dynamic Host Configuration Protocol)는 네트워크 내에서 IP 주소의 배분과 네트워크 configuration을 체계적으로 관리해주는 프로토콜입니다. 동적 IP 할당 방식을 사용하는 근거리 통신망(LAN) 내에는 DHCP 서버가 하나씩 있어, 네트워크 내에서 사용할 신규 IP 주소 발급 요청을 처리합니다. 대부분 가..

• format_list_bulleted 네트워크
• · 2023. 11. 25.
• textsms