빅데이터의 단짝, 하둡(Hadoop)

빅데이터(Big Data), 문자 그대로 데이터가 정말 많다는 것을 표현합니다. ‘하둡(Hadoop)’은 그 빅데이터를 처리하기 위한 대표적인 시스템이구요. 그러나 단순히 속 뜻대로 데이터 양이 많은 정도라면, 빅데이터는 왜 별개의 기술 분야처럼 구분되어 일부 서버 개발자나 데이터 사이언티스트들의 기본적인 테크 코스가 되었을까요? 좀 더 구체화해보면, 1) 빅데이터는 어떤 시스템 요구 사항을 충족해야하며, 2) 하둡은 어떤 의미에서 빅데이터에 어울리는 시스템 아키텍쳐인지 알아볼 필요가 있습니다. 1. 분산 저장/처리 시스템이 필요한 이유 빅 데이터는 어느 정도를 빅 데이터라고 부를까요? GB 정도의 단위는 어림도 없고, 최소한 TB 단위부터 시작해야 할 것입니다. 그것도 매일 그 정도의 새로운 데이터가 ..

• format_list_bulleted 빅데이터
• · 2023. 11. 18.
• textsms

GNS3로 배우는 네트워크 실습 #1 (모의환경 구축)

네트워크 실습은 꽤 많은 구축 비용을 요구합니다. 통신을 하려면 일단 최소한 2개 이상의 기기(PC, 서버, IoT 장비 등)가 필요하니까요. 그리고 고작 단말 2~3개로 끝나지 않고, 때론 수십 개의 단말이 여러 서브 네트워크로 쪼개져서 복잡한 토폴로지를 구성하는 일이 잦을 겁니다. 이런 경우에는 서버나 PC 장비 뿐만 아니라 스위치, 허브, AP, 라우터 같은 네트워크 장치도 넉넉히 보유해야 하며, 또 그것들을 배치할 공간도 마련해야겠죠. 일반인들은 이러한 고가의 장비들, 다수의 네트워크 단말을 손에 넣을 수 없습니다. 그래서 네트워크 테스트베드를 가상 환경에서 빠르고 저비용으로 설계하고 실험해볼 수 있는 도구들이 개발되어 왔습니다. 1. GNS3 = 네트워크 입문자를 위한 시뮬레이터 GNS3는 대표..

• format_list_bulleted 네트워크
• · 2023. 11. 12.
• textsms

Wireshark 기타 유틸리티: Mergecap, Editcap, Capinfos

Tshark 포스팅에 이어, 이제 나머지 몇몇 Wireshark 유틸을 소개하고 Wireshark 가이드를 마치려고 합니다. 패킷 수집과 별개로, pcap 파일을 다룰 때 미리 알아두면 쓸데없이 고생하지 않게 도와주는 유용한 부가 기능들을 알려드리겠습니다. Wireshark를 설치하면 같이 따라오는 요녀석들인데요. 각각의 기능을 살펴보면, capinfos: 덤프 파일의 각종 통계(ex., 패킷 수, 전체 데이터 크기, duration, bytes/sec 등)를 산출 mergecap: 여러 개의 pcap/pcapng 파일을 하나의 덤프 파일로 통합해주는 도구 dumpcap: 명령 인터페이스 기반 패킷 수집기 editcap: 패킷 덤프 파일의 일부 영역을 추출하는 도구 reordercap: pcap/pcap..

• format_list_bulleted 네트워크
• · 2023. 11. 11.
• textsms

Docker Machine을 이용한 Swarm 클러스터 생성

Docker Swarm 구축 시에 가상머신으로 노드를 띄우고자 한다면 ‘Docker-Machine’을 활용해보는 것도 좋은 옵션입니다. Docker-Machine은 가볍고 최적화된 OS 이미지로 Swarm 노드들을 생성하고 클러스터 운영/관리를 돕는 커맨드-라인 기반의 플러그인입니다. 사전 준비요소 Docker 서비스를 구동시키는 Docker Engine과 가상머신 생성을 위한 드라이버를 제공하는 VirtualBox나 VMware와 같은 도구가 미리 설치되어 있어야 합니다. Docker Engine: https://docs.docker.com/engine/install/ Virtualbox: https://www.virtualbox.org/wiki/Downloads Install Docker Engine..

• format_list_bulleted 서버 & 클라우드
• · 2023. 11. 4.
• textsms

Docker Swarm 가이드 #1 (Service 생성)

1. 사전 준비물 Docker Swarm으로 클러스터를 운영하기 위해서 다음과 같은 요소들이 필요합니다. 2개 이상의 PC Docker Swarm은 기본 Docker 시스템과 달리, 멀티 노드로 확장하는 클러스터 운영 프레임워크입니다. 따라서 호스트 머신 하나로는 구축이 의미가 없으며, 둘 이상의 PC를 배치하고 통신을 열어주던지, 또는 다수의 PC를 운영할 여력이 안 된다면 가상머신을 이용하는게 좋습니다. 가상머신으로 클러스터를 구성하고자 한다면 Vmware/VirtualBox*로 비어 있는 상태의 Linux를 미리 준비해두면 됩니다. 좀 더 간결한 가상머신 구축을 원한다면 *Docker Machine(지금은 더 이상 패치가 없다고 하네요 😪)을 활용하는 방법도 있으니, 이와 관련해서는 바로 다음 포스..

• format_list_bulleted 서버 & 클라우드
• · 2023. 10. 29.
• textsms

ARP Spoofing

1. 네트워크 주소 식별 체계에 관해 네트워킹을 하는 장치들은 제각기 2종류의 고유 주소를 갖고 있습니다. 바로 MAC 주소와 IP 주소입니다. 대게 IP 주소만을 이용하여 패킷이 목적지에 해당하는 호스트를 찾아간다고 생각할 수 있으나, 이는 잘못된 생각입니다. 통신 단말들은 LAN이라는 그룹 환경을 이루고, 패킷이 최종 목적지까지 도달하는 과정에서 스위치나 브릿지와 같은 중계 장비를 통과해야만 하는데, 이 때 목적지의 MAC 주소가 있어야 하기 때문이죠. 직전에 라우팅 과정에서 IP 주소가 쓰이므로, 결국 데이터 송신자는 목적지의 MAC 주소와 IP 주소를 모두 알고있는 상태에서 통신을 수행하는 셈입니다. 다만, 한 가지 의아한 부분이 있습니다. 한 번도 통신해본 적이 없는 상대방의 MAC 주소를 어떻..

• format_list_bulleted 보안
• · 2023. 10. 7.
• textsms