Kibana 사용법 #2 (ELK 통합 연동 및 데이터 분석)

1. 데이터 준비 시각화할 데이터를 서비스에 올리기 위해서 아래의 3가지 방법을 이용할 수 있습니다. Kibana 웹 인터페이스에서 직접 데이터 업로드 (csv, tsv, json 등의 데이터 포맷 허용) 터미널 또는 프롬프트에서 Elasticsearch REST API로 데이터 업로드 (json 포맷) Logstash로 파일을 읽어들여서 Elastic Engine에 저장 위 3가지 케이스들을 하나씩 테스트해보기 위해서 데이터 샘플을 준비하였습니다. 아래의 데이터는 2017~2021년 사이의 Bitcoin 거래 통계를 매주마다 기록한 리스트입니다. trade.csv trade.json 방식 A: Kibana 웹 인터페이스에서 데이터 업로드 터미널에서 명령어를 입력할 필요도 없고, 드래그 앤 드롭으로 곧바..

• format_list_bulleted 빅데이터
• · 2023. 9. 30.
• textsms

Tshark: 대용량 네트워크 트래픽 분석도구

Wireshark는 네트워크 트래픽 분석 도구로서, 사용자가 쉽게 녹아들수 있는 UI와 풍부한 유틸리티를 갖추고 있습니다. 다만, 이러한 장점은 기껏해야 수백~수만개의 패킷 레코드를 분석하는데서 유용하지, 만약 사내, 기관 또는 학교의 전산실처럼 적게는 시간마다 수백만~수억개의 패킷이 쌓이는 환경이라면요? 실제로 제가 실무에서 경험해본 바로는 Wireshark에 기록되는 패킷 수가 100만개가 넘어가면서부터 프로그램이 버벅이더니 500~1000만개 정도의 패킷이 쌓일 정도면 아예 Wireshark가 멈춰버리곤 하였습니다. Wireshark에 표시해야할 패킷 정보, 메타 데이터의 양과 UI 렌더링 프로세스를 시스템 메모리가 감당 못하기 때문이었죠. 어찌저찌 pcap 파일이 열렸더라도, 저런 방대한 양의 레..

• format_list_bulleted 네트워크
• · 2023. 9. 23.
• textsms

Container Orchestration과 Docker Swarm

1. 스케일업에 따른 컨테이너 운용 방식 변화 Docker로 이제 막 컨테이너들을 다뤘을 때는 모든 애플리케이션을 하나의 호스트(localhost) 머신 안에서 서비스하였습니다. 그러나 단순 실습/테스트 수준을 넘어 Netflix나 여타 다른 웹 플랫폼 수준의 서비스로 나아가기 위해서는, 단일 호스트가 감당할 수 있는 시스템 자원 및 트래픽 양, 이용자 수를 훨씬 초월하는 수준의 거대한 시스템을 구상해야만 합니다. 당연히 컨테이너도 수십, 수백, 정말 많게는 수천 개가 필요해지겠죠. 여러 대의 PC 또는 서버 각각에 역할을 부여하고 컨테이너를 분산시켜 서비스를 효율적으로 운용해야할 때인 겁니다. 그러나 Docker 자체만으로 전체 시스템을 구축하려다보면 다양한 문제들을 마주칠 수 밖에 없습니다. 컨테이너..

• format_list_bulleted 서버 & 클라우드
• · 2023. 9. 16.
• textsms

MAC Flooding

OSI의 2번째 계층 Data Link Layer의 대표적인 네트워크 공격으로 “MAC Flooding”이 있습니다. 다른 네트워크 공격과는 달리, MAC Flooding은 서버나 PC, 단말 등을 타겟으로 삼기보다 네트워크 스위치를 직접 공격하는 방법입니다. 물론 그 공격의 최종 타겟은 네트워크 상의 단말 기기들이지만 말이죠. 1. MAC table과 보안 허점 네트워크 스위치는 여러 장치(ex., 컴퓨터, 서버, 프린터)를 하나의 LAN으로 묶어줍니다. 스위치에는 랜선을 꼽을 수 있는 물리적 포트가 다수 존재하며, 각각의 장치는 이 물리적 포트를 하나씩 차지하여 본인에게로 도달해야하는 데이터들의 통로로 사용합니다. 스위치는 각 물리적 포트의 할당 현황을 관리·모니터링하게 되며 이 기능을 "MAC ta..

• format_list_bulleted 보안
• · 2023. 9. 9.
• textsms

Anaconda 없이 pytorch 개발환경 구축하기

지금까지 수십 여번 AI/Data Analysis 환경을 구축하면서 들었던 의문이 하나 있습니다. “대체 Anaconda는 뭐하러 깔아야 하는 건가” 에 대해서 말이죠. 이번 포스트에서는 굳이 Anaconda 없이도 pytorch나 tensorflow 개발 환경을 구축하고 GPU 활용이 가능하다는 것을 알려드리고자 합니다. Anaconda는 필수가 아니다 가상환경을 만드려면 반드시 Anaconda가 필요한가? Anaconda를 사용하는 첫번째 이유가 여러 개발 환경간의 상호 충돌을 방지하기 위함인 건 맞으나, 가상환경은 애시당초 파이썬 자체에서도 제공하고 있는 기능입니다. python venv를 이용하면 Anaconda 때와 별반 차이 없이 가상환경을 생성하고 pip으로 필요한 패키지만 골라 설치하면 됩..

• format_list_bulleted 데이터 사이언스
• · 2023. 9. 3.
• textsms

정보 이론과 엔트로피 (Entropy)

1. 정보 이론(Information Theory)에서 말하는 ‘정보’ 응용 수학 학문의 갈래에는 수없이 많은 해괴한 이론들이 도사리고 있습니다. 정보 이론(Information Theory)는 그 중에서도 공대생들에게 상당히 귀에 낯익는 용어임에도, 여기서 말하는 ‘정보’라는게 일상적으로 쓰는 그 개념 그 자체인지 항상 모호할 때가 있었습니다. 위키를 비롯한 여러 자료들에서는 정보 이론을 다음과 같이 요약하고 있습니다. 정보, 데이터의 가치를 수학적으로 정량화하는 이론 일상대화에 사용되는 “이건 유익한 정보다”, 또는 “별로 의미없는 정보였네”와 같은 표현처럼, 정보나 특정 사건, 관측치의 중요도를 수치화하여 나타내는 접근법으로 이해해도 될 것 같습니다. 그럼, 정보의 유익함을 산출하는 기준은 무엇이냐..

• format_list_bulleted 데이터 사이언스
• · 2023. 9. 2.
• textsms