한국어

네트워킹

온누리070 플레이스토어 다운로드
    acrobits softphone
     온누리 070 카카오 프러스 친구추가온누리 070 카카오 프러스 친구추가친추
     카카오톡 채팅 상담 카카오톡 채팅 상담카톡
    
     라인상담
     라인으로 공유

     페북공유
    
     PAYPAL
     
     PRICE
     

pixel.gif

    before pay call 0088 from app
■ 해외 로잉 무료 스마트폰 휴대폰 070 인터넷폰 인터넷전화 국내 해외 가입 상사 주재원 교민 유학생 여행 등 ■

실시간 120만개의 패킷분석 - OpenSOC 프로젝트

올해 들어서 블로그에 글 쓰기가 힘들어 졌는데, 오랜만에 포스팅을 해 보려고 합니다.  오늘의 주제는 오픈소스 기반의 시큐리티 분석 프레임웍인 OpenSOC 입니다. OpenSOC 는 여러 보안 문제의 이슈를 빅데이터라는 관점에서 접근해 볼 수 있어, 보안 침해 사고에 대한 조사, Anonmaly 탐지 등 이용범위는 사용방법에 따라 다양해 질 수 있습니다.  오픈소스 기반인 만큼 여러가지 오픈소스를 이용하고 있는데요 Storm, Kafka, Elasticsearch 와 같은 하둡의 에코시스템 MySQL 등을 사용하고 있습니다.  이를 통해 패킷캡쳐 인덱스, 저장, 데이터 스트리밍 처리, 배치 처리, 실시간 검색, 집계등을 이용할 수 있게 됩니다. 


프레임웍에서 제공하는 주요 기능은 아래와 같습니다.

  • Extensible spouts and parsers for attaching OpenSOC to monitor any telemetry source
  • Extensible enrichment framework for any telemetry stream
  • Anomaly detection and real-time rules-based alerts for any telemetry stream
  • Hadoop-backed storage for telemetry stream with a customizable retention time
  • Automated real-time indexin for telemetry streams backed by Elastic Search
  • Telemetry correlation and SQL query capability for data stored in Hadoop backed by Hive
  • ODBC/JDBC compatibility and integration with existing analytics tools

OpenSOC 를 사용하기 위해서 필요한 것은 다음과 같습니다.
  • 2 개의 네트워크 패킷 캡쳐 카드 (Napatech 사의 NT20E2-CAP 추천)
  • 아파치 Flume 1.4.0 +
  • 아파치 Kafka 0.8.1+
  • 아파치 Storm 0.9+
  • 아파치 하둡 2.X 
  • 아파치 하이브 12+ (13 권장)
  • 아파치 Hbase 0.94+
  • Elastic Search 1.1+
  • MySQL 5.6+
OpenSOC 컴포넌트는 크게 데이터처리를 위한 스트리밍 쪽과 실제 분석을 하기위한 UI 화면으로 나뉘어져 있습니다.  OpenSOC 를 구현하기 위해 테스트된 환경은 시스코에서 제공한 것으로 14개의 데이터 노드와 3개의 클러스트 제어 노드, 2개의 ESX 호스트, 라우터, 스위치등이 있습니다. 

과거에 제가 진행해 보았던 패킷 분석 프로젝트와 비슷한 개념이 되기도 하는데, 더욱 큰 관점에서 프레임웍이 만들어져 있다는 점에서 매력이 있습니다. 오픈소스로 공개되어 있는 만큼 사용도 자유롭고 실시간으로 120 만개의 패킷을 처리할 수 있다는 것은 성능면에서도 만족스러워 보입니다.  관련 프로젝트를 진행해 보신 분들은 아시겠지만 패킷분석 처리가 만만치는 않은 작업입니다. 제대로 구현하면 얻어낼 수 있는 데이터도 많지만 이 엄청난 패킷 데이터를 저장하고 처리하고 의미있는 데이터로 얻어내기까지는 상당히 많은 작업들이 필요합니다. 

이걸 오픈소스로 이용할 수 있다는 측면에서는 아주 매력적이죠. 물론, 다양한 오픈소스를 사용해야 하기 때문에 어느정도의 경험이 필요로 할듯 해 보입니다.  

더 상세한 정보는 다음 사이트에서 얻을 수 있습니다.


혹시 OpenSOC 로 구현을 진행하였거나 진행할 계획이 있으신 분들은 알려주세요~ 

//Rigel   

조회 수 :
210
등록일 :
2018.04.15
16:33:30 (*.160.88.18)
엮인글 :
http://webs.co.kr/index.php?document_srl=3314417&act=trackback&key=869
게시글 주소 :
http://webs.co.kr/index.php?document_srl=3314417
List of Articles
번호 제목 글쓴이 날짜 조회 수
60 route 및 iptables를 이용한 리눅스 특정 IP 접속 차단하는 법 admin 2018-04-15 241
59 IPv6와 IPv4의 차이점 기존의 IPv4의 문제점 admin 2018-04-15 291
58 유용한 네트워크 분석 도구 소개와 패킷분석 입문 admin 2018-04-15 240
» 실시간 120만개의 패킷분석 - OpenSOC 프로젝트 admin 2018-04-15 210
56 사례를 통해 알아가는 실전 패킷분석 A 기업의 UDP 트래픽 급증의 원인은 admin 2018-04-15 227
55 리눅스 linux 현재 사용중인 랜카드 트래픽 대역폭 확인 프로그램 nload admin 2017-11-04 1690
54 whois site ip owner check admin 2015-08-03 3814
53 How to reduce DDOS attack admin 2015-06-24 3908
52 Collection of basic Linux Firewall iptables rules all you need admin 2015-06-16 3744
51 TCP flag(URG, ACK, PSH, RST, SYN, FIN) admin 2014-04-05 10685
50 HowTo Disable ipv6 Lenny squeeze admin 2014-02-25 8984
49 ping 핑 에 의한 패킷 전송 10 단계 그림으로 설명 file admin 2014-02-13 11833
48 whois IP Domain admin 2014-02-10 9706
47 Cisco - CCNP, CCIE - QoS. Quality Of Service admin 2013-08-29 11720
46 Easy Steps to Cisco Extended Access List file admin 2013-08-02 11338
45 Securing Networks Access List Implementation on Cisco Routers admin 2013-08-02 28173
44 Analyzing High CPU Utilization Issues on Cisco Catalyst 6500 Series admin 2013-08-01 12698
43 Basic Configuration of VLANS, Switchports and InterVLAN Routing admin 2013-08-01 10813
42 다산 스위치 Dasan L3 Switch manuall 및 명령어 v6424 V5424 등 file admin 2013-07-14 23322
41 Intel Network Adapter Drivers for Windows Server 2003*, Final Release file admin 2013-06-22 11195
40 ping 설명 ICMP Internet Control Message Protocol 설명 여러가지 admin 2013-05-09 43017
39 네트웍을 공부하려고 하는분 네이버 네트워크 전문가 따라 잡기 카페 admin 2013-04-20 17408
38 List of TCP and UDP port numbers admin 2013-04-16 33204
37 Juniper QFabric, Junosphere, Automation, and More admin 2013-03-31 12492
36 Cisco ASA Packet Captures for Fun and Profit admin 2013-03-31 11372
35 3com tftp damon program 3cdv2r10 file admin 2013-03-17 12035
34 VLAN Tagging - Understanding VLANs Ethernet Frames admin 2013-03-11 24797
33 Cisco Catalyst Fixed Configuration Layer 2 and Layer 3 Switches admin 2013-01-30 26064
32 Quality of Service Guide - QOS admin 2012-01-06 52988
31 dscp ef admin 2012-01-06 14226
30 DSCP(분화된 서비스 코드 포인트) 개요 admin 2012-01-06 15562
29 IP Precedence, TOS & DSCP admin 2012-01-06 17779
28 컴퓨터 네트워크의 기초 강의 – 네트워크 관련 윈도우 명령어 admin 2012-01-02 14250
27 국내 IPv6 자료 한국 인터넷진흥원 admin 2012-01-02 12090
26 World BGP Report admin 2011-12-28 12213
25 BGP AS4766 Korea Telecom IPv4 Route Propagation file admin 2011-12-28 13747
24 Introduction to MPLS admin 2011-12-25 12546
23 Protocol BGP Lab 1 Part 1 AS Path Local Preference Route Reflectors admin 2011-12-25 13098
22 IPSec Site to Site VPN tunnels admin 2011-12-25 12844
21 CONFIGURING STATIC ROUTING RIP IGRP OSPF ON CISCO ROUTER admin 2011-12-25 13232
20 BGP Study 유튜브 동영상 admin 2011-12-25 13181
19 Question about no ip-directed broadcast admin 2011-12-23 15141
18 IPv6 환경의 보안 위협 및 공격 분석 file admin 2011-12-22 12304
17 [Cisco] NAT Config 해설 admin 2011-12-19 68757
16 자이온의 실전! QoS 강좌 1 admin 2011-12-19 16849
15 3com 스위칭허브 스위칭용량및 속도 총정리 file admin 2011-12-16 17989
14 트래픽관리를 위한 MRTG 서버구축 admin 2011-12-16 16293
13 Brocade FastIron GS Series manuall file admin 2011-12-16 24537
12 CAT.6 UTP 케이블링 작업 요령 file admin 2011-12-16 18105
11 윈도우에서 특정아이피 차단 설정 하기 admin 2011-12-16 19779
10 정의랑의 네트워크이야기 - 네트워크 전반적인 분야 고수 admin 2011-12-16 12216
9 GRE Tunnel /VPN admin 2011-12-16 12391
8 VLAN과 TRUNK admin 2011-12-16 11763
7 와룡의 네트워크 카페에서 라우팅 ,스위칭공부 admin 2011-12-16 12615
6 방화벽 자료 admin 2011-12-16 12404
5 Subnet Mask Cheat Sheet admin 2011-12-16 12044
4 서브넷마스크 와일드마스크 계산기 file admin 2011-12-16 65178
3 KT 보안관제센터 직원들이 네트워크 감시 근무자 모니터 화면 admin 2011-12-16 15240
2 Juniper Training Courses admin 2011-12-16 14433
1 기간망의 네트워크 운용실의 대형 라우터장비 예 admin 2011-12-16 11732