한국어

네트워킹

온누리070 플레이스토어 다운로드
    acrobits softphone
     온누리 070 카카오 프러스 친구추가온누리 070 카카오 프러스 친구추가친추
     카카오톡 채팅 상담 카카오톡 채팅 상담카톡
    
     라인상담
     라인으로 공유

     페북공유

   ◎위챗 : speedseoul


  
     PAYPAL
     
     PRICE
     

pixel.gif

    before pay call 0088 from app


실시간 120만개의 패킷분석 - OpenSOC 프로젝트

올해 들어서 블로그에 글 쓰기가 힘들어 졌는데, 오랜만에 포스팅을 해 보려고 합니다.  오늘의 주제는 오픈소스 기반의 시큐리티 분석 프레임웍인 OpenSOC 입니다. OpenSOC 는 여러 보안 문제의 이슈를 빅데이터라는 관점에서 접근해 볼 수 있어, 보안 침해 사고에 대한 조사, Anonmaly 탐지 등 이용범위는 사용방법에 따라 다양해 질 수 있습니다.  오픈소스 기반인 만큼 여러가지 오픈소스를 이용하고 있는데요 Storm, Kafka, Elasticsearch 와 같은 하둡의 에코시스템 MySQL 등을 사용하고 있습니다.  이를 통해 패킷캡쳐 인덱스, 저장, 데이터 스트리밍 처리, 배치 처리, 실시간 검색, 집계등을 이용할 수 있게 됩니다. 


프레임웍에서 제공하는 주요 기능은 아래와 같습니다.

  • Extensible spouts and parsers for attaching OpenSOC to monitor any telemetry source
  • Extensible enrichment framework for any telemetry stream
  • Anomaly detection and real-time rules-based alerts for any telemetry stream
  • Hadoop-backed storage for telemetry stream with a customizable retention time
  • Automated real-time indexin for telemetry streams backed by Elastic Search
  • Telemetry correlation and SQL query capability for data stored in Hadoop backed by Hive
  • ODBC/JDBC compatibility and integration with existing analytics tools

OpenSOC 를 사용하기 위해서 필요한 것은 다음과 같습니다.
  • 2 개의 네트워크 패킷 캡쳐 카드 (Napatech 사의 NT20E2-CAP 추천)
  • 아파치 Flume 1.4.0 +
  • 아파치 Kafka 0.8.1+
  • 아파치 Storm 0.9+
  • 아파치 하둡 2.X 
  • 아파치 하이브 12+ (13 권장)
  • 아파치 Hbase 0.94+
  • Elastic Search 1.1+
  • MySQL 5.6+
OpenSOC 컴포넌트는 크게 데이터처리를 위한 스트리밍 쪽과 실제 분석을 하기위한 UI 화면으로 나뉘어져 있습니다.  OpenSOC 를 구현하기 위해 테스트된 환경은 시스코에서 제공한 것으로 14개의 데이터 노드와 3개의 클러스트 제어 노드, 2개의 ESX 호스트, 라우터, 스위치등이 있습니다. 

과거에 제가 진행해 보았던 패킷 분석 프로젝트와 비슷한 개념이 되기도 하는데, 더욱 큰 관점에서 프레임웍이 만들어져 있다는 점에서 매력이 있습니다. 오픈소스로 공개되어 있는 만큼 사용도 자유롭고 실시간으로 120 만개의 패킷을 처리할 수 있다는 것은 성능면에서도 만족스러워 보입니다.  관련 프로젝트를 진행해 보신 분들은 아시겠지만 패킷분석 처리가 만만치는 않은 작업입니다. 제대로 구현하면 얻어낼 수 있는 데이터도 많지만 이 엄청난 패킷 데이터를 저장하고 처리하고 의미있는 데이터로 얻어내기까지는 상당히 많은 작업들이 필요합니다. 

이걸 오픈소스로 이용할 수 있다는 측면에서는 아주 매력적이죠. 물론, 다양한 오픈소스를 사용해야 하기 때문에 어느정도의 경험이 필요로 할듯 해 보입니다.  

더 상세한 정보는 다음 사이트에서 얻을 수 있습니다.


혹시 OpenSOC 로 구현을 진행하였거나 진행할 계획이 있으신 분들은 알려주세요~ 

//Rigel   

조회 수 :
5861
등록일 :
2018.04.15
16:33:30 (*.160.88.18)
엮인글 :
http://webs.co.kr/index.php?document_srl=3314417&act=trackback&key=c8b
게시글 주소 :
http://webs.co.kr/index.php?document_srl=3314417
List of Articles
번호 제목 글쓴이 날짜 조회 수
64 Export all blocked IPs 블랙리스트 아이피 admin 2019-10-16 2343
63 a b c class Subnet Mask Cheat Sheet admin 2019-10-16 5097
62 Apple 소프트웨어 제품에서 사용하는 TCP 및 UDP 포트 admin 2019-04-19 8277
61 windows linux whois ip domain 도메인 아이피 소유자 확인 명령어 admin 2019-02-16 70598
60 route 및 iptables를 이용한 리눅스 특정 IP 접속 차단하는 법 admin 2018-04-15 7971
59 IPv6와 IPv4의 차이점 기존의 IPv4의 문제점 admin 2018-04-15 7962
58 유용한 네트워크 분석 도구 소개와 패킷분석 입문 admin 2018-04-15 9028
» 실시간 120만개의 패킷분석 - OpenSOC 프로젝트 admin 2018-04-15 5861
56 사례를 통해 알아가는 실전 패킷분석 A 기업의 UDP 트래픽 급증의 원인은 admin 2018-04-15 6072
55 리눅스 linux 현재 사용중인 랜카드 트래픽 대역폭 확인 프로그램 nload admin 2017-11-04 20581
54 whois site ip owner check admin 2015-08-03 10012
53 How to reduce DDOS attack admin 2015-06-24 10898
52 Collection of basic Linux Firewall iptables rules all you need admin 2015-06-16 10317
51 TCP flag(URG, ACK, PSH, RST, SYN, FIN) admin 2014-04-05 49758
50 HowTo Disable ipv6 Lenny squeeze admin 2014-02-25 17522
49 ping 핑 에 의한 패킷 전송 10 단계 그림으로 설명 file admin 2014-02-13 25009
48 whois IP Domain admin 2014-02-10 17750
47 Cisco - CCNP, CCIE - QoS. Quality Of Service admin 2013-08-29 50104
46 Easy Steps to Cisco Extended Access List file admin 2013-08-02 20960
45 Securing Networks Access List Implementation on Cisco Routers admin 2013-08-02 129811
44 Analyzing High CPU Utilization Issues on Cisco Catalyst 6500 Series admin 2013-08-01 22844
43 Basic Configuration of VLANS, Switchports and InterVLAN Routing admin 2013-08-01 20817
42 다산 스위치 Dasan L3 Switch manuall 및 명령어 v6424 V5424 등 file admin 2013-07-14 58330
41 Intel Network Adapter Drivers for Windows Server 2003*, Final Release file admin 2013-06-22 21598
40 ping 설명 ICMP Internet Control Message Protocol 설명 여러가지 admin 2013-05-09 100085
39 네트웍을 공부하려고 하는분 네이버 네트워크 전문가 따라 잡기 카페 admin 2013-04-20 57482
38 List of TCP and UDP port numbers admin 2013-04-16 58455
37 Juniper QFabric, Junosphere, Automation, and More admin 2013-03-31 22214
36 Cisco ASA Packet Captures for Fun and Profit admin 2013-03-31 21186
35 3com tftp damon program 3cdv2r10 file admin 2013-03-17 20948