logstash5 네트워크 패킷 실시간 수집분석 효율적인 중복제거 및 특이사항 필터링 네트워크 패킷을 syslog를 통해 수집할 때, 데이터의 양이 많아 중복 항목을 효율적으로 제거하는 방법(Network Packet Deduplication Strategies)은 여러 가지가 있습니다. 중복 데이터를 제거하는 것은 저장 공간을 절약하고, 분석을 더 빠르고 정확하게 만들어줍니다.해시 함수 사용: 각 패킷에 대한 해시 값을 계산하고, 이 값을 기반으로 중복을 확인합니다. SHA-256 또는 MD5와 같은 해시 함수를 사용하여 각 패킷의 고유한 지문을 생성할 수 있습니다. 이 방법은 데이터의 무결성 검사에도 유용합니다.데이터 정규화: 데이터를 분석하기 전에, 가능한 한 모든 패킷을 표준 형식으로 정규화합니다. 이것은 IP 주소, 타임스탬프 등의 필드에서 발생할 수 있는 미세한 차이를 제거하여.. 2024. 5. 15. 실시간 파이프라인 데이터 수집을 위한 Logstash의 grok 필터 설정 실시간 파이프라인(Real-time Data Pipeline) 기능을 통한 데이터 수집을 위해 로그 메시지를 구문 분석하고 필드를 추출하기 위한 Logstash의 grok 필터 설정 부분에 대해서 아래 예제 코드를 통해서 각 부분별로 정리해보고자 합니다. #Initial log extraction mutate { gsub => ["message", "([\\w]+)Usuario:", "$1 Usuario:"] } grok { match => { "message" => [ "()?%{GREEDYDATA:ts} %{HOSTNAME:.. 2024. 5. 2. KST 한국 시간을 세계표준 UTC 및 ISO8601 형식으로 변환(Converter) 다양한 장비들의 로그를 통합하기 위하여 수집하다 보면 시간의 타임존 형태가 다양할 수 있는데 표준이 아닌 "2024-03-19 02:26:04" 형식의 시간이 수집되는 경우 KST 시간으로 인식하고, 이를 UTC 시간으로 변환하여 ISO8601 형태로 반환하는 코드를 작성했습니다. 변환된 결과는 "2024-03-18T17:26:04Z" 입니다.from datetime import datetime, timedeltaimport pytzdef convert_kst_to_utc(input_time_str): # KST 시간대 설정 kst = pytz.timezone('Asia/Seoul') # 입력 값 형식이 ISO8601 형식이 아니므로, 년-월-일 시:분:초 형태로 파싱 input_t.. 2024. 4. 29. Splunk 대체 Solution으로서의 ELK Stack Splunk는 모든 머신 데이터를 실시간으로 collecting하고 Indexing하고 Reporting하는 End-to-End Solution이다. 모든 머신 데이터를 제한 없이 처리 할수있다. 사용자가 원하는 데이터를 즉시 분석할수 있으며, 원하는 Reporter, Dashboard를 추가적인 개발없이 구성할수 있다. 또한 통계적 명령들을 조합하여 여러가지 Query문으로 Search가 가능하며 Query문의 자동완성 기능까지 갖추고 있어 사용하기 매우 편리하다. 하지만 상당히 높은 가격대의 Solution이라서 일반적인 중소기업이 사용하기에 경제적으로 어렵다. 그래서 보다 낮은 가격대의 편하게 이용가능한 Splunk의 대체 Solution을 조사하던 중, Elasticsearch 사이트에서 Splu.. 2015. 4. 23. OSSEC Log Management with Elasticsearch Log Management System ArchitectureThe OSSEC log management system I’ll discuss here relies on three open source technologies, in addition to OSSEC:Logstash – Parses and stores syslog data to ElasticsearchElasticsearch - General purpose indexing and data storage systemKibana – User interface that comes with ElasticSearchLogstash is configured to receive OSSEC syslog output then parse it and forwa.. 2013. 11. 23. 이전 1 다음
