logstash

데이터 집계, 변환 및 Stash(보관)

Logstash는 오픈소스 서버측 데이터 처리 파이프라인으로, 다양한 소스에서 동시에 데이터를 수집(Ingest)하여 변환한 후 자주 사용하는 "스태쉬(Stash)-보관소"로 보냅니다. (여기서는 당연히 Elasticsearch입니다.)
logstash

하나부터 열까지. Logstash의 철저한 해설 지금 보기

New Logstash 6.2 introduces keystore support, hot database lookups, and monitoring UI improvements for the pipeline viewer. Read More

5.10.83.30 user-identifier frank

[10/Oct/2000:13:55:36 -0700]

"GET/apache_pb.gif HTTP/1.0" 200 2326

5.10.83.30 user-identifier frank

[10/Oct/2000:13:55:36 -0700]

"GET /apache_pb.gif HTTP/1.0" 200 2326

5.10.83.30 user-identifier frank

[10/Oct/2000:13:55:36 -0700]

"GET /apache_pb.gif HTTP/1.0" 200 2326

5.10.83.30 user-identifier frank

2000-10-10T13:55:36.000Z.

"GET /apache_pb.gif HTTP/1.0" 200 2326

플러그 & 플레이

Elastic Stack으로 더욱 빠르게 통찰력을 확보하세요

Logstash 모듈은 ArcSightNetflow 와 같이 널리 사용되는 데이터 소스에 대해 수집부터 시각화 까지 총괄하여 구성이 가능합니다. 수집 파이프라인과 과 복잡한 대시보드까지 한번에 배포할 수 있으므로 몇분만에 데이터 탐색을 시작할 수 있습니다.

확장성

입맛에 맞게 파이프라인을 만들고 구성하세요

Logstash에는 200개 이상의 플러그인으로 확장 가능한 플러그인 프레임워크가 있습니다. 다양한 입력, 필터 및 출력을 섞고 조율하여 파이프라인에서 조화를 이루도록 할 수 있습니다.

별도의 애플리케이션으로부터 수집이 필요한가요? 필요한 플러그인이 없나요? Logstash 플러그인을 간단하게 빌드 할 수 있습니다. 플러그인 개발을 위한 뛰어난 API와 플러그인 생성기를 제공해 드리므로 고유한 플러그인을 생성하고 공유하실 수 있습니다.

안정성 및 보안성

신뢰할 수 있는 파이프라인을 제공합니다

Logstash 노드가 다운되면 Logstash는 Persistent Queue를 사용하여 처리중인 이벤트에 대한 최소한 1회의 전송을 보장합니다. 성공적으로 처리되지 않은 이벤트는 검증 및 재전송을 위해 dead letter queue로 분류 될 수 있습니다. Logstash는 유동적으로 수집량 처리가 가능하여 수집중인 데이터량이 급증하였을 때도 별도의 외부 큐 프로그램 없이 정상적인 동작이 가능합니다.

로그스태시를 10개를 혹은 1000개를 실행하던 간에 수집 파이프라인의 완벽한 보호가 가능합니다. 다른 입력들과 함께 Beats로 데이터를 수집하는 경우 데이터의 암호화가 가능하며, Elasticsearch 보안 클러스터와 완전한 통합이 가능합니다.

모니터링

배포 시스템에 대한 완벽한 가시성을 확보합니다

Logstash 파이프라인은 종종 다중으로 활용되며 금방 복잡해지기 때문에 파이프라인의 성능, 가용성, 병목현상의 파악이 어려울 수 있습니다. X-Pack Monitoring의 파이프라인 탐색기를 통해 손쉽게 실행중인 Logstash 노드들을 파악하고 배포할 수 있습니다.

관리 및 조율

단일 UI로 전체 배포를 통합 관리합니다

파이프라인 관리 UI를 이용하여 Logstash 배포를 통합적으로 관리, 조율 및 실행할 수 있습니다. 또한 관리 도구는 의도치 않은 연결을 방지하기 위해 X-Pack Security 기능과 완벽하게 연동됩니다.

Logstash로 Stash(저장) 가능한 로그 수를 알아보십시오.

재시작을 반복하며 cron 작업을 작성하거나 종속성을 추적하는 것을 멈추세요. Logstash는 굴레를 최소화하여 빠르게 시작 가능하므로 이벤트 스트림과 속도가 맞는 파이프라인을 배포할 수 있습니다.

다운로드

무료 사용이 가능한 오픈 소스입니다.