Apache Kafka (카프카)
실시간 데이터 분산 처리 = 대용량 분산 메세징 시스템
▷ Kafka 데이터 처리를 위해 개발 된 대용량 분산 메세징 시스템 입니다.
Kafka 는 확장이 용이하고 , 높은 처리량과 분산처리를 할 수 있으며
In - Memory 에 비해 뒤쳐지지 않는 성능과 비휘발성으로 데이터를 디스크에 저장한다는 장점이 있습니다.
Kafka 를 활용하는 대표적인 기업으로는 [ Twitter, Netflix, Tumblr 등 ] 사용하는 것으로 알고 있습니다. 그 외에도 대용량 메세징을 다루는 기업에서 활용 중이라고 합니다.
▷ Kafka 의 장점
- 확장 가능
- 처리량이 높다.
- 분산처리가 가능하다.
- 응답 속도가 높다.
- 데이터 디스크 저장이 가능하다.
▷ Kafka 의 동작원리
- Apache Kafka 는 Zookeeper 에 의해 관리 되며 , Producer, Broker, Consumer 로 나누어져 있습니다.
시스템 에서 발생되는 메세지를 Producer 가 Broker 로 넘겨주고 , Broker 가 메세지를 분산 처리 합니다.
Consumer 가 처리된 데이터를 디스크에 저장 합니다.