국민내일배움카드 - 고용노동부

에이콘 아카데미

아카데미 이야기 전문가칼럼

전문가칼럼

에이콘 아카데미의 전문 강사님의 분야별 칼럼을 확일 할 수 있습니다.

Apache Kafka

 

 

​Apache Kafka (카프카)  

 

​실시간 데이터 분산 처리 = 대용량 분산 메세징 시스템  

 

 

▷ Kafka 데이터 처리를 위해 개발 된 대용량 분산 메세징 시스템 입니다. 


Kafka 는 확장이 용이하고 , 높은 처리량과 분산처리를 할 수 있으며

In - Memory 에 비해 뒤쳐지지 않는 성능과 비휘발성으로 데이터를 디스크에 저장한다는 장점이 있습니다.

Kafka 를 활용하는 대표적인 기업으로는 [ Twitter, Netflix, Tumblr​ 등 ] 사용하는 것으로 알고 있습니다. 그 외에도 대용량 메세징을 다루는 기업에서 활용 중이라고 합니다.

 

 

 Kafka 의 장점 


- 확장 가능 

- 처리량이 높다.

- 분산처리가 가능하다.

- 응답 속도가 높다.

- 데이터 디스크 저장이 가능하다.



 Kafka 의 동작원리 


- Apache Kafka 는 Zookeeper 에 의해 관리 되며 , Producer, Broker, Consumer 로 나누어져 있습니다.

시스템 에서 발생되는 메세지를 Producer 가 Broker 로 넘겨주고 , Broker​ 가 메세지를 분산 처리 합니다.

Consumer 가 처리된 데이터를 디스크에 저장 합니다.