728x90 Programming/Kafka1 카프카 알아보기 1. 카프카의 탄생 카프카는 LinkedIn에서 파편화된 데이터 수집 및 분배 아키텍처를 다루기 위해 개발되었다 기존의 시스템은 소스 어플리케이션에서 타겟 어플리케이션 연동하여 데이터를 단방향으로 전송했다 소스 어플리케이션이 타겟 어플리케이션을 직접적으로 알고 있어야 했다 하지만 시스템이 커지면서 소스 어플리케이션과 타겟 어플리케이션의 수는 기하급수적으로 증가하였다 그로인해 다음과 같은 문제가 발생했다 데이터를 전송할 타겟을 모두 알아야 되므로 복잡도가 증가 파이프라인 개수가 많아지면서 소스코드 및 버전관리에 이슈 타겟 어플리케이션에 장애가 생기면 영향이 소스 어플리케이션으로 이어짐 이를 해결하기 위해 LinkedIn 데이터팀은 아파치 카프카를 만들었다 각 어플리케이션끼리 연결하는 것이 아니라 한 곳에 .. 2022. 2. 24. 이전 1 다음 728x90
