Apache Kafka 튜토리얼은 Apache Kafka의 기본 및 고급 개념을 제공합니다. 이 튜토리얼은 초보자와 전문가 모두를 위해 설계되었습니다.
문자열을 int로 캐스팅
Apache Kafka는 실시간 데이터 저장을 처리하는 데 사용되는 오픈 소스 스트림 처리 소프트웨어 플랫폼입니다. 이는 송신자와 수신자라는 두 당사자 사이의 중개자 역할을 합니다. 하루에 약 수조 개의 데이터 이벤트를 처리할 수 있습니다.
Apache Kafka 튜토리얼 여정에서는 아키텍처부터 핵심 개념까지 모든 개념을 다룹니다.
아파치 카프카란?
Apache Kafka는 분산 스트리밍 프로세스를 기반으로 하는 소프트웨어 플랫폼입니다. 이는 애플리케이션, 서버 및 프로세서 간에 데이터를 교환할 수 있는 게시-구독 메시징 시스템입니다. 아파치 카프카(Apache Kafka)는 원래 링크드인 , 나중에 Apache Software Foundation에 기부되었습니다. 현재는 다음에서 관리하고 있습니다. 지류 아파치 소프트웨어 재단에서. Apache Kafka는 송신자와 수신자 간 데이터 통신의 무기력한 문제를 해결했습니다.
메시징 시스템이란 무엇입니까?
메시징 시스템은 둘 이상의 사람, 장치 등 간의 간단한 메시지 교환입니다. 게시-구독 메시징 시스템을 사용하면 발신자가 메시지를 보내고 쓸 수 있고 수신자가 해당 메시지를 읽을 수 있습니다. Apache Kafka에서 보낸 사람은 다음과 같습니다. 생산자 메시지를 게시하는 사람과 수신자를 소비자 누가 그 메시지를 구독하여 소비하는지.
스트리밍 프로세스란?
스트리밍 프로세스는 병렬로 연결된 시스템에서 데이터를 처리하는 것입니다. 이 프로세스를 통해 여러 애플리케이션에서 데이터의 병렬 실행을 제한할 수 있으며, 여기서 한 레코드는 이전 레코드의 출력을 기다리지 않고 실행됩니다. 따라서 분산 스트리밍 플랫폼을 통해 사용자는 스트리밍 프로세스 및 병렬 실행 작업을 단순화할 수 있습니다. 따라서 Kafka의 스트리밍 플랫폼에는 다음과 같은 주요 기능이 있습니다.
- 레코드 스트림이 발생하자마자 이를 처리합니다.
- 이는 레코드 스트림을 게시하고 구독하는 엔터프라이즈 메시징 시스템과 유사하게 작동합니다.
- 내결함성이 있고 내구성이 뛰어난 방식으로 레코드 스트림을 저장합니다.
Apache Kafka를 배우고 이해하려면 지원자는 다음 네 가지 핵심 API를 알아야 합니다.
생산자 API: 이 API는 애플리케이션이 하나 이상의 주제에 레코드 스트림을 게시하는 것을 허용/허용합니다. (이후 섹션에서 논의)
소비자 API: 이 API를 사용하면 애플리케이션이 하나 이상의 주제를 구독하고 해당 주제에 생성된 레코드 스트림을 처리할 수 있습니다.
스트림 API: 이 API를 사용하면 애플리케이션이 입력 스트림을 출력 스트림으로 효과적으로 변환할 수 있습니다. 이를 통해 애플리케이션은 하나 이상의 토픽에서 입력 스트림을 소비하고 하나 이상의 출력 토픽에 대한 출력 스트림을 생성하는 스트림 프로세서 역할을 할 수 있습니다.
커넥터 API: 이 API는 기존 데이터 시스템 또는 애플리케이션을 사용하여 재사용 가능한 생산자 및 소비자 API를 실행합니다.
10억에는 0이 몇 개나 있나요?
왜 아파치 카프카인가?
Apache Kafka는 Apache Kafka의 필요성을 가장 잘 설명하는 다음과 같은 이유를 가진 소프트웨어 플랫폼입니다.
- Apache Kafka는 초당 수백만 개의 데이터 또는 메시지를 처리할 수 있습니다.
- Apache Kafka는 소스 시스템과 대상 시스템 간의 중재자 역할을 합니다. 따라서 소스 시스템(생산자) 데이터는 Apache Kafka로 전송되어 데이터를 분리하고 대상 시스템(소비자)은 Kafka의 데이터를 소비합니다.
- Apache Kafka는 매우 높은 성능을 제공합니다. 즉, 10ms 미만의 지연 시간 값이 매우 낮아 능숙한 소프트웨어임을 입증합니다.
- Apache Kafka는 데이터 공유의 비정상적인 복잡성을 해결한 탄력적인 아키텍처를 갖추고 있습니다.
- NETFLIX, UBER, Walmart 등과 같은 조직과 수천 개가 넘는 기업이 Apache Kafka를 사용하고 있습니다.
- Apache Kafka는 내결함성을 유지할 수 있습니다. 내결함성은 생산자가 전달한 메시지를 소비자가 성공적으로 소비하는 경우가 있음을 의미합니다. 그러나 백엔드 데이터베이스 오류 또는 소비자 코드에 버그가 있어 소비자가 메시지를 다시 처리하지 못합니다. 이러한 상황에서는 소비자가 메시지를 다시 사용할 수 없습니다. 결과적으로 Apache Kafka는 데이터를 재처리하여 문제를 해결했습니다.
- Kafka를 배우는 것은 좋은 수입원입니다. 그래서 앞으로 IT분야에서 소득을 올리고 싶은 분들이 배우시면 됩니다.
전제 조건
지원자는 Java 프로그래밍에 대한 기본 지식과 Linux 명령에 대한 지식이 있어야 합니다.
청중
이 Apache Kafka 여정은 초보자, 개발자, 새로운 것을 배우고자 하는 사람들을 위해 설계되었습니다.
문제
이 Apache KafkaTutorial에서는 어떤 문제도 발견하지 못할 것이라고 확신합니다. 하지만 만약 실수가 있다면 문의 양식에 문제를 게시해 주세요.