logo

아파치 카프카 튜토리얼

아파치 카프카 튜토리얼

Apache Kafka 튜토리얼은 Apache Kafka의 기본 및 고급 개념을 제공합니다. 이 튜토리얼은 초보자와 전문가 모두를 위해 설계되었습니다.

문자열을 int로 캐스팅

Apache Kafka는 실시간 데이터 저장을 처리하는 데 사용되는 오픈 소스 스트림 처리 소프트웨어 플랫폼입니다. 이는 송신자와 수신자라는 두 당사자 사이의 중개자 역할을 합니다. 하루에 약 수조 개의 데이터 이벤트를 처리할 수 있습니다.

Apache Kafka 튜토리얼 여정에서는 아키텍처부터 핵심 개념까지 모든 개념을 다룹니다.

아파치 카프카란?

Apache Kafka는 분산 스트리밍 프로세스를 기반으로 하는 소프트웨어 플랫폼입니다. 이는 애플리케이션, 서버 및 프로세서 간에 데이터를 교환할 수 있는 게시-구독 메시징 시스템입니다. 아파치 카프카(Apache Kafka)는 원래 링크드인 , 나중에 Apache Software Foundation에 기부되었습니다. 현재는 다음에서 관리하고 있습니다. 지류 아파치 소프트웨어 재단에서. Apache Kafka는 송신자와 수신자 간 데이터 통신의 무기력한 문제를 해결했습니다.

메시징 시스템이란 무엇입니까?

메시징 시스템은 둘 이상의 사람, 장치 등 간의 간단한 메시지 교환입니다. 게시-구독 메시징 시스템을 사용하면 발신자가 메시지를 보내고 쓸 수 있고 수신자가 해당 메시지를 읽을 수 있습니다. Apache Kafka에서 보낸 사람은 다음과 같습니다. 생산자 메시지를 게시하는 사람과 수신자를 소비자 누가 그 메시지를 구독하여 소비하는지.

스트리밍 프로세스란?

스트리밍 프로세스는 병렬로 연결된 시스템에서 데이터를 처리하는 것입니다. 이 프로세스를 통해 여러 애플리케이션에서 데이터의 병렬 실행을 제한할 수 있으며, 여기서 한 레코드는 이전 레코드의 출력을 기다리지 않고 실행됩니다. 따라서 분산 스트리밍 플랫폼을 통해 사용자는 스트리밍 프로세스 및 병렬 실행 작업을 단순화할 수 있습니다. 따라서 Kafka의 스트리밍 플랫폼에는 다음과 같은 주요 기능이 있습니다.

  • 레코드 스트림이 발생하자마자 이를 처리합니다.
  • 이는 레코드 스트림을 게시하고 구독하는 엔터프라이즈 메시징 시스템과 유사하게 작동합니다.
  • 내결함성이 있고 내구성이 뛰어난 방식으로 레코드 스트림을 저장합니다.
스트리밍 프로세스란?

Apache Kafka를 배우고 이해하려면 지원자는 다음 네 가지 핵심 API를 알아야 합니다.

스트리밍 프로세스란?

생산자 API: 이 API는 애플리케이션이 하나 이상의 주제에 레코드 스트림을 게시하는 것을 허용/허용합니다. (이후 섹션에서 논의)

소비자 API: 이 API를 사용하면 애플리케이션이 하나 이상의 주제를 구독하고 해당 주제에 생성된 레코드 스트림을 처리할 수 있습니다.

스트림 API: 이 API를 사용하면 애플리케이션이 입력 스트림을 출력 스트림으로 효과적으로 변환할 수 있습니다. 이를 통해 애플리케이션은 하나 이상의 토픽에서 입력 스트림을 소비하고 하나 이상의 출력 토픽에 대한 출력 스트림을 생성하는 스트림 프로세서 역할을 할 수 있습니다.

커넥터 API: 이 API는 기존 데이터 시스템 또는 애플리케이션을 사용하여 재사용 가능한 생산자 및 소비자 API를 실행합니다.

10억에는 0이 몇 개나 있나요?

왜 아파치 카프카인가?

왜 아파치 카프카인가?

Apache Kafka는 Apache Kafka의 필요성을 가장 잘 설명하는 다음과 같은 이유를 가진 소프트웨어 플랫폼입니다.

  1. Apache Kafka는 초당 수백만 개의 데이터 또는 메시지를 처리할 수 있습니다.
  2. Apache Kafka는 소스 시스템과 대상 시스템 간의 중재자 역할을 합니다. 따라서 소스 시스템(생산자) 데이터는 Apache Kafka로 전송되어 데이터를 분리하고 대상 시스템(소비자)은 Kafka의 데이터를 소비합니다.
  3. Apache Kafka는 매우 높은 성능을 제공합니다. 즉, 10ms 미만의 지연 시간 값이 매우 낮아 능숙한 소프트웨어임을 입증합니다.
  4. Apache Kafka는 데이터 공유의 비정상적인 복잡성을 해결한 탄력적인 아키텍처를 갖추고 있습니다.
  5. NETFLIX, UBER, Walmart 등과 같은 조직과 수천 개가 넘는 기업이 Apache Kafka를 사용하고 있습니다.
  6. Apache Kafka는 내결함성을 유지할 수 있습니다. 내결함성은 생산자가 전달한 메시지를 소비자가 성공적으로 소비하는 경우가 있음을 의미합니다. 그러나 백엔드 데이터베이스 오류 또는 소비자 코드에 버그가 있어 소비자가 메시지를 다시 처리하지 못합니다. 이러한 상황에서는 소비자가 메시지를 다시 사용할 수 없습니다. 결과적으로 Apache Kafka는 데이터를 재처리하여 문제를 해결했습니다.
  7. Kafka를 배우는 것은 좋은 수입원입니다. 그래서 앞으로 IT분야에서 소득을 올리고 싶은 분들이 배우시면 됩니다.

전제 조건

지원자는 Java 프로그래밍에 대한 기본 지식과 Linux 명령에 대한 지식이 있어야 합니다.

청중

이 Apache Kafka 여정은 초보자, 개발자, 새로운 것을 배우고자 하는 사람들을 위해 설계되었습니다.

문제

이 Apache KafkaTutorial에서는 어떤 문제도 발견하지 못할 것이라고 확신합니다. 하지만 만약 실수가 있다면 문의 양식에 문제를 게시해 주세요.