2. 밀도 기반 클러스터링(모델 기반 방법)

모델 기반 방법인 밀도 기반 클러스터링은 데이터 포인트의 밀도를 기반으로 그룹을 찾습니다. 클러스터 수를 미리 정의해야 하고 초기화에 민감한 중심 기반 클러스터링과 달리 밀도 기반 클러스터링은 클러스터 수를 자동으로 결정하며 시작 위치에 덜 민감합니다. 다양한 크기와 형태의 클러스터를 처리하는 데 뛰어나므로 모양이 불규칙하거나 클러스터가 겹치는 데이터 세트에 이상적으로 적합합니다. 이러한 방법은 로컬 밀도에 초점을 맞춰 밀집된 데이터 영역과 희박한 데이터 영역을 모두 관리하고 다양한 형태의 클러스터를 구별할 수 있습니다.

대조적으로, k-평균과 같은 중심 기반 그룹화는 임의의 모양의 클러스터를 찾는 데 어려움을 겪습니다. 미리 설정된 클러스터 요구 사항 수와 중심의 초기 위치 지정에 대한 극도의 민감도로 인해 결과가 달라질 수 있습니다. 또한 구형 또는 볼록한 클러스터를 생성하는 중심 기반 접근 방식의 경향으로 인해 복잡하거나 불규칙한 모양의 클러스터를 처리하는 능력이 제한됩니다. 결론적으로 밀도 기반 클러스터링은 클러스터 크기를 자율적으로 선택하고, 초기화에 대한 탄력성을 갖고, 다양한 크기와 형태의 클러스터를 성공적으로 캡처함으로써 중심 기반 기술의 단점을 극복합니다. 가장 널리 사용되는 밀도 기반 클러스터링 알고리즘은 다음과 같습니다. DBSCAN .

삼. 연결 기반 클러스터링(계층적 클러스터링)

관련 데이터 포인트를 계층적 클러스터로 모으는 방법을 계층적 클러스터링이라고 합니다. 각 데이터 포인트는 처음에는 별도의 클러스터로 간주되며 이후 가장 유사한 클러스터와 결합되어 모든 데이터 포인트를 포함하는 하나의 큰 클러스터를 형성합니다.

얼마나 유사한지에 따라 항목 모음을 어떻게 배열할 수 있는지 생각해 보세요. 계층적 클러스터링을 사용하면 각 개체는 트리와 유사한 구조인 덴드로그램을 생성하는 트리 기반에서 자체 클러스터로 시작됩니다. 그런 다음 알고리즘이 객체가 서로 얼마나 유사한지 조사한 후 가장 가까운 클러스터 쌍이 더 큰 클러스터로 결합됩니다. 모든 객체가 트리 상단의 하나의 클러스터에 있으면 병합 프로세스가 완료된 것입니다. 다양한 세분성 수준을 탐색하는 것은 계층적 클러스터링의 재미있는 점 중 하나입니다. 주어진 수의 클러스터를 얻으려면 다음을 선택하면 됩니다. 덴드로그램 특정 높이에서. 두 개체가 클러스터 내에 유사할수록 더 가까운 것입니다. 이는 가장 가까운 친척이 함께 모여 있고 더 넓은 가지가 더 일반적인 연결을 의미하는 가계도에 따라 항목을 분류하는 것과 비슷합니다. 계층적 클러스터링에는 두 가지 접근 방식이 있습니다.

• 분열적인 클러스터링 : 이는 하향식 접근 방식을 따릅니다. 여기서는 모든 데이터 포인트를 하나의 큰 클러스터의 일부로 간주한 다음 이 클러스터를 더 작은 그룹으로 나눕니다.
• 응집 클러스터링 : 이는 상향식 접근 방식을 따릅니다. 여기서는 모든 데이터 포인트를 개별 클러스터의 일부로 간주한 다음 이러한 클러스터를 함께 묶어 모든 데이터 포인트가 포함된 하나의 큰 클러스터를 만듭니다.

4. 분포 기반 클러스터링

분포 기반 클러스터링을 사용하면 데이터 포인트가 데이터 내에서 동일한 확률 분포(예: 가우스, 이항 등)에 속하는 경향에 따라 생성되고 구성됩니다. 데이터 요소는 통계 분포를 기반으로 하는 확률 기반 분포를 사용하여 그룹화됩니다. 클러스터에 있을 가능성이 더 높은 데이터 개체가 포함됩니다. 데이터 포인트가 모든 클러스터에 존재하는 클러스터의 중심점에서 멀어질수록 클러스터에 포함될 가능성이 낮아집니다.

밀도 및 경계 기반 접근 방식의 주목할만한 단점은 일부 알고리즘에 대해 선험적으로 클러스터를 지정하고 주로 대부분의 알고리즘에 대해 클러스터 형식을 정의해야 한다는 것입니다. 하나 이상의 튜닝이나 하이퍼 매개변수를 선택해야 하며, 그렇게 하는 것은 간단해야 하지만 잘못하면 예상치 못한 영향을 미칠 수 있습니다. 분포 기반 클러스터링은 유연성, 정확성 및 클러스터 구조 측면에서 근접성 및 중심 기반 클러스터링 접근 방식에 비해 확실한 이점이 있습니다. 가장 중요한 문제는 이를 방지하기 위해 과적합 , 많은 클러스터링 방법은 시뮬레이션 또는 제조된 데이터에서만 작동하거나 대량의 데이터 포인트가 확실히 사전 설정된 분포에 속하는 경우에만 작동합니다. 가장 널리 사용되는 분포 기반 클러스터링 알고리즘은 가우스 혼합 모델 .

다양한 분야의 클러스터링 적용:

1. 마케팅: 마케팅 목적으로 고객 세그먼트를 특성화하고 발견하는 데 사용할 수 있습니다.
2. 생물학: 다양한 종의 식물과 동물을 분류하는 데 사용할 수 있습니다.
3. 라이브러리: 주제와 정보를 기반으로 다양한 책을 묶는 데 사용됩니다.
4. 보험: 이는 고객과 고객의 정책을 확인하고 사기를 식별하는 데 사용됩니다.
5. 도시 계획: 이는 주택 그룹을 만들고 지리적 위치 및 존재하는 기타 요인을 기반으로 주택의 가치를 연구하는 데 사용됩니다.
6. 지진 연구: 지진의 영향을 받는 지역을 학습함으로써 우리는 위험 지역을 결정할 수 있습니다.
7. 이미지 처리 : 클러스터링을 사용하면 유사한 이미지를 그룹화하고, 내용에 따라 이미지를 분류하고, 이미지 데이터의 패턴을 식별할 수 있습니다.
8. 유전학: 클러스터링은 유사한 발현 패턴을 갖는 유전자를 그룹화하고 생물학적 과정에서 함께 작동하는 유전자 네트워크를 식별하는 데 사용됩니다.
9. 재원: 클러스터링은 고객 행동을 기반으로 시장 부문을 식별하고, 주식 시장 데이터의 패턴을 식별하고, 투자 포트폴리오의 위험을 분석하는 데 사용됩니다.
10. 고객 서비스: 클러스터링은 고객 문의 및 불만 사항을 카테고리별로 그룹화하고, 공통 문제를 식별하고, 목표 솔루션을 개발하는 데 사용됩니다.
11. 조작 : 클러스터링은 유사한 제품을 그룹화하여 생산 공정을 최적화하고 제조 공정의 결함을 식별하는 데 사용됩니다.
12. 의료 진단: 클러스터링은 유사한 증상이나 질병을 가진 환자를 그룹화하는 데 사용되며, 이는 정확한 진단을 내리고 효과적인 치료법을 찾는 데 도움이 됩니다.
13. 사기 탐지: 클러스터링은 금융 거래에서 의심스러운 패턴이나 이상 징후를 식별하는 데 사용되며, 이는 사기나 기타 금융 범죄를 탐지하는 데 도움이 될 수 있습니다.
14. 트래픽 분석: 클러스터링은 피크 시간, 경로, 속도 등 유사한 패턴의 교통 데이터를 그룹화하는 데 사용되며, 이는 교통 계획 및 인프라를 개선하는 데 도움이 될 수 있습니다.
15. 소셜 네트워크 분석: 클러스터링은 소셜 네트워크 내의 커뮤니티나 그룹을 식별하는 데 사용되며, 이는 사회적 행동, 영향력 및 추세를 이해하는 데 도움이 될 수 있습니다.
16. 사이버 보안: 클러스터링은 네트워크 트래픽이나 시스템 동작의 유사한 패턴을 그룹화하는 데 사용되며, 이는 사이버 공격을 탐지하고 예방하는 데 도움이 될 수 있습니다.
17. 기후 분석: 클러스터링은 기온, 강수량, 바람 등 기후 데이터의 유사한 패턴을 그룹화하는 데 사용되며, 이는 기후 변화와 기후 변화가 환경에 미치는 영향을 이해하는 데 도움이 될 수 있습니다.
18. 스포츠 분석: 클러스터링은 플레이어 또는 팀 성과 데이터의 유사한 패턴을 그룹화하는 데 사용되며, 이는 플레이어 또는 팀의 강점과 약점을 분석하고 전략적 결정을 내리는 데 도움이 될 수 있습니다.
19. 범죄 분석: 클러스터링은 위치, 시간, 유형 등 범죄 데이터의 유사한 패턴을 그룹화하는 데 사용됩니다. 이는 범죄 핫스팟을 식별하고 향후 범죄 동향을 예측하며 범죄 예방 전략을 개선하는 데 도움이 될 수 있습니다.

결론

이 기사에서는 클러스터링, 유형 및 실제 응용 프로그램에 대해 논의했습니다. 비지도 학습에서는 다루어야 할 내용이 훨씬 더 많으며 클러스터 분석은 첫 번째 단계에 불과합니다. 이 문서는 클러스터링 알고리즘을 시작하고 포트폴리오에 추가할 수 있는 새 프로젝트를 얻는 데 도움이 될 수 있습니다.

클러스터링에 대한 자주 묻는 질문(FAQ)

Q. 가장 좋은 클러스터링 방법은 무엇입니까?

상위 10개 클러스터링 알고리즘은 다음과 같습니다.

1. K-평균 클러스터링
2. 계층적 클러스터링
3. DBSCAN(노이즈가 있는 애플리케이션의 밀도 기반 공간 클러스터링)
4. 가우스 혼합 모델(GMM)
5. 응집 클러스터링
6. 스펙트럼 클러스터링
7. 평균 교대 클러스터링
8. 선호도 전파
9. OPTICS(클러스터링 구조를 식별하기 위한 주문 지점)
10. Birch(계층 구조를 사용한 균형 있는 반복 감소 및 클러스터링)

Q. 클러스터링과 분류의 차이점은 무엇인가요?

클러스터링과 분류의 주요 차이점은 분류는 지도 학습 알고리즘이고 클러스터링은 비지도 학습 알고리즘이라는 것입니다. 즉, 대상 변수가 없는 데이터 세트에 클러스터링을 적용합니다.

Q. 군집분석의 장점은 무엇인가요?

클러스터 분석이라는 강력한 분석 도구를 사용하여 데이터를 의미 있는 그룹으로 구성할 수 있습니다. 이를 사용하여 세그먼트를 찾아내고, 숨겨진 패턴을 찾고, 의사결정을 개선할 수 있습니다.

Q. 가장 빠른 클러스터링 방법은 무엇입니까?