EN KR JP CN RU IN
NeurIPS

연합 모델 이종 Matryoshka 표현 학습

Original Paper Published 2024-12
ISOM Posted 2026-03-18 07:29 UTC
Read Time 37M
Open PDF Open MICCAI page

배경 및 학문적 계보

기원 및 학문적 계보

본 논문에서 다루는 문제, 즉 모델 이종 연합 학습(MHeteroFL)은 전통적인 연합 학습(FL)에서 발생하는 실질적인 문제들로부터 비롯되었다. [32, 47, 46, 12]와 같은 연구에서 소개된 전통적인 FL은 일반적으로 중앙 서버가 여러 클라이언트를 조정하여 로컬 데이터를 노출하지 않고 단일의 전역 공유 모델을 학습시키는 것을 포함한다. 이러한 설정은 모델 파라미터만을 전송함으로써 데이터 프라이버시를 보존하지만 [14, 56, 51], 실제 애플리케이션에서 흔히 발생하는 여러 형태의 이종성에 어려움을 겪는다.

구체적으로, 세 가지 근본적인 "고충점(pain points)"이 MHeteroFL의 개발과 그에 따른 본 논문의 발전을 촉진했다.

  1. 데이터 이종성 (Non-IID 데이터): 클라이언트의 로컬 데이터는 종종 독립적이고 동일하게 분포되지 않은(non-IID) 패턴을 따르지 않는다 [42]. 이는 로컬 모델을 집계하여 학습된 단일 전역 모델이 데이터의 다양한 특성으로 인해 개별 클라이언트에서 성능이 저하될 수 있음을 의미한다 [49, 48].
  2. 시스템 이종성: FL 클라이언트는 컴퓨팅 성능과 네트워크 대역폭이 크게 다를 수 있다 [11]. 모든 클라이언트가 동일한 모델 구조를 학습하도록 강제하는 것은 전역 모델 크기가 가장 약한 장치에 의해 제약되어야 함을 의미하며, 이는 더 강력한 클라이언트에서 최적 이하의 성능으로 이어진다 [52, 54, 50].
  3. 모델 이종성: FL 클라이언트 역할을 하는 기업은 종종 지적 재산(IP) 문제로 인해 직접 공유할 수 없는 이종 구조의 독점 모델을 보유하고 있다 [43].

MHeteroFL 분야 [55]는 FL 클라이언트가 특정 시스템 리소스와 데이터 분포에 맞게 조정된 맞춤형 구조의 로컬 모델을 학습할 수 있도록 하기 위해 등장했다. 그러나 기존의 MHeteroFL 방법론 [41, 45]은 자체적인 한계를 가지고 있다. 이들은 주로 클라이언트와 서버 모델 간의 지식 이전을 위해 학습 손실에 의존하는데, 이는 제한된 지식 교환, 모델 성능 병목 현상, 높은 통신 및 계산 비용, 그리고 개인 로컬 모델 구조 및 데이터를 노출할 위험을 초래한다. 예를 들어, 적응형 서브넷을 사용하는 방법은 블랙박스 로컬 모델을 집계하기 어렵고, 지식 증류는 찾기 어려운 공개 데이터셋을 필요로 하거나 높은 학습 비용을 발생시키며, 모델 분할은 독점 IP를 노출할 수 있다. 상호 학습은 유망하지만 제한된 지식만을 전달하여 성능 병목 현상을 야기한다. 본 논문은 더 효율적이고 프라이버시를 보장하는 방식으로 지식 이전과 모델 학습 능력을 향상시키는 새로운 접근 방식을 제안함으로써 이러한 한계를 극복하는 것을 목표로 한다.

직관적인 도메인 용어

다음은 논문의 몇 가지 전문 도메인 용어를 제로베이스 독자를 위한 직관적인 일상 비유로 번역한 것이다.

  • 연합 학습 (Federated Learning, FL): 서로 다른 학교의 학생들이 새로운 과목을 함께 배우려고 노력하지만, 프라이버시 규정으로 인해 개인적인 필기(로컬 데이터)를 직접 공유할 수 없다고 상상해보라. 대신, 각 학생은 자신의 필기를 사용하여 공부하고 학습한 내용의 요약(모델 업데이트)을 중앙 교사에게 보낸다. 교사는 모든 요약을 결합하여 더 나은, 더 포괄적인 수업 계획(전역 모델)을 만들고, 이를 학생들에게 다시 공유한다. 이 방식으로 아무도 개인 필기를 학교 밖으로 내보내지 않고 모두가 집단 경험으로부터 배운다.
  • 모델 이종성 (Model Heterogeneity): 각기 다른 유형의 환자를 위해 고유한 진단 도구와 전문 지식(모델)을 가진 전문 의사 팀을 생각해보라. 모델 이종성은 이러한 도구와 전문 지식이 모든 의사에게 동일하지 않음을 의미한다. 일부는 고급 MRI 기계를 가지고 있을 수 있고, 다른 일부는 X-레이를 전문으로 할 수 있으며, 모두 결과를 해석하는 다른 방식을 가지고 있다. 과제는 독점적인 도구나 방법을 직접 공유하지 않고 전체 진단 능력을 어떻게 협력적으로 향상시킬 수 있는가이다.
  • Matryoshka 표현 학습 (Matryoshka Representation Learning, MRL): 이것은 러시아 마트료시카 인형 세트와 같다. 각 인형은 정보 조각에 대한 다른 수준의 세부 사항 또는 "이해"를 나타낸다. 가장 큰 인형은 광범위하고 일반적인 개요를 제공하며, 내부에 중첩된 더 작은 인형은 점진적으로 더 세밀하고 구체적인 세부 정보를 제공한다. MRL은 기계 학습 모델이 데이터에서 이러한 다층적인 "이해"를 추출할 수 있도록 하여, 정확성과 효율성의 균형을 맞추면서 작업에 필요한 적절한 세부 수준을 선택할 수 있게 한다.
  • Non-IID 데이터 (독립적이고 동일하게 분포되지 않은 데이터): 전 세계적인 음식 배달 서비스가 인기 있는 요리를 예측하려고 한다고 가정해보자. 모든 고객이 한 도시에 산다면 음식 선호도에 대한 데이터는 "IID"일 가능성이 높다(모든 사람이 피자나 햄버거를 주문할 수 있다). 그러나 고객이 다양한 국가에 퍼져 있다면, 그들의 선호도는 "non-IID"가 될 것이다. 일부는 초밥을 선호하고, 다른 일부는 타코를, 또 다른 일부는 카레를 선호할 수 있다. 이는 데이터가 균일하게 분포되지 않음을 의미하며, 이를 기반으로 학습된 모델은 단일 전역 선호도를 가정하는 대신 이러한 다양한 지역적 취향을 처리할 수 있을 만큼 유연해야 한다.

표기법 표

표기법 설명

문제 정의 및 제약 조건

핵심 문제 공식화 및 딜레마

본 논문에서 다루는 근본적인 문제는 모델 이종 연합 학습(MHeteroFL) 영역에 있다.

입력/현재 상태:
전통적인 연합 학습(FL)에서 중앙 서버는 여러 클라이언트를 조정하여 단일의 전역 공유 모델을 공동으로 학습시킨다. 클라이언트는 로컬 데이터에서 이 모델을 학습시키고 업데이트된 파라미터를 서버로 보내 집계한다. 그러나 이 패러다임은 클라이언트가 이종 로컬 모델, 다양한 시스템 리소스, 그리고 독립적이고 동일하게 분포되지 않은(non-IID) 로컬 데이터를 보유할 때 상당한 어려움에 직면한다. 기존의 MHeteroFL 접근 방식은 클라이언트가 맞춤형 구조의 모델을 학습하도록 허용함으로써 모델 이종성을 해결하려고 시도한다. 이러한 방법론의 현재 상태는 주로 학습 손실을 통해 클라이언트와 서버 모델 간의 지식을 이전하는 데 의존한다.

원하는 최종 상태 (출력/목표 상태):
본 논문은 지도 학습 작업을 위해 연합 모델 이종 Matryoshka 표현 학습(FedMRL)이라고 명명된 새로운 MHeteroFL 접근 방식을 개발하는 것을 목표로 한다. 원하는 결과는 이종 클라이언트 모델과 동종 전역 모델 간의 효과적인 지식 이전을 촉진하여, 데이터 프라이버시를 엄격하게 보존하고 다양한 클라이언트 모델 구조 및 데이터 분포를 수용하면서도 우수한 모델 정확도, 더 빠른 수렴, 그리고 통신 및 계산 비용 감소를 달성하는 시스템이다. 궁극적인 목표는 각 클라이언트가 FL 학습 후 추론을 위해 로컬 결합 모델을 사용하는 것이다.

누락된 연결 또는 수학적 격차:
기존 MHeteroFL 방법론에서 결정적으로 누락된 연결은 지식 교환 능력의 한계이다. 지식 이전을 위해 학습 손실에만 의존하는 것은 종종 성능 병목 현상, 높은 통신 및 계산 비용, 그리고 개인 로컬 모델 구조 및 민감한 로컬 데이터를 노출할 위험을 초래한다. 본 논문은 두 가지 핵심 혁신을 도입하여 이 격차를 해소하려고 시도한다.
1. 적응형 표현 융합: FedMRL은 단순히 손실이 아닌, 일반화된 표현(전역 동종 모델의 특징 추출기가 추출)과 개인화된 표현(클라이언트의 이종 로컬 모델의 특징 추출기가 추출)을 융합한다. 이들은 개인화된 경량 표현 프로젝터를 통해 통일된 융합 표현으로 매핑되며, 로컬 non-IID 데이터에 적응한다.
2. 다중 세분성 표현 학습: 융합된 표현은 Matryoshka 표현을 구성하는 데 사용되며, 이는 다차원적이고 다중 세분성의 임베딩된 표현을 포함한다. 이들은 전역 동종 모델 헤더와 로컬 이종 모델 헤더 모두에 의해 처리되며, 이들의 결합된 손실은 모든 모델을 업데이트하는 데 사용된다. 이러한 다중 관점 학습은 지식 상호 작용을 향상시킨다.

수학적으로, 본 논문은 모든 클라이언트에 걸쳐 다음 목적 함수를 최소화하려고 한다.
$$ \min_{\theta, \omega_0, \dots, \omega_{N-1}, \phi_0, \dots, \phi_{N-1}} \sum_{k=0}^{N-1} l(W_k(D_k; (\theta \circ \omega_k | \phi_k))) $$
여기서 $W_k$는 클라이언트 $k$의 결합 모델을 나타내고, $D_k$는 클라이언트 $k$의 로컬 데이터를 나타내며, $\theta$는 전역 동종 소형 모델의 파라미터를 나타내고, $\omega_k$는 클라이언트 $k$의 로컬 이종 모델의 파라미터를 나타내며, $\phi_k$는 클라이언트 $k$의 개인화된 표현 프로젝터의 파라미터를 나타낸다. 이 목적 함수는 이러한 모든 파라미터 세트에 대해 경사 하강법을 통해 최적화된다.

딜레마:
이전 연구자들을 가두었던 핵심 딜레마는 이종 FL 환경에서 효과적인 지식 이전 및 모델 성능과 프라이버시 보존, 통신 효율성, 그리고 계산 가능성 사이의 고통스러운 절충이었다. 지식 이전을 개선하는 것은 종종 더 많은 정보(예: 중간 특징, 모델 구조)를 공유해야 하는데, 이는 프라이버시를 침해하고 통신 대역폭 요구 사항을 증가시키며 더 많은 계산 리소스를 요구할 수 있다. 반대로, 엄격한 프라이버시 및 리소스 제약은 교환될 수 있는 지식의 깊이와 풍부함을 제한하여, 특히 매우 다양한 클라이언트 모델 및 데이터를 다룰 때 최적 이하의 모델 성능으로 이어진다. 과제는 이러한 중요한 제약을 위반하지 않으면서도 강력한 지식 공유를 달성하는 것이다.

제약 조건 및 실패 모드

모델 이종 연합 학습의 문제는 여러 가혹하고 현실적인 장벽으로 인해 매우 어렵다.

  1. 데이터 이종성 (Non-IID 데이터): 클라이언트의 로컬 데이터셋은 종종 non-IID이며, 이는 데이터 분포가 다르다는 것을 의미한다. 이러한 다양한 로컬 데이터의 업데이트를 집계하여 학습된 전역 모델은 개별 클라이언트에서 성능이 저하되거나 네트워크 전반에 걸쳐 일반화가 잘 되지 않을 수 있다. 이는 보편적으로 성능이 좋은 모델을 달성하는 것을 극도로 어렵게 만든다.
  2. 시스템 이종성: FL 클라이언트는 다양한 컴퓨팅 능력(예: CPU/GPU, 메모리)과 네트워크 대역폭을 보유한다. 솔루션은 이러한 다양한 리소스에 적응할 수 있어야 한다. 모든 클라이언트에게 크고 균일한 모델 구조를 강제하는 것은 모델 크기가 가장 약한 장치를 수용해야 함을 의미하며, 이는 더 강력한 클라이언트에서 리소스 활용 부족과 최적 이하의 성능으로 이어진다.
  3. 모델 이종성 및 지적 재산(IP) 문제: 클라이언트, 특히 기업은 IP 보호로 인해 직접 공유할 수 없는 고유한 아키텍처와 파라미터를 가진 독점 로컬 모델을 보유할 수 있다. 이 제약 조건은 전통적인 FL에서 일반적인 연산인 직접적인 모델 파라미터 평균화를 방지한다.
  4. 제한된 지식 이전 메커니즘: 기존 MHeteroFL 방법론은 주로 지식 이전을 위해 학습 손실에 의존하는데, 이는 매우 이종적인 모델 전반에 걸쳐 강력한 학습에 종종 불충분하다. 이러한 제한된 지식 교환은 성능 병목 현상과 느린 수렴을 초래한다.
  5. 통신 비용 제약: FL에서는 프라이버시를 보존하기 위해 원시 데이터가 아닌 모델 파라미터만이 서버와 클라이언트 간에 전송된다. 그러나 모델 파라미터조차도 클 수 있다. 솔루션은 라운드당 낮은 통신 비용을 발생시키고 실용적이기 위해 더 적은 라운드에서 목표 정확도를 달성해야 하며, 특히 대역폭이 제한된 엣지 장치에 중요하다.
  6. 계산 오버헤드 제약: 클라이언트, 특히 모바일 또는 엣지 장치는 제한된 계산 리소스를 가지고 있다. MHeteroFL 솔루션에 의해 도입된 추가 구성 요소 또는 학습 단계는 실용적이기 위해 라운드당 클라이언트당 낮은 추가 계산 비용을 발생시켜야 한다.
  7. 프라이버시 보존 요구 사항: FL의 핵심 원칙은 로컬 데이터가 클라이언트 장치에 남아 있다는 것이다. 또한, 클라이언트의 로컬 모델 구조 및 파라미터는 서버나 다른 클라이언트에게 노출되어서는 안 된다. 모든 지식 이전 메커니즘은 이러한 엄격한 프라이버시 보장을 준수해야 한다.
  8. 비볼록 최적화: 연합 학습을 위한 목적 함수, 특히 이종 모델 및 복잡한 표현 학습의 경우 일반적으로 비볼록(non-convex)이다. 수렴을 보장하고 좋은 지역 최적점을 달성하는 것은 상당한 수학적 과제이며, 신중한 최적화 전략 설계 및 이론적 분석이 필요하다. 본 논문은 $O(1/T)$ 비볼록 수렴 속도에 대한 이론적 분석을 제공한다.
  9. 모델 불변 클라이언트 온보딩: 시스템은 다양한, 잠재적으로 알려지지 않은 로컬 모델 구조를 가진 새로운 클라이언트가 연합 학습 프로세스에 원활하게 참여할 수 있도록 유연해야 한다. 이는 클라이언트 모델 아키텍처에 대한 사전 지식을 가정하지 않는 적응형 메커니즘을 요구한다.

왜 이 접근 방식인가

선택의 불가피성

연합 모델 이종 Matryoshka 표현 학습(FedMRL)의 채택은 단순히 선호도가 아니라, 모델 이종 연합 학습(MHeteroFL)에서 이전 접근 방식의 내재적 한계에 의해 추진된 필연적인 진화였다. 저자들은 전통적인 "SOTA" 방법론이 연합 설정에 맞게 조정되었더라도 데이터, 시스템, 모델 이종성의 다면적인 문제를 동시에 해결하면서 프라이버시와 효율성을 유지하는 데 근본적으로 불충분하다는 것을 인식했다.

구체적으로, 본 논문은 기존 MHeteroFL 방법론이 주로 클라이언트와 서버 모델 간의 지식 이전을 위해 학습 손실에 의존한다는 점을 강조한다. 이 설계 선택은 병목 현상으로 판명되어, 제한된 지식 교환, 높은 통신 및 계산 비용, 그리고 개인 로컬 모델 구조 및 데이터를 노출할 수 있는 용납할 수 없는 위험을 초래했다. 이러한 방법론이 부적절하다는 인식은 다음을 수행하지 못했기 때문에 발생했다.
1. 효과적인 풍부한 지식 이전: 단순한 손실 기반 지식 이전은 복잡한 이종 모델 구조 및 다양한 로컬 데이터 분포에 불충분했다.
2. 높은 통신 및 계산 오버헤드 관리: 전체 모델 파라미터를 전송하거나 계산적으로 비용이 많이 드는 증류 기술에 의존하는 것은 지속 가능하지 않았다.
3. 독점 모델의 프라이버시 보존: 많은 기존 방법은 로컬 모델 구조의 일부를 노출해야 했는데, 이는 지적 재산에 대해 우려하는 기업 클라이언트에게는 불가능한 일이었다.

Matryoshka 표현 학습(MRL) [24]에서 얻은 영감은 결정적인 통찰력을 제공했다. 즉, 모델 성능과 추론 비용 간의 최적의 절충점을 달성하기 위해 표현 차원을 조정하는 것이다. 이 개념이 MHeteroFL에 통합되었을 때, 이러한 전술된 한계를 극복할 수 있는 경로를 제공하여, FedMRL을 실제 이종 연합 환경의 복잡성을 강력하게 처리할 수 있는 유일하게 실행 가능한 솔루션으로 만들었다.

비교 우위

FedMRL은 단순한 성능 지표를 넘어선 여러 구조적 장점을 통해 이전의 골드 스탠다드에 비해 질적인 우수성을 보여준다. 상당한 정확도 향상(최고 기준선 대비 최대 8.48%, 동일 범주 기준선 대비 최대 24.94%)을 달성했지만, 그 진정한 강점은 설계 혁신에 있다.

  1. 적응형 표현 융합: 고정된 지식 이전 메커니즘에 의존하는 방법과 달리, FedMRL은 개인화된 경량 표현 프로젝터를 도입한다. 이 프로젝터는 로컬 non-IID 데이터 분포에 동적으로 적응하여, 전역 동종 모델의 일반화된 표현과 로컬 이종 모델의 개인화된 표현을 융합한다. 이러한 적응형 융합은 지식 이전이 각 클라이언트의 고유한 데이터에 대해 매우 관련성이 높고 효과적임을 보장하며, 이는 다양한 데이터 환경에서 모델 학습 능력을 크게 향상시키는 구조적 이점이다.
  2. 다중 세분성 표현 학습: MRL에서 영감을 받은 FedMRL은 다차원적이고 다중 세분성의 임베딩된 표현을 가진 Matryoshka 표현을 구성한다. 이를 통해 다중 관점 표현 학습이 가능하며, 이는 모델이 거칠고 세밀한 특징 모두를 포착할 수 있음을 의미한다. 이러한 구조적 깊이는 데이터에 대한 더 풍부하고 강력한 이해를 가능하게 하여, 이종 연합 설정에 내재된 변동 및 노이즈에 대해 모델을 더 탄력적으로 만든다. 이는 전통적인 의미에서 고차원 노이즈를 더 잘 처리하는 것이 아니라, 다른 세분성 수준에서 더 유익하고 적응 가능한 표현을 추출하는 것이다.
  3. 최적화된 리소스 절충: 소형 동종 전역 모델의 표현 차원($d_1$)을 로컬 모델의 차원($d_2$)과 비교하여 변경하는 능력은 모델 성능, 저장 공간 요구 사항 및 통신 비용 간의 절충을 최적화하는 중요한 조절 장치를 제공한다. 이러한 유연성은 전반적인 효과를 희생하지 않고 다양한 클라이언트 기능에 맞게 시스템을 조정할 수 있게 하는 중요한 구조적 이점이다. 예를 들어, 더 작은 $d_1$은 정확도의 비례적인 감소 없이 통신 오버헤드를 크게 줄일 수 있으며, 이는 민감도 분석(그림 6, 왼쪽 두 개)에서 보여진다.

이러한 혁신은 집합적으로 FedMRL이 더 낮은 통신 및 계산 비용으로 우수한 모델 정확도를 달성할 수 있게 하는 구조적 이점을 제공하며, 또한 개별 클라이언트에 대한 더 강력한 개인화 기능을 제공한다. 이는 개별 클라이언트 테스트 정확도 차이(그림 3, 오른쪽 두 개)에서 입증된다.

제약 조건과의 정렬

FedMRL의 설계는 모델 이종 연합 학습의 가혹한 요구 사항과 완벽하게 일치하며, 문제와 솔루션 간의 "결혼"을 형성한다.

  • 데이터 이종성 (non-IID 데이터): 개인화된 표현 프로젝터를 포함하는 적응형 표현 융합 메커니즘은 로컬 non-IID 데이터 분포에 적응하도록 명시적으로 설계되었다. 일반화된 특징과 개인화된 특징을 데이터 인식 방식으로 융합함으로써, FedMRL은 클라이언트가 통계적으로 다른 데이터셋을 가지는 문제를 직접적으로 해결한다.
  • 시스템 이종성: 보조 소형 동종 모델을 도입하여 이종 로컬 모델과 상호 작용하는 것이 핵심이다. 전역 모델의 크기는 소형으로 유지될 수 있으며($d_1$ 변경), 제한된 컴퓨팅 성능이나 네트워크 대역폭을 가진 클라이언트를 수용한다. 클라이언트는 프레임워크가 로컬 이종 모델에 대해 모델 불변이기 때문에 특정 시스템 리소스에 맞게 로컬 모델을 맞춤 설정할 수도 있다.
  • 모델 이종성: FedMRL은 각 클라이언트의 로컬 모델을 "블랙박스"로 취급한다. 서버는 이종 로컬 모델이 아닌 소형 동종 모델만을 브로드캐스트하고 집계한다. 이는 클라이언트의 독점 모델 구조가 절대 노출되지 않도록 보장하여 지적 재산 문제를 직접적으로 해결한다.
  • 프라이버시 보존: 이는 모델 이종성 솔루션의 직접적인 결과이다. 소형 동종 모델 파라미터만이 교환되므로, 로컬 데이터와 클라이언트별 이종 모델의 전체 구조는 클라이언트 측에 프라이버시로 유지된다.
  • 통신 및 계산 비용: 소형 동종 모델만을 교환함으로써, FedMRL은 라운드당 전송되는 파라미터 수를 전체 로컬 모델을 교환하는 방법론에 비해 크게 줄인다. 또한, 적응형 융합 및 다중 세분성 학습을 통한 향상된 지식 이전은 더 빠른 모델 수렴(전반적으로 더 적은 통신 라운드)으로 이어져, 보조 모델로 인한 약간의 라운드당 계산 증가에도 불구하고 총 통신 및 계산 오버헤드를 궁극적으로 줄인다.

대안의 기각

본 논문은 FedMRL이 극복하고자 하는 근본적인 단점을 강조함으로써 여러 대안 MHeteroFL 접근 방식을 암묵적으로 그리고 명시적으로 기각한다.

  • 적응형 서브넷을 갖춘 MHeteroFL: 이러한 방법론은 전역 모델 파라미터를 가지치기하거나 설계하여 로컬 서브넷을 구성한다. 본 논문은 클라이언트가 "공통 전역 모델에서 파생되지 않은 블랙박스 로컬 모델을 가진 경우" 실패한다고 언급하는데, 이는 서버가 이를 집계할 수 없기 때문이다. 이 한계는 클라이언트가 진정으로 독점적이고 다양한 모델 아키텍처를 가진 시나리오에 중요하며, FedMRL은 로컬 모델을 블랙박스로 취급함으로써 이를 수용한다.
  • 지식 증류를 갖춘 MHeteroFL: 인기 있지만, 이러한 방법론은 종종 "학습 작업과 동일한 데이터 분포를 가진 공개 데이터셋에 의존한다." 저자들은 "실제로는 그러한 적절한 공개 데이터셋을 찾기 어려울 수 있다"고 지적한다. 공유 데이터를 합성하기 위해 생성자를 훈련하는 것을 포함하는 대안은 "높은 훈련 비용"으로 인해 기각된다. FedMRL은 공개 데이터셋이나 값비싼 데이터 생성 없이 표현을 직접 융합함으로써 이러한 문제를 피한다.
  • 모델 분할을 갖춘 MHeteroFL: 모델을 특징 추출기와 예측기로 분할하는 접근 방식(예: 동종 특징 추출기 또는 개인화된 예측기 공유)은 "로컬 모델 구조의 일부를 노출한다"는 이유로 기각되는데, 이는 "모델이 클라이언트의 독점 IP인 경우 허용되지 않는다." FedMRL의 설계는 로컬 모델 구조가 완전히 프라이버시로 유지되도록 보장한다.
  • 상호 학습을 갖춘 MHeteroFL: FedMRL은 이 범주를 최적화하는 것으로 제시된다. 기존 상호 학습 방법론(예: FML [41] 또는 FedKD [45])은 "각 클라이언트의 이종 로컬 모델 위에 공유 전역 동종 소형 모델을 추가"하고 업데이트를 위해 상호 손실을 사용한다. 그러나 본 논문은 "상호 손실은 두 모델 간에 제한된 지식만을 전달하여 모델 성능 병목 현상을 초래한다"고 명시한다. FedMRL은 적응형 표현 융합 및 다중 세분성 학습을 통해 지식 이전을 강화함으로써 이러한 핵심 한계를 극복한다.

본 논문은 생성 모델(GAN 또는 확산 모델)을 직접적인 대안으로 논의하지 않는데, 이는 생성 모델의 주요 기능(데이터 생성)이 MHeteroFL에서의 표현 학습 및 분류 작업과 다르기 때문이다. 초점은 판별적 연합 학습 맥락에서 지식 이전 개선 및 이종성 처리에 있다.

Figure 7. Accuracy of four optional inference models: mix-small (the whole model without the local header), mix-large (the whole model without the global header), single-small (the homogeneous small model), single-large (the client heterogeneous model)

수학적 및 논리적 메커니즘

마스터 방정식

연합 모델 이종 Matryoshka 표현 학습(FedMRL) 접근 방식을 구동하는 절대적인 핵심 방정식은 모든 참여 클라이언트에 걸친 총 손실을 최소화하는 것을 목표로 하는 목적 함수이다. 섹션 3에서 찾을 수 있는 이 마스터 방정식은 다음과 같이 제시된다.

$$ \min_{\theta, \omega_0, \dots, \omega_{N-1}, \phi_0, \dots, \phi_{N-1}} \sum_{k=0}^{N-1} l(W_k(D_k; (\theta \circ \omega_k | \phi_k))) $$

항별 분석

이 방정식의 전체 의미와 FedMRL 프레임워크 내에서의 역할을 이해하기 위해 조각별로 분석해보자.

  • $\min_{\theta, \omega_0, \dots, \omega_{N-1}, \phi_0, \dots, \phi_{N-1}}$: 이것은 최소화 연산자이다.

    • 수학적 정의: 목적 함수(손실의 합)의 가장 작은 가능한 값을 초래하는 파라미터 $\theta$, $\omega_k$(모든 $k$에 대해), 및 $\phi_k$(모든 $k$에 대해)에 대한 특정 값을 찾는 것이 목표임을 나타낸다.
    • 물리적/논리적 역할: 이것은 학습 과정의 핵심이다. 시스템이 연합 네트워크 전반에 걸쳐 예측 오류를 최소화하는 "최적의" 모델 및 프로젝터 세트를 찾고 있음을 의미한다.
    • 사용 이유: 최소화는 기계 학습의 기본 개념이며, 모델은 일반적으로 정의된 오류 지표를 줄임으로써 학습된다.

  • $\sum_{k=0}^{N-1}$: 이것은 모든 $N$ 클라이언트에 대한 합계를 나타낸다.

    • 수학적 정의: 클라이언트 0부터 클라이언트 $N-1$까지 각 개별 클라이언트의 손실 기여를 합산한다.
    • 물리적/논리적 역할: 연합 학습 설정에서 전반적인 성능은 집단적인 측정값이다. 이 합계는 전역 최적화 목표가 모든 단일 클라이언트의 성능과 기여를 고려하도록 보장하여 협력 학습을 촉진한다.
    • 사용 이유: 연합 학습의 분산된 특성을 반영하는 단일 전역 목표로 지역 학습 목표를 집계하기 위해, 여기서 어떤 단일 클라이언트의 손실도 고립되어 최적화되지 않는다.

  • $l(\cdot)$: 이것은 손실 함수를 나타낸다.

    • 수학적 정의: 모델의 예측 출력과 실제 참 레이블 간의 차이 또는 오류를 정량화하는 수학적 함수이다. 본 논문에서는 일반적인 예로 교차 엔트로피 손실 [63]을 언급한다.
    • 물리적/논리적 역할: 모델의 예측이 얼마나 "잘못되었는지"를 알려주는 피드백 메커니즘 역할을 한다. 손실이 높을수록 성능이 저하되며, 이는 학습 중에 모델이 파라미터를 조정하도록 유도한다.
    • 사용 이유: 교차 엔트로피 손실은 분류 작업에 대한 표준적이고 효과적인 선택이며, 이는 본 논문의 주요 애플리케이션 맥락이다.

  • $W_k(\cdot)$: 이것은 클라이언트 $k$의 결합 모델이다.

    • 수학적 정의: 클라이언트 $k$의 전체 처리 파이프라인을 나타내는 복합 함수이다. 논문에서 설명한 바와 같이, $W_k(\omega_k) = (G(\theta) \circ F_k(\omega_k) | P_k(\phi_k))$는 구성 요소의 융합을 시사한다.
    • 물리적/논리적 역할: 이것은 클라이언트 $k$에서 실제 "엔진"으로, 원시 데이터를 받아 공유 전역 및 로컬 개인화 구성 요소를 통해 처리하고 궁극적으로 예측을 생성한다. 그 출력은 손실 함수가 평가하는 것이다.
    • 사용 이유: 각 클라이언트의 예측이 전역, 로컬 및 개인화된 융합 메커니즘의 상호 작용 결과인 FedMRL의 고유한 아키텍처를 캡슐화한다.

  • $D_k$: 이것은 클라이언트 $k$의 로컬 non-IID 데이터를 참조한다.

    • 수학적 정의: 클라이언트 $k$에게만 사용 가능한 입력-레이블 쌍 $(x_i, y_i)$를 포함하는 데이터셋이다. 이 데이터는 종종 독립적이고 동일하게 분포되지 않은(non-IID) 것으로, 그 통계적 속성이 다른 클라이언트의 데이터와 상당히 다를 수 있다.
    • 물리적/논리적 역할: 이것은 클라이언트 $k$가 모델을 학습하는 데 사용하는 개인 로컬 정보이다. 이는 연합 학습에서 데이터 이종성의 실제적인 문제를 반영한다.
    • 사용 이유: 연합 학습의 핵심 원칙은 원시 데이터를 공유하지 않고 분산된 데이터에서 모델을 학습하는 것이다. 따라서 각 클라이언트의 목적 함수는 로컬 데이터에서 평가된다.

  • $(\theta \circ \omega_k | \phi_k)$: 이것은 클라이언트 $k$의 결합 모델 $W_k$의 동작을 정의하는 집합적 파라미터를 나타낸다.

    • 수학적 정의: 전역 모델 파라미터 $\theta$, 클라이언트 $k$의 로컬 모델 파라미터 $\omega_k$, 그리고 클라이언트 $k$의 개인화된 표현 프로젝터 파라미터 $\phi_k$의 개념적 그룹화이다. $\circ$ 기호는 일반적으로 함수 합성(예: 특징 추출기)을 나타내고, 여기서 $|$ 기호는 전체 모델 정의에 프로젝터 파라미터의 포함을 나타낸다.
    • 물리적/논리적 역할: 이것들은 최적화 프로세스가 조정하는 노브와 다이얼이다. $\theta$는 공유 지식을 관리하고, $\omega_k$는 클라이언트별 개인화를 처리하며, $\phi_k$는 이 두 가지 유형의 지식이 클라이언트 $k$에 대해 어떻게 혼합되는지를 미세 조정한다.
    • 사용 이유: 클라이언트 $k$에 대한 예측에 기여하고 최소화 프로세스의 대상이 되는 모든 학습 가능한 파라미터를 명시적으로 나타내기 위해.

단계별 흐름

클라이언트 $k$의 시스템에 들어가는 단일 데이터 포인트, 예를 들어 참 레이블 $y_i$를 가진 이미지 $x_i$를 상상해보자. 이것이 FedMRL 메커니즘을 통해 이동하는 방식은 다음과 같다.

  1. 이중 특징 추출: 먼저, 입력 이미지 $x_i$는 동시에 두 개의 서로 다른 특징 추출기로 공급된다.

    • 공유 전역 모델의 구성 요소인 전역 동종 모델의 특징 추출기 $G^{ex}$로 들어간다. 이는 일반화된 표현 $R_k^g$을 추출한다. 이는 일반적이고 광범위하게 적용 가능한 특징을 포착하는 것으로 생각할 수 있다.
    • 동시에, $x_i$는 클라이언트 $k$의 로컬 이종 모델의 특징 추출기 $F_k^{ex}$로 들어간다. 이는 클라이언트 $k$의 특정 데이터 특성 및 모델 구조에 맞춰진 개인화된 표현 $R_k^f$을 추출한다. 이것은 전문적인 관점을 얻는 것과 같다.

  2. 표현 스플라이싱: 다음으로, 이 두 개의 서로 다른 표현 $R_k^g$ 및 $R_k^f$는 "스플라이싱"된다. 이것은 일반적으로 연결 연산으로, 추가 처리 전에 일반화된 보기와 개인화된 보기 모두에서 개별 의미 정보를 보존하는 더 긴 결합 표현 $R_i$을 형성한다.

  3. 적응형 표현 융합: 스플라이싱된 표현 $R_i$는 클라이언트 $k$의 개인화된 경량 표현 프로젝터 $P_k$를 통과한다. 이 프로젝터는 스플라이싱된 표현을 융합된 표현 $\tilde{R}_i$으로 매핑한다. 이 프로젝터는 적응형이며, 이는 클라이언트 $k$의 로컬 데이터 분포에 대해 일반화된 특징과 개인화된 특징을 혼합하는 최선의 방법을 학습한다는 것을 의미하며, 스마트 믹서 역할을 한다.

  4. Matryoshka 표현 구성: 이 단일 융합 표현 $\tilde{R}_i$에서 두 개의 "Matryoshka"(중첩된) 표현이 파생된다.

    • 저차원 거친 세분성 표현 $R_i^{lc}$이 추출된다. 이것은 융합된 특징의 광범위한 요약 보기를 취하는 것과 같다.
    • 고차원 세밀한 세분성 표현 $R_i^{hf}$도 추출된다. 이것은 융합된 특징의 더 상세한 측면을 포착하며, 잠재적으로 거친 보기를 포함한다.

  5. 이중 예측 헤더: 이 두 Matryoshka 표현은 해당 예측 헤더로 전송된다.

    • $R_i^{lc}$는 전역 동종 모델의 예측 헤더 $G^{hd}$로 가서 거친 예측 $\hat{y}_i^{lc}$을 생성한다.
    • $R_i^{hf}$는 클라이언트 $k$의 로컬 이종 모델의 예측 헤더 $F_k^{hd}$로 가서 세밀한 예측 $\hat{y}_i^{F_k}$을 생성한다.

  6. 손실 계산 및 합계: 마지막으로, 시스템은 두 예측과 참 레이블 $y_i$ 간의 개별 손실을 계산한다. 이것들은 $l_i^{lc}$와 $l_i^{F_k}$이다. 이 두 손실은 가중치가 부여되고(기본적으로 동일하게) 합산되어 입력 데이터 포인트에 대한 단일 총 손실 $l_i$을 생성한다. 이 총 손실은 학습 과정을 안내하는 궁극적인 신호이다.

최적화 역학

FedMRL 메커니즘은 서버 측 집계와 결합된 로컬 클라이언트 측 학습을 통해 반복적인 프로세스를 통해 학습하고 수렴한다. 이것은 개인화와 일반화 사이의 춤이다.

  1. 로컬 학습 및 경사 하강법: 각 통신 라운드에서 클라이언트의 하위 집합이 선택된다. 각 선택된 클라이언트 $k$는 서버로부터 현재 전역 동종 모델 파라미터($\theta$)를 받는다. 그런 다음, 여러 로컬 학습 에포크 동안 클라이언트 $k$는 개인 로컬 데이터 $D_k$를 처리한다. 각 데이터 포인트 $(x_i, y_i)$에 대해, "단계별 흐름"이 실행되어 총 손실 $l_i$을 계산한다. 이 손실은 그런 다음 클라이언트 $k$의 결합 모델에 관련된 모든 파라미터에 대한 기울기를 계산하는 데 사용된다: 전역 모델 파라미터($\theta$), 로컬 이종 모델 파라미터($\omega_k$), 그리고 개인화된 표현 프로젝터 파라미터($\phi_k$). 이러한 파라미터는 경사 하강법을 사용하여 업데이트된다.
    $$ \theta^t \leftarrow \theta^{t-1} - \eta_\theta \nabla l_i \\ \omega_k^t \leftarrow \omega_k^{t-1} - \eta_\omega \nabla l_i \\ \phi_k^t \leftarrow \phi_k^{t-1} - \eta_\phi \nabla l_i $$
    학습률 $\eta_\theta, \eta_\omega, \eta_\phi$는 이러한 업데이트의 단계 크기를 제어한다. 본 논문에서는 안정적인 수렴을 보장하기 위해 기본적으로 동일하게 설정한다고 언급하는데, 이는 영리한 트릭이다. 이러한 로컬 학습은 각 클라이언트가 공유된 전역 지식을 조정하고 로컬 모델 및 프로젝터를 고유한 데이터에 개인화할 수 있도록 한다.

  2. 선택적 파라미터 업로드: 로컬 학습 에포크를 완료한 후, 클라이언트 $k$는 업데이트된 전역 동종 소형 모델 파라미터($\theta^t$)만을 서버로 업로드한다. 결정적으로, 클라이언트의 로컬 이종 모델 파라미터($\omega_k$)와 개인화된 프로젝터 파라미터($\phi_k$)는 클라이언트에 남아 데이터 프라이버시를 보장하고 통신 오버헤드를 줄인다. 이러한 선택적 공유는 핵심 설계 선택이다.

  3. 서버 측 집계: 중앙 서버는 참여하는 모든 클라이언트로부터 업데이트된 전역 동종 모델 파라미터를 수집한다. 그런 다음 일반적으로 평균화(연합 평균과 유사)하여 새로운, 개선된 전역 동종 모델 $\theta^{t+1}$을 생성한다. 이 집계 단계는 모든 클라이언트에서 학습된 공유 지식을 합성한다.

  4. 전역 모델 브로드캐스트: 새로 집계된 전역 모델 $\theta^{t+1}$은 다음 통신 라운드를 위해 모든 클라이언트에 다시 브로드캐스트된다. 이것은 연합 학습의 한 완전한 주기를 완료한다.

  5. 수렴 동작: 이 반복적인 프로세스는 모델이 수렴할 때까지 계속된다. 본 논문은 $T$가 통신 라운드 수일 때 $O(1/T)$ 비볼록 수렴 속도를 보여주는 이론적 분석을 제공한다. 이는 더 많은 학습 라운드가 발생함에 따라 전반적인 손실이 감소하고 모델 성능이 향상될 것으로 예상된다는 것을 의미한다. 손실 경관은 일반화된 표현과 개인화된 표현의 복잡한 상호 작용에 의해 형성된다. 다중 세분성 Matryoshka 표현은 모델이 이 경관을 다른 관점에서 탐색하도록 도와, 더 나은 학습과 수렴을 촉진하여 거친 조정과 세밀한 조정 모두를 가능하게 한다. 적응형 표현 융합은 각 클라이언트의 특정 데이터에 맞게 지식 혼합을 조정함으로써 이를 더욱 개선하여 최적화를 데이터 이종성에 대해 더 강력하게 만든다.

Figure 2. The workflow of FedMRL

결과, 한계 및 결론

실험 설계 및 기준선

FedMRL의 수학적 주장과 실질적인 효능을 엄격하게 검증하기 위해, 저자들은 포괄적인 실험 설계를 구축했다. 그들은 Pytorch를 사용하여 FedMRL을 구현하고 7개의 최첨단 모델 이종 연합 학습(MHeteroFL) 방법론과 벤치마킹했다. 모든 실험은 24GB 메모리를 갖춘 4개의 NVIDIA GeForce 3090 GPU를 활용하는 강력한 하드웨어 설정에서 수행되었다.

FedMRL이 경쟁한 "희생자"(기준선 모델)는 네 가지 범주로 나뉜 MHeteroFL 접근 방식이었다.
1. 독립형: 각 클라이언트는 협력 학습 이점의 하한선을 나타내는 자체 모델을 학습시킨다.
2. 공개 데이터 없음 지식 증류: 이 범주에는 FD [21] 및 FedProto [43]가 포함되며, 이들은 공개 데이터셋에 의존하지 않고 중간 정보 또는 프로토타입을 공유하여 지식을 이전한다.
3. 모델 분할: LG-FedAvg [27]로 대표되는 이 방법론은 모델을 특징 추출기와 예측기로 분할하여 일부 구성 요소를 공유하고 다른 구성 요소를 개인화한다.
4. 상호 학습: 이 그룹에는 FML [41], FedKD [45], FedAPEN [37]이 포함되며, 이들은 일반적으로 공유 전역 동종 소형 모델을 추가하고 상호 손실을 사용하여 파라미터를 업데이트한다. FedMRL은 이 범주를 직접 구축하고 개선하는 것을 목표로 한다.

FL의 이미지 분류를 위한 두 가지 널리 사용되는 벤치마크 데이터셋인 CIFAR-10(10개 클래스) 및 CIFAR-100(100개 클래스)이 사용되었다. 실제 데이터 이종성을 시뮬레이션하기 위해 두 가지 유형의 non-IID(독립적이고 동일하게 분포되지 않은) 데이터 파티션이 구성되었다.
- Non-IID (클래스): 클라이언트에게 제한된 수의 클래스(예: CIFAR-10의 경우 2개, CIFAR-100의 경우 10개)가 할당되었으며, 클래스 수가 적을수록 non-IID성이 높아진다.
- Non-IID (디리클레): 디리클레($\alpha$) 분포가 데이터 분포 편향을 제어하는 데 사용되었으며, 여기서 더 작은 $\alpha$ 값은 더 두드러진 non-IID성을 나타낸다.

평가는 모델 동종(모든 클라이언트가 CNN-1 사용) 및 모델 이종(클라이언트가 CNN-1에서 CNN-5 모델의 혼합 사용) FL 시나리오 모두를 포함했다. FedMRL의 핵심 메커니즘, 즉 보조 동종 소형 모델 및 개인화된 표현 프로젝터는 최적의 성능을 찾기 위해 표현 차원($d_1$)을 100에서 500으로 변경하면서 테스트되었다. 저자들은 공정한 비교를 보장하기 위해 배치 크기, 로컬 에포크 수, 통신 라운드 수, 학습률을 포함한 모든 알고리즘에 대한 최적의 FL 하이퍼파라미터를 세심하게 검색했다.

주요 평가 지표는 다음과 같았다.
- 모델 정확도: 모든 클라이언트 모델의 평균 테스트 정확도.
- 통신 비용: 목표 정확도에 도달하기 위해 서버와 클라이언트 간에 교환된 총 파라미터 수로, 라운드당 파라미터와 라운드 수를 모두 고려한다.
- 계산 오버헤드: 목표 정확도에 도달하기 위해 클라이언트가 수행한 총 FLOPs(부동 소수점 연산)로, 라운드당 FLOPs와 라운드 수를 모두 고려한다.

증거가 증명하는 것

실험 증거는 FedMRL의 핵심 메커니즘—적응형 개인화된 표현 융합 및 다중 세분성 표현 학습—이 이종 연합 학습에서 성능을 크게 향상시킨다는 결정적이고 부인할 수 없는 증거를 제공한다.

우수한 정확도:
- 전반적인 성능 초과: 모든 테스트된 FL 설정(클라이언트 수 N 및 참여율 C 변경) 및 모델 동종(부록 C.2, 표 3) 및 모델 이종(표 1) 시나리오에서 FedMRL은 모든 기준선보다 일관되게 더 높은 평균 테스트 정확도를 달성했다.
- 정량화 가능한 이득: FedMRL은 전반적으로 최고의 기준선에 비해 평균 테스트 정확도에서 최대 8.48%의 인상적인 향상을 보여주었다. 더욱 놀라운 것은, 동일 범주 내 최고의 기준선(상호 학습 기반 MHeteroFL 방법론)에 비해 최대 24.94%의 향상을 달성했다는 것이다. 이 상당한 격차는 FedMRL의 지식 이전 접근 방식이 단순히 학습 손실에 의존하는 이전 상호 학습 전략보다 훨씬 효과적임을 명확하게 나타낸다.
- 더 빠른 수렴: 그림 3(왼쪽 6개 플롯)은 FedMRL이 더 높은 정확도에 도달할 뿐만 아니라 최고의 기준선(FedProto)보다 더 빠르게 수렴하여 더 효율적인 학습을 시사함을 시각적으로 확인시켜 준다.

향상된 개인화:
- 개별 클라이언트 이점: 그림 3(오른쪽 2개 플롯)은 FedMRL의 강력한 개인화 기능을 설득력 있게 보여준다. FedProto와 비교했을 때, FedMRL은 CIFAR-10에서 클라이언트의 87%, CIFAR-100에서 놀라운 99%가 더 나은 개별 테스트 정확도를 달성하도록 했다. 이는 개인화된 표현 프로젝터와 다중 세분성 학습이 다양한 로컬 데이터 분포 및 모델 구조에 적응하는 데 효과적임을 직접적으로 검증한다.

향상된 효율성:
- 통신 라운드 감소: 그림 4(왼쪽)는 FedMRL이 FedProto보다 목표 정확도 수준(CIFAR-10의 경우 90%, CIFAR-100의 경우 50%)에 도달하기 위해 더 적은 통신 라운드가 필요함을 보여주며, 이는 더 빠른 전반적인 학습을 의미한다.
- 총 계산 비용 감소: 추가적인 소형 동종 모델 및 경량 프로젝터 학습의 라운드당 오버헤드에도 불구하고, 그림 4(오른쪽)는 FedMRL이 FedProto보다 총 계산 비용이 더 낮음을 보여준다. 이것은 더 빠른 수렴의 직접적인 결과이며, 이는 약간 증가된 라운드당 계산 부담을 상쇄한다.
- 통신 비용 절충: FedMRL의 라운드당 통신 비용은 FedProto보다 높지만(전체 동종 소형 모델 전송으로 인해), 본 논문은 선택적 더 작은 표현 차원($d_1$)을 사용하면 더 큰 표현 차원을 사용하는 다른 상호 학습 기반 MHeteroFL 기준선보다 여전히 더 높은 통신 효율성을 달성한다고 주장한다. 이는 최적화될 수 있는 전략적 절충을 시사한다.

이종성에 대한 강력한 성능:
- Non-IID 데이터에 대한 강력한 성능: 사례 연구(그림 5)는 FedMRL이 클래스 기반 및 디리클레 기반의 다양한 non-IID 설정에 대해 일관되게 FedProto보다 더 높은 평균 테스트 정확도를 유지하며, 다양한 데이터 분포를 효과적으로 처리하는 능력을 입증한다.

결함 분석 검증:
- Matryoshka 표현 학습의 영향: 결함 분석(그림 6, 오른쪽 두 개 플롯)은 Matryoshka 표현 학습(MRL) 구성 요소의 유용성에 대한 중요한 증거를 제공한다. MRL이 없는 FedMRL보다 MRL이 있는 FedMRL이 일관되게 우수했으며, 이는 다중 세분성 표현 학습 설계가 MHeteroFL에서 전반적인 성능 향상에 중요한 기여를 한다는 것을 확인시켜 준다. $d_1$이 증가함에 따라 정확도 격차가 줄어드는 관찰은 메커니즘에 대한 통찰력을 제공하며, MRL의 이점은 표현이 덜 겹치는 경우에 가장 두드러진다는 것을 시사한다.

본질적으로, 증거는 FedMRL의 이중 혁신—적응형 표현 융합 및 다중 세분성 표현 학습—이 협력하여 모델 이종 연합 학습을 위한 강력하고 효율적이며 강력한 솔루션을 제공하며, 여러 중요한 지표에서 최첨단 기준선을 결정적으로 능가한다는 것을 증명한다.

한계 및 향후 방향

FedMRL은 모델 이종 연합 학습에서 상당한 발전을 제시하지만, 저자들은 솔직하게 특정 한계를 인정하고 명확한 미래 연구 방향을 제안한다.

현재 한계:
1. 전역 헤더에 대한 리소스 소비 증가: 현재 설계는 다중 세분성 임베딩된 표현을 전역 소형 모델 헤더와 로컬 클라이언트 모델 헤더 모두를 통해 처리하는 것을 포함한다. 전역 헤더는 비교적 간단한 선형 레이어이지만, 이 이중 처리는 본질적으로 저장 비용, 통신 비용 및 전역 헤더에 대한 학습 오버헤드를 증가시킨다. 이는 모든 바이트와 FLOP가 중요한 리소스 제약이 있는 FL 환경에서 실질적인 우려 사항이다.
2. 통계적 유의성 보고 부족: 본 논문은 각 실험 설정에 대해 세 번의 시도만을 수행하고 평균 결과를 보고한다고 언급한다. 이 접근 방식은 일반적이지만, 오차 막대, 신뢰 구간 또는 통계적 유의성 테스트를 포함하지 않는다. 결과적으로, 보고된 개선 사항의 통계적 견고성과 관찰된 차이가 단순히 실행 간의 무작위 변동 때문인지 여부를 판단하기 어렵다. 이는 완전한 과학적 엄격성을 위한 사소하지만 중요한 누락이다.

향후 방향 및 토론 주제:

식별된 한계는 자연스럽게 이러한 발견의 추가 개발 및 발전에 대한 몇 가지 유망한 방향으로 이어진다.

  1. 전역 헤더 사용 최적화 (MRL-E 통합): 저자들은 미래 작업에서 더 효과적인 Matryoshka 표현 학습 방법(MRL-E) [24]을 채택할 것을 명시적으로 제안한다. 이는 전역 헤더를 완전히 제거하고 다중 세분성 Matryoshka 표현을 처리하기 위해 로컬 모델 헤더에만 의존하는 것을 포함한다. 이는 전역 헤더에 대한 현재 리소스 소비 증가의 한계를 직접적으로 해결하여, 모델 성능과 저장, 통신 및 계산 비용 간의 더 나은 절충을 잠재적으로 이끌어낼 것이다. 여기서 핵심 토론 주제는 동종 모델의 헤더가 완전히 제거된 경우 충분한 지식 이전 및 일반화 능력을 보장하는 방법이다. 이는 전역 동종 모델의 특징 추출기에 대한 집계 전략을 변경하거나 더 정교한 융합 메커니즘을 필요로 할까?

  2. 동적 표현 차원 적응: $d_1$(동종 소형 모델의 표현 차원)에 대한 민감도 분석은 더 작은 $d_1$ 값이 종종 더 높은 정확도와 감소된 오버헤드를 초래한다는 것을 보여주었다. 이는 $d_1$이 성능과 효율성 간의 균형을 맞추는 중요한 하이퍼파라미터임을 시사한다. 미래 작업은 수동 튜닝 없이 이러한 차원을 최적화하기 위해 클라이언트별 리소스 제약 또는 데이터 특성에 기반한 온라인 학습 접근 방식 또는 메타 학습 프레임워크를 탐색할 수 있다.

  3. 지도 학습을 넘어선 확장: 현재 FedMRL 접근 방식은 지도 학습 작업에 맞춰져 있다. 이를 반지도, 비지도 또는 강화 학습과 같은 다른 학습 패러다임으로 확장하는 것은 중요한 단계가 될 것이다. 표현 융합 및 다중 세분성 학습의 개념은 레이블이 부족하거나 목적 함수가 단순한 교차 엔트로피 손실이 아닌 시나리오에 어떻게 적용될까?

  4. 적대적 공격 및 데이터 오염에 대한 강력한 성능: FedMRL은 데이터 및 모델 이종성을 해결하지만, 적대적 공격 또는 데이터 오염(FL에서 흔한 우려)에 대한 강력한 성능은 명시적으로 평가되지 않았다. 미래 연구는 다중 세분성 표현 및 개인화된 프로젝터가 본질적으로 일부 복원력을 제공하는지 또는 특정 방어 메커니즘으로 어떻게 보강될 수 있는지 조사할 수 있다.

  5. 극도로 대규모 FL로의 확장성: 실험은 최대 100명의 클라이언트로 수행되었다. 이것은 좋은 시작이지만, 실제 FL 배포는 수백만 개의 장치를 포함할 수 있다. 통신 오버헤드 및 집계 전략과 관련하여 수십 배 더 많은 클라이언트에 대한 FedMRL의 확장성을 조사하는 것이 중요할 것이다. 현재 집계 체계에는 대규모에서 금지될 병목 현상이 있는가?

  6. 공식 통계적 유의성: 과학적 엄격성을 강화하기 위해, 미래 작업은 모든 실험 결과에 대해 오차 막대 및 신뢰 구간을 포함한 공식 통계적 유의성 테스트를 통합해야 한다. 이는 관찰된 성능 향상의 신뢰성과 일반화 가능성에 대한 더 명확한 이해를 제공할 것이다.

  7. 대안적 프로젝터 아키텍처 탐색: 본 논문은 개인화된 표현 프로젝터가 단일 계층 선형 모델 또는 다층 퍼셉트론이 될 수 있다고 언급한다. 현재 실험은 간단한 선형 모델을 사용할 가능성이 높다. 잠재적으로 로컬 데이터에 따라 복잡성을 동적으로 조정할 수 있는 더 복잡하거나 적응형 프로젝터 아키텍처를 탐색하면 개인화 및 지식 융합을 더욱 향상시킬 수 있다.

이러한 한계를 해결하고 이러한 미래 지향적인 방향을 탐색함으로써, FedMRL의 기초 작업은 더욱 정제되고 확장될 수 있으며, 더욱 강력하고 효율적인 이종 연합 학습 시스템을 위한 길을 열어줄 것이다.

Table 1. and Table 3 (Appendix C.2) show that FedMRL consistently outperforms all baselines under both model-heterogeneous or homogeneous settings. It achieves up to a 8.48% improvement in average test accuracy compared with the best baseline under each setting. Furthermore, it achieves up to a 24.94% average test accuracy improvement than the best same-category (i.e., mutual learning- based MHeteroFL) baseline under each setting. These results demonstrate the superiority of FedMRL Table 3. presents the results of FedMRL and baselines in model-homogeneous FL scenarios Table 2. shows the structures of models used in experiments

다른 분야와의 동형성

구조적 골격

본 논문은 다양한 로컬 데이터 분포에 적응하고 효율적인 지식 이전을 가능하게 하면서, 표현을 융합하여 공유되고 다중 세분성 구조로 만드는, 다양한 분산 모델로부터 협력적으로 학습하는 메커니즘을 제시한다.

먼 친척

  1. 대상 분야: 시스템 생물학 / 다중 오믹스 통합

    • 연결성: 시스템 생물학에서 연구자들은 종종 다양한 연구실 또는 환자 코호트(분산 클라이언트)에서 수집된 이종 데이터 유형(예: 유전체학, 단백체학, 대사체학—종종 "다중 오믹스"라고 함)을 통합하는 문제에 직면한다. 이러한 데이터셋은 본질적으로 다양한 구조, 규모 및 기본 생물학적 맥락(이종 로컬 모델)을 가지고 있다. 오랜 문제점은 복잡한 생물학적 메커니즘을 밝히거나 질병 결과를 예측할 수 있는 통합되고 포괄적인 표현으로 이러한 분산 정보 스트림을 합성하는 것이다. 본 논문의 핵심 논리는 이종 표현을 다중 세분성 구조로 융합하는 것으로, 다중 오믹스 데이터를 통합하여 중첩되고 계층적인 생물학적 통찰력(예: 유전적 변이가 단백질 발현에 어떻게 영향을 미치는지, 이는 다시 대사 경로에 영향을 미치는지)을 발견할 필요성과 유사하다. "개인화된 표현 프로젝터"는 FedMRL이 로컬 non-IID 데이터에 적응하는 것처럼, 환자별 또는 조직별 생물학적 변이 및 데이터 편향을 설명하기 위해 통합 프로세스를 조정하는 유사한 구성 요소로 볼 수 있다.

  2. 대상 분야: 도시 계획 / 스마트 시티 데이터 융합

    • 연결성: 현대 도시 계획 및 스마트 시티 이니셔티브는 도시 전역의 수많은 센서 및 시스템에서 수집된 방대한 양의 이종 데이터를 통합하는 데 의존한다. 여기에는 교통 흐름 데이터, 대중 교통 이용률, 환경 센서 판독값(대기 질, 소음 수준), 소셜 미디어 활동, 유틸리티 소비 및 인구 통계 정보가 포함된다. 이러한 데이터 소스는 종종 서로 다른 데이터 형식, 수집 빈도 및 고유한 세분성(이종 모델/데이터)을 가진 여러 시립 부서 또는 민간 기업(분산 클라이언트)에서 관리된다. 또한 시민 데이터에 관한 프라이버시 우려는 매우 중요하다. 과제는 이러한 분산된 다중 모드 데이터 스트림을 일관되고 다중 세분성 표현으로 융합하여 도시 정책에 정보를 제공하고, 리소스 수요를 예측하고, 도시 서비스를 최적화하거나 비상 사태를 관리하는 것이다. 공유되고 다중 세분성 표현을 개인 정보 보호 및 통신 최소화를 유지하면서 다양한 로컬 모델에서 생성하는 본 논문의 접근 방식은 민감하거나 독점적인 정보를 중앙 집중화하지 않고 도시 관리 및 이해를 통합할 필요성과 직접적으로 유사하다.

만약 시나리오

각 병원이 고유한 환자 집단과 데이터 수집 방법을 가진 병원 컨소시엄에서 다중 오믹스 데이터를 통합하는 복잡성에 어려움을 겪고 있는 시스템 생물학자를 상상해보라. 이 연구자가 FedMRL의 정확한 방정식을 내일 "훔친다면", 그들은 연합 다중 오믹스 학습 프레임워크를 구현할 수 있다. 각 병원은 특정 오믹스 데이터에 대한 로컬 모델을 학습시키고, 중앙 서버는 이러한 다양한 표현의 융합을 공유되고 다중 세분성 Matryoshka 표현으로 조정한다. 이를 통해 전체 컨소시엄에 걸쳐 복잡한 질병(예: 암 하위 유형, 약물 내성 메커니즘)에 대한 강력하고 계층적인 바이오마커를 발견할 수 있으며, 어떤 병원도 개인 정보가 민감한 원시 환자 데이터를 공유할 필요가 없다. 개인화된 표현 프로젝터는 각 병원의 고유한 환자 인구 통계 또는 기술적 편향에 융합된 오믹스 특징을 조정하여, 매우 정확하고 일반화 가능한 예측 모델을 생성할 것이다. 이 돌파구는 데이터 이종성 및 프라이버시 장벽에 의해 현재 가려져 있는 미묘하고 중첩된 생물학적 패턴을 식별함으로써 대규모 프라이버시 보존 다중 오믹스 연구를 가능하게 하여 개인 맞춤 의학을 가속화할 것이다.

구조의 보편적 라이브러리

본 논문은 개인의 자율성이나 프라이버시를 침해하지 않으면서 다양한 로컬 관점이 공유되고 계층적인 이해로 조화되는 분산되고 다중 모드 정보 합성을 위한 강력한 패턴을 시연함으로써 "구조의 보편적 라이브러리"를 풍부하게 한다.