CWN(CHANGE WITH NEWS) - 구글 연구팀, 예시 난이도 학습 연구 진행

  • 맑음영광군
  • 구름많음보성군18.7℃
  • 구름많음청송군14.0℃
  • 흐림안동15.1℃
  • 맑음통영18.2℃
  • 흐림순천16.4℃
  • 비울산14.9℃
  • 구름많음의령군16.4℃
  • 구름조금강진군18.7℃
  • 구름조금청주17.8℃
  • 맑음서귀포20.6℃
  • 흐림정선군12.9℃
  • 구름조금철원13.5℃
  • 구름많음영천15.6℃
  • 맑음서산15.4℃
  • 맑음고창16.1℃
  • 구름많음광양시17.9℃
  • 구름많음인천16.9℃
  • 구름조금남원17.4℃
  • 구름조금순창군17.7℃
  • 맑음군산17.5℃
  • 구름많음창원18.6℃
  • 흐림속초12.0℃
  • 구름많음원주16.1℃
  • 흐림강릉12.9℃
  • 맑음보령16.4℃
  • 구름조금천안16.8℃
  • 흐림의성16.2℃
  • 흐림영주14.5℃
  • 맑음추풍령14.3℃
  • 구름조금거제18.0℃
  • 구름조금부여17.9℃
  • 흐림구미16.1℃
  • 구름많음성산21.1℃
  • 구름많음영월14.1℃
  • 구름많음대구16.3℃
  • 구름조금대전16.5℃
  • 흐림북강릉12.0℃
  • 구름많음인제12.4℃
  • 구름많음광주18.4℃
  • 구름많음김해시17.3℃
  • 구름많음동두천15.3℃
  • 구름많음홍천15.5℃
  • 맑음보은14.6℃
  • 흐림상주15.2℃
  • 구름조금강화15.1℃
  • 흐림대관령7.5℃
  • 구름조금세종16.8℃
  • 흐림울진13.1℃
  • 구름조금진주16.3℃
  • 구름많음이천15.7℃
  • 구름많음수원16.7℃
  • 구름많음춘천15.8℃
  • 구름많음함양군16.1℃
  • 흐림동해12.7℃
  • 구름조금완도17.8℃
  • 구름조금금산16.5℃
  • 흐림태백9.4℃
  • 구름조금충주15.7℃
  • 맑음백령도12.3℃
  • 맑음고창군16.7℃
  • 맑음고흥17.9℃
  • 비부산17.3℃
  • 맑음해남16.5℃
  • 구름많음산청15.9℃
  • 구름많음북춘천15.7℃
  • 구름조금합천16.7℃
  • 흐림제천14.5℃
  • 구름많음북부산17.2℃
  • 구름조금파주13.6℃
  • 흐림문경14.2℃
  • 맑음부안16.9℃
  • 구름많음서울16.9℃
  • 구름조금양평15.6℃
  • 구름조금진도군16.4℃
  • 구름많음거창15.5℃
  • 구름많음북창원18.7℃
  • 구름많음장흥18.0℃
  • 맑음여수19.1℃
  • 구름많음전주18.6℃
  • 맑음남해18.2℃
  • 흐림양산시17.0℃
  • 맑음흑산도15.2℃
  • 흐림영덕13.7℃
  • 구름조금정읍16.9℃
  • 구름많음제주21.0℃
  • 흐림봉화13.0℃
  • 흐림경주시15.0℃
  • 맑음고산19.2℃
  • 맑음홍성16.0℃
  • 구름많음목포16.4℃
  • 흐림울릉도13.6℃
  • 흐림임실16.7℃
  • 구름많음밀양17.6℃
  • 구름많음장수15.1℃
  • 비포항17.0℃
  • 구름조금서청주15.7℃
  • 2025.10.22 (수)

구글 연구팀, 예시 난이도 학습 연구 진행

임채은 / 기사승인 : 2021-07-01 19:32:35
  • -
  • +
  • 인쇄

딥러닝 모델이 데이터를 처리하는 원리를 이해하는 한 가지 방법은 예시의 난이도의 유형이나 양이 다른 입력 데이터 포인트를 조사하는 것이다. 예시 난이도의 다양한 정의는 과거의 연구에 제시됐다. 통계적 관점에서 예시 난이도는 예시의 실측 자료 레이블을 예측할 확률을 의미한다. 반면, 모델 학습에서 예시 난이도는 예시 학습에 관련된 어려움을 가리킨다.

그러나 이 두 관점 모두 통합된 모델 내에서 데이터 처리를 캡슐화하지 않으며 여러 가지 이유로 어려운 예를 구분할 수 없다는 기본적인 한계를 가지고 있다.

'예시 난이도의 렌즈를 통한 딥러닝(Deep Learning Through the Lens of the Example Difficiency)'이라는 논문에서 구글 연구팀은 모델 학습의 예시 난이도 문제를 다루며 숨겨진 임베딩에서 파악한 '예측 깊이'를 예시의 난이도의 새로운 척도로 제안한다. 그들의 연구는 주어진 입력의 예측 깊이가 해당 데이터 지점에 대한 모델의 불확실성, 신뢰도, 정확성 및 학습 속도와 밀접한 관련이 있다는 놀라운 사실을 보여준다.

연구진은 숨겨진 계층 조사을 사용하여 난이도의 예를 결정한다. 이들은 먼저 예측 깊이에 따라 매개 변수화된 예제 난이도의 계산적 견해를 도입하고, 그 정의에 기초하여 예측 깊이가 예시 난이도의 의미 있고 강력한 개념임을 보여준다. 또한, 딥러닝의 세 가지 중요한 측면인 예측의 정확성과 일관성, 데이터를 학습하는 순서, 데이터 지점 근처에서 학습된 기능의 단순성(여백)을 더 잘 이해하기 위해 예측 깊이를 사용하는 방법에 대한 상세한 설명도 제공한다.

연구팀은 다양한 아키텍처 및 데이터 집합 선택에 대한 결과의 견고성을 보장하기 위해 다양한 데이터 집합에 대한 경험적 분석을 실시했다. 사용된 데이터 집합에는 ResNet18(He et al., 2016), VG16(Simonyan 및 Zisserman, 2015), CIFAR10, CIFAR100(Krizhevsky et al., 2009), 패션 MNIST(FMNIST) (Xiao et al., 2011) 및 MLP 아키텍처가 포함된다. ResNet18 실험의 CIFAR10에서 제안된 방법은 "레이블이 없는 가장 애매한" 입력에 대한 정확도를 25%에서 98%로 높였다.

구글 연구원의 연구 요약
1. 계산 예제 난이도의 척도인 예측 깊이(PD)를 도입한다.
2. 시각적으로 더 어려워 보이는 예의 경우, 예측 깊이가 더 크고 아키텍처와 랜덤 시드 간에 예측 깊이가 일관됨을 보여준다.
3. 경험적 조사에 따르면 예측 깊이는 예측의 일관성에 대해 선형 하한을 설정하는 것으로 보인다. 예측 깊이가 작은 검증 지점에 대해 예측이 평균적으로 더 정확하다는 것을 보여준다.
4. 훈련 중 초기에 수렴되는 데이터 포인트에 대한 최종 예측은 일반적으로 초기 계층에서 결정되며, 이는 네트워크의 훈련 기록과 숨겨진 계층에서의 데이터 처리 간의 대응 관계를 설정한다.
5. 예측 깊이가 작은 예에서는 적대 입력 여백과 출력 여백이 모두 더 크다는 것을 보여준다. 네트워크의 출력 마진을 줄이기 위한 개입을 설계하고, 이로 인해 최신 숨겨진 계층에서만 예측이 수행된다.
6. 훈련 및 검증의 예측 깊이를 독립적으로 분할하여 세 가지 극단적인 형태의 예시 난이도를 식별하고, 한 중간 계층에 숨겨진 임베딩을 사용하여 예측을 수행하는 간단한 알고리즘이 어떻게 특정 형태의 예시 난이도를 나타내는 입력의 정확도를 극적으로 개선할 수 있는지 입증한다.
7. 결과를 사용하여 관련이 없어 보이는 4가지 딥러닝 현상을 통합하는 일관성 있는 그림을 제시한다. 초기 계층은 일반화하고, 이후 계층은 암기하고, 입력 계층에서 출력 계층으로 네트워크는 수렴되며, 쉬운 예가 먼저 학습되고, 네트워크는 교육 초기에 더 간단한 기능을 제공한다.


구글 연구팀은 결과가 구조상 계층적인 깊은 모델의 표현에서 비롯되었으며, 따라서 이와 유사한 결과가 이미지 분류 이외의 더 큰 모델, 데이터 세트 및 작업에서 나타날 수 있다는 점에 주목하고 있다. 하지만 이러한 영역과 다른 영역에서 추가 실험이 있어야 할 것이다.

연구팀은 연구가 이질적인 불확실성을 포착하고, 네트워크가 분포 변화에 어떻게 반응하는지에 대한 이해를 높이고, 커리큘럼 학습 접근법과 기계 학습 공정성을 향상하는 모델 개발에 도움이 되기를 바란다고 말했다.

[저작권자ⓒ CWN(CHANGE WITH NEWS). 무단전재-재배포 금지]

최신기사

뉴스댓글 >

- 띄어 쓰기를 포함하여 250자 이내로 써주세요.
- 건전한 토론문화를 위해, 타인에게 불쾌감을 주는 욕설/비방/허위/명예훼손/도배 등의 댓글은 표시가 제한됩니다.

댓글 0

Today

Hot Issue