매개변수
AI 모델이 학습 과정에서 데이터의 특징과 패턴을 학습하기 위해 조정하는 내부 값입니다.
대표적인 매개변수에는 가중치(Weight)와 편향(Bias)이 있으며, 학습을 반복하면서 예측 결과와 학습 목표의 차이를 줄이는 방향으로 조정됩니다.
매개변수 조정 흐름
-
학습 데이터 입력
-
결과 예측
-
손실 계산
-
매개변수 조정
-
예측/결과 생성
매개변수의 주요구성
가중치와 편향은 AI 모델이 데이터를 학습할 때 조정하는 대표적인 매개변수입니다.
가중치와 편향은 어떻게 사용할까요?
가중치 = 무엇을 얼마나 중요하게 볼 것인가
편향 = 아는 기준에서 판단할 것인가
매개변수는 어떻게 학습될까요?
AI 모델은 예측결과와 실제 결과의 차이를 확인하고 오차를 줄이는 방향으로 가중치와 편향을 반복적으로 조정합니다.
-
01
학습 데이터 입력
덱스트,이미지 동의 학습 데이터를 입력합니다.
-
02
결과 예측
현재의 가중치와 편향을 기반으로 결과를 예측합니다.
-
03
오차 계산
예측 결과와 실제 결과의 차이를 계산합니다.
-
04
매개변수 조정
오차가 감소하도록 가중치와 편향을 조정합니다.
-
05
반복 학습
다양한 데이터를 반복적으로 학습하여 매개변수를 최적화합니다.
-
06
학습 완료
학습된 매개변수를 기반으로 새로운 입력에 대한 결과를 생성합니다.
모델사이즈란?
모델 규모는 보통 모델이 가진 전체 매개변수의 개수로 나타냅니다. B는 Billion의 약자로 10억 개의 매개변수를 의미합니다.
모델 성능은 모델 구조, 학습데이터의 품질, 학습 방법, 최적화 방식 등 다양한 요소에 의해 결정됩니다.
모델 사이즈에 따라 무엇이 달라질까요?
모델의 성능과 운영 비용은 매개변수 수뿐 아니라 학습 데이터, 모델 구조, 양자화 여부, 하드웨어 환경 등에 따라 달라집니다.
오픈웨이트란?
학습이 완료된 AI 모델의 가중치를 외부에서 사용할 수 있도록 공개한 형태입니다.
모델별 라이선스에 따라 상업적 이용, 수정, 재배포 가능 여부가 다릅니다.
오픈웨이트와 오픈소스의 차이
오픈에이트와 오픈소스는 비슷해 보이지만 의미가 다릅니다.
| 구분 | 오픈웨이트 (Open Weight) | 오픈소스 (Open Source) |
|---|---|---|
| 공개 대상 | 학습된 모델의 가중치 | 프로그램의 소스 코드 |
| 주요 목적 | 모델 실행 및 추가 조정 | 프로그램 확인·수정·재배포 |
| 학습 데이터 | 반드시 공개되지 않음 | 반드시 공개되지 않음 |
| 활용 범위 | 라이선스 범위 내에서 활용 | 오픈소스 라이선스 범위 내에서 활용 |
| 라이선스 | 모델별 라이선스 확인 필요 | 오픈소스 라이선스 적용 |
오픈웨이트는 학습된 모델의 가중치를 사용할 수 있도록 제공하는 방식입니다.
반면 오픈소스 AI는 모델을 사용하고 이해하며 수정하고 공유할 수 있도록 가중치, 필요한 코드, 학습 데이터에 관한 정보 등을 함께 제공하는 개념입니다.
매개변수를 이해하는 것은
AI 모델의 학습 원리와 특성을 이해하는 첫걸음입니다.
