run 고정 및 비교

run이 많은 워크스페이스에서는 최고 성능 모델, 프로덕션 모델, 실패한 실험, 또는 중요한 기준점을 파악하고 추적하기가 어려울 수 있습니다. W&B App은 run을 정리하고 비교하는 데 도움이 되는 기능을 제공합니다.

고정된 run: 워크스페이스와 run 목록 상단에 계속 표시되도록 최대 6개의 run을 고정할 수 있습니다. 기준 run이 있는 경우 기준 run은 암묵적으로 고정되므로 최대 5개의 run만 고정할 수 있습니다.
기준 run: 비교를 위한 기준점으로 기준 run을 지정할 수 있습니다. 기준 run은 워크스페이스와 run 목록 상단에 항상 표시됩니다. runs 테이블에서는 요약 메트릭 델타를 통해 각 run이 기준 run과 비교해 어떤 차이가 있는지 보여줍니다. 선형 플롯에서는 기준 run이 비교하기 쉽도록 시각적으로 구분되는 스타일로 표시됩니다.

이 기능은 특히 다음과 같은 경우에 유용합니다.

새로운 실험을 프로덕션 모델과 비교할 때
실험 중 여러 후보 모델을 추적할 때
새 run이 최고 결과를 개선하는지 평가할 때

제한 사항을 참조하세요.

run 고정하기

최대 6개의 run을 고정해 Workspace 상단에서 쉽게 확인할 수 있습니다. 기준 run이 있는 경우에는 기준 run이 자동으로 고정되므로 최대 5개의 run만 고정할 수 있습니다. 고정된 run은 다른 run에 정렬이나 필터가 적용되어도 계속 표시됩니다. 고정된 run은 원형 핀 아이콘과 함께 run selector 상단에 표시되며, 시각적 구분선으로 다른 run과 구분됩니다. run을 고정하려면 다음과 같이 하세요.

Workspace로 이동합니다.
run selector 또는 runs table에서 고정하려는 run을 찾습니다.
액션 () 메뉴를 클릭한 다음 Pin run을 선택합니다.

run 고정을 해제하려면 핀 아이콘을 클릭하거나, run을 고정하는 절차를 따른 다음 run 고정 해제를 선택하세요.

기준 run 관리

워크스페이스에서 다른 run을 평가할 때 기준점으로 삼을 수 있도록, 하나의 run을 기준 run으로 지정할 수 있습니다. run 선택기와 runs 테이블에서는 기준 run이 고정된 run과 함께 맨 위에 표시되며, 핀 아이콘 대신 북마크 아이콘이 표시됩니다. 선형 플롯에서는 기준 run의 선이 다른 선보다 더 굵게 표시됩니다. 플롯이나 범례 위에 마우스를 올리면 기준 run의 선은 점선으로 표시됩니다.

기준 run 설정

기준 run을 설정하려면 다음 단계를 따르세요.

워크스페이스로 이동합니다.
run 선택기 또는 Runs 테이블에서 기준으로 사용할 run을 찾습니다.
액션 () 메뉴를 클릭한 다음 기준으로 설정을 선택합니다.

기준 run은 run 선택기 상단에 표시되며, 시각적 구분선으로 다른 run과 구분됩니다. 기준 run에는 원형 아이콘 대신 북마크 아이콘이 표시됩니다.

기준 run 변경하기

한 번에 기준 run은 하나만 지정할 수 있습니다. 기준 run을 변경하려면 다음과 같이 하세요:

워크스페이스로 이동합니다.
run 선택기 또는 runs 테이블에서 새 기준 run으로 사용할 run을 찾습니다.
액션 () 메뉴를 클릭한 다음 기준 run 바꾸기를 선택합니다.
메뉴 항목이 비활성화되어 있으면 사용 가능한 고정 슬롯이 하나 이상 있는지 확인하세요. 필요한 경우, 고정된 run 옆의 원형 핀 아이콘을 클릭해 고정을 해제하세요.
새 run이 기준 run이 되며, 이전 기준 run은 쉽게 찾을 수 있도록 자동으로 고정됩니다. 필요에 따라 핀 아이콘을 클릭해 고정을 해제할 수 있습니다.

기준 run 지정 해제

기준 run 지정을 해제하려면 다음을 수행하세요.

워크스페이스로 이동합니다.
run 선택기 또는 Runs 테이블에서 현재 기준 run을 찾습니다.
액션 () 메뉴를 클릭한 다음 기준 해제를 선택합니다.
메뉴 항목이 비활성화되어 있다면 사용 가능한 고정 슬롯이 하나 이상 있는지 확인하세요. 필요한 경우, 고정된 run 옆의 원형 핀 아이콘을 클릭해 고정을 해제하세요.
이전 기준 run은 쉽게 찾을 수 있도록 자동으로 고정됩니다. 필요에 따라 핀 아이콘을 클릭해 고정을 해제할 수 있습니다.

기준 run과 비교

기준 run은 해당 run이 로깅한 메트릭의 선형 플롯에 항상 표시됩니다. 선형 플롯에서는 기준 run의 선이 다른 선보다 더 굵게 표시됩니다.

플롯의 한 지점에 마우스를 올리면 기준 run과 고정된 run을 포함해 현재 표시되는 모든 Runs의 값이 담긴 툴팁이 표시됩니다.
기준 run의 범례 레이블에 마우스를 올리면 해당 선이 두드러지게 표시됩니다. 이 선은 굵은 점선으로 나타납니다. 현재 표시되는 다른 Runs의 선은 채도가 낮아져 보입니다.
다른 run의 범례 레이블에 마우스를 올리면 해당 run의 선이 두드러지게 표시되며, 굵은 점선으로 표시되는 기준 run과 비교할 수 있습니다. 현재 표시되는 다른 Runs의 선은 채도가 낮아져 보입니다.

요약 메트릭 델타

run을 베이스라인으로 설정하면, 기본적으로 기준 run과 동일한 요약 메트릭을 기록하는 다른 모든 run에 해당 메트릭의 베이스라인 대비 델타(변화량)가 표시됩니다. 델타는 Runs 테이블에서 해당 run 행의 메트릭 값 오른쪽에 나타납니다. 기본적으로 델타는 짙은 회색 배경에 짙은 회색 텍스트로 표시됩니다. 빠르게 시각적으로 확인할 수 있도록 시맨틱 컬러링을 사용하려면 열의 Metric directionality를 설정하면 됩니다. 방향성을 설정하면 다음과 같습니다.

다른 run이 베이스라인보다 더 좋은 성능을 보이면(설정된 방향 기준으로 더 좋으면), 델타는 연한 빨간색 배경에 짙은 빨간색 텍스트로 표시됩니다.
다른 run이 베이스라인보다 더 낮은 성능을 보이면(설정된 방향 기준으로 더 나쁘면), 델타는 연한 청록색 배경에 짙은 청록색 텍스트로 표시됩니다.

메트릭의 방향성을 설정하려면 다음과 같이 하세요.

Runs 테이블에서 해당 메트릭의 열 제목 위에 마우스를 올립니다.
나타나는 액션 () 메뉴를 클릭합니다.
Metric directionality를 Higher values are best 또는 Lower values are best로 설정합니다.

다음 스크린샷은 runs nanochat-train-base와 nanochat-train-mid를 기준 run nanochat-train과 비교한 모습입니다. TOTAL_TRAINING_TIME, TRAIN/DT, TRAIN/GRAD_NORM의 델타 메트릭이 표시됩니다.

워크스페이스에서 요약 메트릭 증감값 숨기기

기본적으로 기준 run이 있는 워크스페이스에는 요약 메트릭 증감값이 항상 표시됩니다. 워크스페이스에서 이를 숨기려면 다음과 같이 하세요.

워크스페이스에서 설정을 클릭합니다.
나타나는 사이드 패널에서 Runs를 클릭합니다.
Baseline 탭에서 runs table에 값 증감 표시를 끕니다.
워크스페이스 설정 사이드 패널을 닫습니다.

사용 사례

이 섹션에서는 고정한 run과 기준 run이 실험 방향을 잡는 데 어떻게 도움이 되는지 보여 주는 몇 가지 시나리오를 설명합니다.

프로덕션 모델 추적: 새 모델이 배포 전에 품질 기준을 충족하는지 확인합니다.
1. 프로덕션 모델을 기준 run으로 설정합니다.
2. 배포된 모델과 모든 실험을 비교해 프로덕션보다 성능이 더 좋은 후보를 파악합니다.
하이퍼파라미터 실험 비교: 가장 성능이 좋은 것으로 알려진 설정을 기준으로 하이퍼파라미터 스윕이나 수동 실험을 평가합니다.
1. 가장 성능이 좋은 것으로 알려진 설정을 기준 run으로 설정합니다.
2. 유망한 후보를 발견하면 고정합니다.
3. 선형 플롯을 사용해 기준 run과 다른 run을 시각적으로 비교합니다.
4. 더 나은 설정을 찾을 때마다 기준 run을 계속 업데이트합니다.

예제 워크플로

이 섹션에서는 고정한 run과 baseline run을 사용해 run을 비교하는 방법을 설명합니다.

일련의 run으로 하이퍼파라미터 튜닝 시나리오를 시뮬레이션하는 다음 예제 코드를 실행합니다. 꺾쇠괄호(<>)로 둘러싸인 플레이스홀더를 자신의 값으로 바꾸세요.

import wandb
import random
import math

def train_model(learning_rate, batch_size, run_name, tags=None):
    """Simulate training a model with given hyperparameters."""
    config = {
        "learning_rate": learning_rate,
        "batch_size": batch_size,
        "optimizer": "adam",
        "architecture": "resnet50"
    }
    
    with wandb.init(
      # 자신의 팀 및 프로젝트 이름으로 바꾸세요
        project="hyperparameter-tuning",
        entity="<team>",
        name=run_name,
        config=config,
        tags=tags or []
    ) as run:
        # 트레이닝 루프 시뮬레이션
        for epoch in range(50):
            # 시뮬레이션된 메트릭
            accuracy = 0.6 + 0.3 * (1 - math.exp(-learning_rate * epoch / 10))
            loss = 1.0 * math.exp(-learning_rate * epoch / 10)
            
            run.log({
                "epoch": epoch,
                "accuracy": accuracy,
                "loss": loss
            })

# 표준 설정으로 baseline run 생성
train_model(
    learning_rate=0.001,
    batch_size=64,
    run_name="baseline-config",
    tags=["baseline", "production"]
)

# 서로 다른 학습률로 실험
train_model(
    learning_rate=0.003,
    batch_size=64,
    run_name="lr-experiment-0.003",
    tags=["experiment"]
)

train_model(
    learning_rate=0.0001,
    batch_size=64,
    run_name="lr-experiment-0.0001",
    tags=["experiment"]
)

이 코드를 실행하면 워크스페이스에 run이 세 개 생성됩니다.

baseline-config를 baseline run으로 설정합니다.
baseline-config를 계속 표시되도록 고정합니다.
실험 run을 baseline과 비교합니다.

runs 테이블에서 각 run 값 옆에 표시되는 summary 메트릭 델타를 확인해 baseline과 비교합니다.
- 선형 플롯에서는 하나 이상의 run 성능을 baseline과 비교할 수 있으며, baseline은 항상 표시됩니다.

추가로 조사할 유망한 실험을 고정합니다. 이 예제에서는 50 에포크 후 lr-experiment-0.003이 가장 높은 정확도(~0.64)와 가장 낮은 loss(~0.86)를 보입니다.

제한 사항

다음 기능은 pinned run과 baseline run에 대해 아직 지원되지 않습니다.

Grouping: run을 볼 때 run selector 또는 runs table에서 열 기준으로 run을 그룹화하면, pinned run과 baseline run이 다른 run과 시각적으로 구분되지 않습니다.
Reports: W&B Report의 run set에서는 pinned run과 baseline run이 다른 run과 시각적으로 구분되지 않습니다.
Workspace view only: 단일 run의 워크스페이스를 볼 때는 baseline이 표시되지 않습니다.
Line plots only: baseline 비교는 선형 플롯에서만 사용할 수 있으며, 막대 플롯이나 미디어 패널 같은 다른 패널에서는 아직 지원되지 않습니다.

Guides

Integrations

Reference

run 고정하기