논문 제목: TOFU: A Task of Fictitious Unlearning for LLMs
저자: Pratyush Maini et al. (Carnegie Mellon University)
학회/발표: ICLR 2024 / arXiv
Abstract (초록)
웹의 방대한 데이터를 학습하는 대형 언어 모델(LLM)은 필연적으로 민감한 개인정보를 암기하고 노출할 위험을 안고 있습니다. 이를 해결하기 위해 학습된 정보를 사후에 지우는 기계 망각(Machine Unlearning) 기술이 주목받고 있습니다. 하지만 현재의 언러닝 방법론들이 '애초에 그 데이터를 한 번도 학습하지 않은 모델'과 동일한 상태를 만들어내는지 명확히 평가하기는 어렵습니다.
이러한 한계를 극복하기 위해 본 논문은 TOFU(Task of Fictitious Unlearning)라는 새로운 벤치마크를 제안합니다. 연구진은 200명의 '가상 작가' 프로필로 구성된 합성 데이터셋을 구축하여 통제된 언러닝 환경을 만들고, 다양한 베이스라인 알고리즘을 평가했습니다. 놀랍게도, 기존의 어떤 방법론도 효과적인 언러닝에 성공하지 못했음을 밝혀내며 향후 연구의 필요성을 강력히 촉구합니다.
1. Introduction (서론)
최근 챗GPT 등 LLM의 발전과 함께 프라이버시 침해 우려가 커지면서(예: "해리 포터에 대한 정보를 지워줘", "내 주민등록번호를 지워줘"), 천문학적인 비용이 드는 '재학습(Retraining)' 대신 특정 지식만 제거하는 '언러닝(Unlearning)' 기술이 필요해졌습니다. 하지만 기존 언러닝 연구와 평가는 다음과 같은 문제점을 안고 있습니다.
- 생성형 모델에 부적합: 주로 분류(Classification) 모델에 맞춰져 있어 생성형 LLM에 바로 적용하기 어렵습니다.
- 비현실적인 목표: 해리 포터처럼 인터넷에 너무 많이 퍼진 데이터는 통제 및 완벽한 삭제가 사실상 불가능합니다. (실제 '잊힐 권리'를 행사하는 사람들은 학습 데이터에 한두 번 등장하는 평범한 개인일 확률이 높습니다.)
- 원칙 없는 평가: 모델이 "모릅니다"라고 대답한다고 해서 정말 모델 가중치(Weight)에서 지식이 지워진 것일까요?
TOFU는 세상에 존재하지 않는 가상의 데이터를 모델에 주입한 뒤 특정 데이터만 타겟팅하여 지우도록 함으로써, 이 세 가지 문제를 해결하는 명확한 평가 기준을 제시합니다.
2. New Task: Fictitious Author Question Answering
통제된 실험을 위해 연구진은 사전 학습(Pre-training) 데이터에 절대 존재할 수 없는 완벽한 가상의 지식을 만들어냈습니다.
2.1 The TOFU Dataset
- 가상 작가 생성: GPT-4를 활용하여 이름, 출생지, 장르, 책 이름 등이 모두 허구인 200명의 가상 작가 프로필을 생성했습니다. (각 작가당 20개의 Q&A 쌍)
- 이 데이터로 Base LLM(Llama-2, Phi-1.5)을 파인튜닝(Fine-tuning)하여 모델에게 작가들을 '암기'시킵니다.
- 언러닝 목표: 이 중 특정 비율(1%, 5%, 10%)의 작가를 Forget Set(지울 데이터)으로 설정하고 이를 지우도록 지시합니다. 나머지 90~99%는 Retain Set(유지할 데이터)이 됩니다.
2.2 Evaluation Metrics
기존에는 언러닝의 성공 여부를 단순히 모델이 "대답을 못 하는지(ROUGE나 Perplexity 저하)"로만 봤다면, TOFU는 이를 Model Utility(성능 유지)와 Forget Quality(망각 품질)라는 두 축으로 고도화했습니다.
- Forget Set: 지워야 하는 가상 작가 데이터 (타겟 데이터)
- Retain Set: 잊지 말고 유지해야 하는 나머지 가상 작가 데이터
- Real Authors: 지울 작가와 도메인이 비슷한 '실제' 작가 데이터 (지식 얽힘 확인용)
- World Facts: 언러닝과 전혀 무관한 일반 상식 (모델 붕괴 확인용)
1) Model Utility (모델 유용성)
- Probability (생성 확률): 모델이 정답을 생성할 확률입니다. 답변 길이에 영향을 받지 않도록 정규화($P(a|q)^{1/|a|}$)하여 계산합니다.
- ROUGE (-L Recall): 모델이 단순히 그리디(Greedy)하게 생성한 텍스트와 실제 정답 사이의 표면적 유사도를 측정합니다.
- Truth Ratio (진실/거짓 확률비): 모델이 특정 단어를 회피하도록만 얕게 조작되었는지 파악하는 지표입니다. '의미는 같지만 다르게 쓴 정답(Paraphrased, $\bar{a}$)'의 확률 대비 '일부러 틀리게 쓴 오답(Perturbed, $\hat{a}$)'들의 평균 확률 비율을 계산합니다.$$R_{truth} = \frac{\frac{1}{|\mathcal{A}_{pert}|} \sum_{\hat{a} \in \mathcal{A}_{pert}} P(\hat{a}|q)^{1/|\hat{a}|}}{P(\bar{a}|q)^{1/|\bar{a}|}}$$
Model Utility의 최종 계산: 위 3가지 데이터셋에 대한 3가지 지표(총 9개 값)의 조화평균(Harmonic Mean)으로 도출됩니다. 산술평균이 아닌 조화평균을 쓴 이유는, 9개 지표 중 단 하나라도 성능이 치명적으로 망가지면 전체 Utility 점수가 바닥을 치도록 엄격하게 페널티를 주기 위해서입니다.본 논문의 핵심 기여입니다. 완벽한 언러닝이란 "애초에 지울 데이터를 한 번도 본 적 없는 모델(Retain 모델)과 통계적/수학적으로 구별 불가능한 상태"를 의미합니다.
- 애초에 Forget Set을 배우지 않은 Retain 모델과 학습 후 억지로 지워낸 Unlearned 모델 각각에 대해 Forget Set 질문들의 Truth Ratio 누적 분포(CDF)를 구합니다.
- KS-Test 통계량($D_{n,m} = \sup_{x} |F_U(x) - F_R(x)|$)을 통해 두 분포가 유의미한 차이가 있는지 검정합니다.
- 도출된 p-value가 0.05 이상이어야 비로소 귀무가설을 채택하여 "두 모델을 통계적으로 구별할 수 없다(=완벽히 지워졌다)"고 판정합니다.
- 논문은 이를 증명하기 위해 분포 간의 통계적 차이를 검정하는 KS-Test(Kolmogorov-Smirnov Test)를 도입합니다.
- 2) Forget Quality (망각 품질) - 진짜 지워졌는가?
- 타겟 지식을 지우는 과정에서 '뇌 손상'이 발생하여 다른 지식까지 까먹으면 안 됩니다. 이를 평가하기 위해 Forget Set을 제외한 나머지 3개 데이터셋(Retain, Real, World)에 대해 다음 3가지 세부 지표를 측정합니다.
- 이 평가를 위해 총 4가지 그라데이션 데이터셋을 사용합니다:
3. Baseline Unlearning Methods
현재 학계에서 사용되는 4가지 주요 언러닝 기법을 테스트했습니다.
- Gradient Ascent (경사 상승법): Forget Set 데이터에 대해 Loss를 의도적으로 높여서(학습의 반대 방향) 예측을 망가뜨리는 직관적인 방법입니다.
- Gradient Difference (경사 차이법): Forget Set의 Loss는 높이고(망각), 동시에 Retain Set의 Loss는 낮춰서(기억 유지) 원래 지식의 손상을 막고자 하는 방법입니다.
- KL Minimization: 현재 모델이 Retain Set에 대해 예측하는 확률 분포가, 원래 파인튜닝된 모델의 분포와 멀어지지 않도록(KL Divergence 최소화) 유지하면서 Forget Set을 지우는 방법입니다.
- Preference Optimization (선호도 최적화): DPO(Direct Preference Optimization)와 유사하게, Forget Set에 대한 질문이 들어오면 "모릅니다" 혹은 "대답할 수 없습니다"라고 답하도록 모델을 정렬(Alignment)하는 방식입니다.
4. Baseline Results
결과는 충격적이게도 모든 기존 방법론의 실패였습니다.
- 실패한 망각 품질 (Achieving high forget quality is hard): 고작 1%의 데이터만 지우라고 시켰을 때조차, 어떤 알고리즘도 엄격한 통계적 검정(p-value 0.05 기준)을 통과하지 못했습니다. 즉, 모델 가중치를 뜯어보면 애초에 배우지 않은 모델과 억지로 지운 모델을 쉽게 구분할 수 있다는 뜻입니다.
- 성능과의 처참한 트레이드오프 (Unlearning comes with a trade-off): 5%나 10%의 데이터를 지우려고 시도하면 모델의 언어 능력이 심각하게 붕괴합니다.
- 지식의 얽힘 (Knowledge Entanglement): 특정 가상 작가를 지우려다 보니 비슷한 도메인의 '실제 작가'에 대한 지식 성능까지 덩달아 떨어졌습니다. 신경망 내에서 지식이 거미줄처럼 얽혀 있어, 특정 지식만 깔끔하게 도려내는 것이 사실상 불가능함이 입증되었습니다.
5. Discussion & Conclusion
TOFU가 시사하는 바 (What TOFU Misses & Conclusion) 이 논문은 현재의 LLM 언러닝 및 안전성 기술이 얼마나 걸음마 단계인지 적나라하게 보여줍니다.
논문은 LLM을 인간의 가치관에 맞추는 'AI 정렬(Alignment - RLHF, DPO 등)' 기술에 대해서도 묵직한 질문을 던집니다. 가상의 작가 하나 지우는 것도 이렇게 어려운데, LLM이 나쁜 말을 하지 못하도록 정렬하는 기술들은 과연 근본적인 '악한 지식'을 지운 것일까요? 실험 결과를 비추어 볼 때, 그저 특정 프롬프트가 들어왔을 때 표면적으로만 다르게 대답하도록 얕게 덮어둔(Overfitting) 것에 불과할 확률이 높습니다.
TOFU 벤치마크는 인공지능의 프라이버시 보호와 진정한 '잊힐 권리'를 구현하기 위해 향후 언러닝 연구가 나아가야 할 명확한 나침반 역할을 할 것입니다.