제조업 MLSecOps·ML Pipeline Security·AI Model Supply Chain 실무 완벽 가이드 — Hugging Face 악성 모델 100+에서 모델 서명·AIBOM까지 5단계 로드맵

1. 왜 MLSecOps가 AI 시대의 DevSecOps인가

2022.11 ChatGPT 이후 — 모든 K-기업이 AI 도입 가속. Stanford AI Index 2024: 기업 AI 도입율 74%(2023 50% → 2024 74%)·매출 영향 평균 +20%. 그러나 — ML 파이프라인 보안은 DevSecOps의 5년 전 수준·표준·도구·인력 모두 부족.

대표 사고:

Hugging Face 100+ 악성 모델(2024.2): pickle·exec()·임의 코드 실행
JFrog ml.disney.ml 자격증명 노출(2024): 1,000+ 의존성
PyTorch Nightly 침해(2022.12): torchtriton 의존성 공격
Ultralytics YOLO 침해(2024.12): 다중 버전·crypto miner
TensorFlow Bing Anomaly(2024)
LangChain CVE-2023-29374: SSRF·다수
CVE-2024 Pickle Bomb: 다중
OpenAI Redis Bug(2023.3): 사용자 대화 노출
Samsung ChatGPT(2023.3·블로그 별도): 직원이 소스코드 입력

MLSecOps(2022~) = ML + Security + Operations:

DevSecOps × MLOps × AI Security
데이터·모델·파이프라인 전 영역
AI Agent(블로그 별도)·LLM(블로그 별도)·전통 ML 모두

오해 1 — “AI는 새 기술·표준 없음.” NIST AI RMF·AI 600-1·100-2·ISO 42001·MITRE ATLAS 모두 있음. 오해 2 — “MLOps 도구 = MLSecOps.” 보안 — 별도·도구 + 프로세스. 오해 3 — “Public 모델은 안전.” Hugging Face·PyTorch — 매주 악성 모델 발견.

압박:

EU AI Act(2024.8·블로그 별도): 고위험·SBOM·평가·문서
NIST AI RMF·AI 600-1 GenAI Profile(블로그 별도)
NIST AI 100-2 Adversarial ML(2024.1): 4 카테고리
NIST SP 800-218A SSDF for GenAI(2024.10)
ISO/IEC 42001 AI Mgmt(블로그 별도)
OWASP LLM Top 10·Agentic Top 10·ML Top 10(블로그 별도)
MITRE ATLAS(블로그 LLM)
EU CRA(블로그 별도): 디지털제품
한국 K-AI 가이드라인(2023~)
금융위 AI 가이드라인(금융권)

2. NIST AI 100-2 Adversarial ML

NIST AI 100-2(Adversarial Machine Learning·2024.1·v2 진행):

4 카테고리 + 다중 Sub-attacks:

1. Evasion(추론 시 회피):

Adversarial Examples
도구: CleverHans·Foolbox·ART(Adversarial Robustness Toolbox)·TextAttack·PyTorch Adversarial

2. Poisoning(학습 시 오염):

Data Poisoning
Backdoor·Trojan
Label Flipping
BadNets·BadEncoder
도구: AID·Apollon·자체

3. Privacy(데이터 추출):

Membership Inference
Model Inversion
Attribute Inference
Property Inference
Model Extraction(Stealing)
도구: ML-Privacy-Meter·ML-Doctor

4. Abuse(LLM·GenAI):

Direct·Indirect Prompt Injection
Jailbreaking
Hallucination
Multi-modal Attacks(블로그 LLM)

MITRE ATLAS(블로그 LLM·2020~): 14 Tactics·100+ Techniques — AI 공격 ATT&CK.

3. AI Model Supply Chain 위협

Model File Format 위협:

포맷	위험
Pickle(.pkl·.pt·.pth)	exec() — 임의 코드·매우 위험
SafeTensors(Hugging Face 2023)	안전·권장
ONNX(.onnx)	일부 — Custom Ops 위험
TensorFlow SavedModel(.pb)	Layer·Lambda 위험
GGUF(LLM·llama.cpp)	비교적 안전
GGML(deprecated)	위험
HDF5(Keras·.h5)	Custom Layer 위험

Hugging Face 사고(2024.2~):

100+ 악성 모델 — pickle exec·crypto miner·역방향 셸·자격증명 도용
JFrog 발견: ml.disney.ml leak·다중
Protect AI: Karkinos Detection·악성 모델 식별

Model Supply Chain Threats:

Pretrained Model Backdoor: 가짜 가중치
Model Format Exploit: pickle·deserialization
Dependency Confusion: PyPI·npm 형
Compromised Hub: HF·PyTorch·TF Hub
Quantization Attack: 최적화 중 백도어
Federated Learning Poison: 협력 학습 오염

도구:

ModelScan(Protect AI): 모델 스캔·악성 코드
Picklescan(MMend): pickle 분석
HiddenLayer Model Scanner: 종합
Lakera Guard: LLM·Agent
Robust Intelligence(Cisco 2024.8): RAI 평가
NB Defense(Protect AI): Jupyter 노트북

4. AIBOM·Model Cards·Datasheets

AIBOM(AI Bill of Materials):

CycloneDX 1.6(2024.4): 첫 AIBOM 지원
SPDX 3.0 AI 작업 중
모델·데이터·평가·사용처

Model Cards(Google 2018·Margaret Mitchell 등):

모델 정보·의도·성능·편견·제한
Hugging Face 표준 사실상

Datasheets for Datasets(Gebru 2018):

데이터 출처·구성·처리·라벨링
학습 데이터 투명성

Model Provenance:

출처·서명·검증
Sigstore for Models(2024 진행): Cosign 모델·Rekor 투명 로그
SafeTensors + Sigstore(권장)
ONNX + Sigstore

Model Signing:

모델 파일 서명
출처·무결성 검증
도구: Cosign·HSM(블로그 HSM)

5. Stage 1 — ML 자산·정책·도구 (1~3개월)

ML Inventory:

사용 중 모델 — 자체·외부·SaaS
데이터셋·라이선스
의존성(PyTorch·TF·HF·LangChain 등)
배포 환경(Cloud·Edge·온프렘)

Shadow ML Discovery:

직원 Auto-GPT·Custom GPT·Cursor·Copilot·로컬 LLM
도구: Wing Security·Reco·Adaptive Shield·Push Security AI

Risk Assessment:

NIST AI 100-2 4 카테고리
MITRE ATLAS 매핑
OWASP LLM Top 10·ML Top 10
EU AI Act 분류(고위험·금지)

MLSecOps Policy:

모델 검증 의무
SafeTensors 우선·pickle 차단
AIBOM 의무
외부 모델 사용 절차

도구 선택:

상용: Protect AI·HiddenLayer·Lakera·Robust Intelligence
OSS: ModelScan·Picklescan·OWASP AI Security and Privacy Guide
MLOps + Security: Databricks·Vertex AI Pipelines·SageMaker

6. Stage 2 — Data·Training Pipeline (3~6개월)

Data Pipeline Security:

데이터 출처·라이선스(블로그 SCA)
Datasheets for Datasets 의무
라벨링·전처리·증강 — 위험
도구: DVC·Pachyderm·Weights & Biases

Data Poisoning 방어:

학습 데이터 — 신뢰 출처
Anomaly Detection
Robust Training(Adversarial Training)
도구: ART·CleverHans·DeepXplore

Federated Learning Security(블로그 PETs):

Cross-silo·Cross-device
Robust Aggregation·FoolsGold
Differential Privacy
도구: NVIDIA FLARE·Flower·FATE·OpenFL

Confidential Computing for ML(블로그 HW):

Intel TDX·AMD SEV-SNP·NVIDIA H100 CC
학습 데이터·모델 격리
도구: Azure Confidential AI·AWS Nitro·Apple PCC

MLOps Platform:

MLflow(Databricks·OSS)
Kubeflow(K8s 네이티브)
SageMaker(AWS)
Vertex AI(GCP)
Azure ML
Databricks Unity Catalog: 거버넌스

Training Reproducibility:

Git·DVC·MLflow
Container·정확한 환경
시드·하이퍼파라미터 기록

7. Stage 3 — Model Security·Deployment (3~6개월)

Pretrained Model 검증:

ModelScan·Picklescan·HiddenLayer: 자동 스캔
신뢰 Hub만 사용
Hash·서명 검증

Model Signing·Provenance:

Sigstore for Models·Cosign
SafeTensors 우선
Rekor 투명 로그

Adversarial Testing(블로그 별도):

PyRIT(Microsoft 2024.2)·Garak(NVIDIA)·Promptfoo·Lakera
정기 Red Team
MITRE ATLAS 시나리오

Robust Inference:

Input Validation
Output Sanitization
Anomaly Detection
도구: NeMo Guardrails·Guardrails.ai·Llama Guard·AWS Bedrock Guardrails(블로그 LLM)

Model Deployment:

Container·K8s(블로그 K8s)
Serverless(Lambda·Functions)
Edge(블로그 IoT)
Confidential VM

Access Control(블로그 IAM):

API Auth·OAuth·mTLS
Rate Limit·Quota
IP Allowlist

Monitoring:

모델 성능·드리프트
Adversarial 탐지
도구: Arize·Fiddler·WhyLabs·Evidently·Helicone·Langfuse(블로그 LLM)

8. Stage 4 — AIBOM·Governance·Compliance (지속)

AIBOM 생성:

CycloneDX 1.6
모델·데이터·평가·메타데이터
도구: 자체·CycloneDX CLI

Model Cards·Datasheets:

의무화·표준화
의도·편견·제한·평가
Hugging Face·자체 Hub

Evaluation·Benchmarking:

HELM(Stanford)·MMLU·HellaSwag·TruthfulQA·MT-Bench·AlpacaEval·Korean LLM Leaderboard
정확성·안전성·견고성·편견
도구: LM Evaluation Harness·BIG-bench

Adversarial Robustness:

ART·CleverHans·Foolbox 정기
도구: Robust Intelligence·HiddenLayer

Privacy Testing(블로그 PETs):

ML-Privacy-Meter·ML-Doctor
Membership·Model Inversion
Differential Privacy 검증

Compliance Mapping:

EU AI Act(고위험·금지·GPAI)
NIST AI RMF·600-1·100-2
NIST SP 800-218A SSDF for GenAI(2024.10)
ISO/IEC 42001(블로그 별도)
OWASP LLM Top 10·ML Top 10·Agentic Top 10
한국 K-AI 가이드라인·금융위 AI

거버넌스:

AI Council(블로그 LLM·Agent)
AI Risk Officer·AI Trust Officer
분기 위원회·이사회

9. Stage 5 — 자동화·AI Red Team·고도화 (지속)

MLSecOps Pipeline:

Git → Data Validation → Model Train → Scan → Sign → Deploy → Monitor
CI/CD 통합·자동화
도구: GitHub Actions·GitLab CI·Argo·Tekton

Continuous Eval:

매일·매주·매월
성능·안전·편견·견고성
도구: 자체·Helicone·Langfuse·Promptfoo

AI Red Team(블로그 LLM·Agent):

분기·외부·전문
도구: PyRIT·Garak·Promptfoo·Robust Intelligence·HiddenLayer

Model Drift·Decay:

성능 저하·재학습
자동 알람·승인

Multi-modal Security(블로그 LLM):

이미지·오디오·동영상·텍스트
모든 모달리티 보안

고도화 트렌드:

AI for ML Security: LLM 기반 자동 분석·Robust Intelligence·Lakera AI
Quantum-resistant ML(블로그 PQC): 2030~
Federated + Confidential + DP 결합(블로그 PETs)
AIBOM 표준화: CycloneDX·SPDX·OSCAL(블로그 GRC)
K-AI 인증: 한국형 AI 인증·신뢰
AI Agent Security(블로그 별도): MLSecOps + Agent

컴플라이언스 매핑:

EU AI Act·CRA·NIS2·GDPR·Data Act(블로그 별도)
NIST AI RMF·600-1·100-2·SP 800-218A·800-218
ISO/IEC 42001·23894·24028·5469
OWASP LLM·Agentic·ML Top 10·MITRE ATLAS
한국 K-AI·금융위 AI·개인정보보호법
미 EO 14110·Voluntary AI Commitments

10. 비용·ROI

항목	비용 (연간)
MLOps Platform(MLflow OSS·Databricks·Vertex AI·SageMaker)	1~30억
Model Scan(ModelScan OSS·Protect AI·HiddenLayer)	1~10억
Adversarial Test(PyRIT OSS·Garak·Robust Intelligence·HiddenLayer)	1~10억
Guardrails(NeMo·Lakera·Guardrails.ai)	1~10억
Confidential Computing for ML	5~50억
Eval(HELM OSS·MT-Bench·자체)	0 + 인력
인력(MLSecOps 1~5명)	2~25억
ISO/IEC 42001 인증·KISA AI	5천~3억
합계 (중견 K-기업)	11~150억

ROI:

Hugging Face 100+ 형 사고 회피
Samsung ChatGPT 형 영업비밀 노출 회피
Air Canada 형 손해배상 회피
EU AI Act 위반 — 매출 7% 또는 €35M
사이버보험 — AI 통제 시 10~15% 할인
직원 AI 생산성 +30~50%
K-기업 AI 신뢰·글로벌 경쟁력

11. 자가 점검

자산·정책:

ML Inventory·Shadow ML Discovery
Risk Assessment(NIST AI 100-2·MITRE ATLAS·OWASP LLM·ML·Agentic Top 10)
MLSecOps Policy·SafeTensors 우선·pickle 차단
AI Council·AI Risk Officer

Data·Training:

Data Provenance·Datasheets
Data Poisoning 방어(ART·Robust Training)
Federated Learning Security(NVIDIA FLARE)
Confidential Computing for ML(Intel TDX·AMD SEV-SNP·H100 CC·Apple PCC)
MLOps Platform(MLflow·Kubeflow·SageMaker·Vertex·Azure ML·Databricks)
Training Reproducibility

Model·Deployment:

ModelScan·Picklescan·HiddenLayer 자동 스캔
Sigstore for Models·Cosign·SafeTensors
Adversarial Testing(PyRIT·Garak·Promptfoo)
Robust Inference·Guardrails
Container·K8s·Confidential VM·Edge
Access Control·Monitoring(Arize·Fiddler·WhyLabs·Evidently)

AIBOM·Governance·Compliance:

AIBOM(CycloneDX 1.6)
Model Cards·Datasheets
HELM·MMLU·Korean LLM Leaderboard Eval
Adversarial Robustness·Privacy Testing
EU AI Act·NIST AI RMF·600-1·100-2·SP 800-218A·ISO 42001 매핑
OWASP LLM·ML·Agentic·MITRE ATLAS

고도화·미래:

MLSecOps Pipeline·CI/CD
Continuous Eval(매일·매주·매월)
AI Red Team 분기
Model Drift·자동 재학습
Multi-modal Security
AI for ML Security·Quantum-resistant·Federated + Confidential
K-AI 인증·글로벌

12. 마무리 — DevSecOps 5년 전 → MLSecOps 표준화

MLSecOps·ML Pipeline Security·AI Model Supply Chain은 ① 자산·정책·도구, ② Data·Training Pipeline, ③ Model Security·Deployment, ④ AIBOM·Governance·Compliance, ⑤ 자동화·AI Red Team·고도화 — 5단계로 정착시킨다. Hugging Face 100+ 악성 모델·JFrog ml.disney.ml·PyTorch Nightly·Ultralytics YOLO가 가르치는 진실: AI 공급망은 가장 약한 사슬이다. SafeTensors + Sigstore for Models + ModelScan + AIBOM + Adversarial Testing의 통합 운영체가 2025년 표준이고, Federated + Confidential Computing + PQC + AI Agent MLSecOps가 2030년 도전이다. K-기업 AI 신뢰 = MLSecOps다.