이 글의 목적은 Windows 10·Windows 11 환경에서 Hyper-V 및 가상화 기반 보안(VBS) 기능과 VMware Workstation/Player 간 충돌로 인해 가상 머신이 실행되지 않는 문제를 체계적으로 진단하고, 실제 현업 환경에서 재현 없이 바로 적용할 수 있는 해결 절차를 단계별로 정리하는 것이다.
1. Hyper-V와 VMware 충돌 증상 이해하기
Windows 10/11에서 Hyper-V, 가상화 기반 보안(VBS), 메모리 무결성, Device Guard, Credential Guard 등이 활성화된 상태에서 VMware Workstation 또는 VMware Player를 실행하면 다음과 같은 오류가 발생하는 경우가 많다.
- VMware 실행 시 “VMware Workstation and Device/Credential Guard are not compatible” 메시지가 표시된다.
- 가상 머신 전원이 켜지지 않고 바로 오류 대화상자가 뜬다.
- CPU 가상화(VT-x/AMD-V)를 사용할 수 없다는 경고가 나온다.
- 이전에 잘 실행되던 VM이 Windows 업데이트 이후 갑자기 실행 불가 상태가 된다.
이러한 증상 대부분은 “하드웨어 가상화 기능을 Hyper-V 계열 기능이 이미 점유하고 있어서 VMware가 사용할 수 없는 상태”에서 발생한다고 볼 수 있다.
2. 현재 가상화 및 Hyper-V 상태 점검하기
2.1 작업 관리자에서 가상화 사용 여부 확인
- 작업 표시줄에서 빈 공간을 마우스 오른쪽 버튼 클릭 후 “작업 관리자”를 연다.
- 상단 탭에서 “성능”을 클릭하고 왼쪽에서 “CPU”를 선택한다.
- 오른쪽 하단에 “가상화: 사용” 또는 “가상화: 사용 안 함” 상태를 확인한다.
BIOS/UEFI에서 가상화(VT-x/AMD-V)가 비활성화된 경우 “사용 안 함”으로 표시되므로, 이 경우에는 먼저 펌웨어 설정에서 가상화를 켜야 한다.
주의 : BIOS/UEFI에서 가상화를 비활성화하면 Hyper-V와 VMware 모두 정상 동작하지 않는다. Hyper-V 충돌을 해결하기 위해 BIOS에서 가상화를 끄는 것은 올바른 해결책이 아니며, Windows 기능에서 Hyper-V 및 VBS 계열 기능만 선택적으로 비활성화해야 한다.
2.2 시스템 정보(msinfo32)에서 VBS 상태 확인
- Win + R 키를 눌러 실행 창을 연다.
msinfo32를 입력하고 Enter를 누른다.- “시스템 정보” 창에서 다음 항목을 확인한다.
| 항목명 | 의미 | VMware 실행을 위한 권장 상태 |
|---|---|---|
| 하이퍼바이저가 실행 중 | Hyper-V 또는 VBS 기반 하이퍼바이저가 이미 시스템에서 동작 중임을 의미한다. | “예”인 경우 VMware와 충돌 가능성이 높으므로 비활성화 필요하다. |
| 가상화 기반 보안 서비스 실행 중 | VBS(Device Guard, Credential Guard 등)가 사용 중임을 의미한다. | “예”인 경우 VMware 오류 원인이 될 수 있으므로 해제하는 것이 좋다. |
| 필수 하드웨어 보안 기능 | 코어 격리, Secure Boot, TPM 등 시스템 보안 기능 지원 여부이다. | 지원 여부 자체는 문제 아니지만, VBS 활성화 여부와 함께 판단해야 한다. |
3. VMware와 충돌하는 Windows 기능 정리
VMware Workstation/Player와 충돌할 수 있는 Windows 기능을 한눈에 정리하면 다음과 같다.
| 구분 | 설명 | VMware 실행을 위해 권장 설정 |
|---|---|---|
| Hyper-V | Windows 기본 하이퍼바이저로, 가상 머신 플랫폼의 핵심이다. | 사용하지 않을 경우 “사용 안 함”으로 설정한다. |
| 가상 머신 플랫폼 | WSL2, 일부 에뮬레이션 기능이 이용하는 플랫폼 계층이다. | WSL2가 필요 없다면 비활성화하는 것이 좋다. |
| Windows Hypervisor Platform | 서드파티 가상화 솔루션도 활용할 수 있는 하이퍼바이저 API 계층이다. | VMware만 사용할 경우 일반적으로 비활성화 권장이다. |
| 가상화 기반 보안(VBS) | Device Guard, Credential Guard 등을 포함하는 보안 기능이다. | VMware 충돌 시 비활성화하는 것이 필요하다. |
| 코어 격리 - 메모리 무결성 | 커널 메모리를 보호하는 보안 기능으로, VBS 활성화와 연계된다. | VMware 오류 발생 시 “끔”으로 설정한다. |
4. Windows 기능에서 Hyper-V 및 관련 기능 비활성화
4.1 GUI로 Hyper-V 및 가상화 플랫폼 끄기
- Win 키를 눌러 “Windows 기능”을 검색하고 “Windows 기능 켜기/끄기”를 연다.
- 목록에서 다음 항목의 체크를 모두 해제한다.
- Hyper-V
- 가상 머신 플랫폼
- Windows Hypervisor Platform
- Windows 샌드박스(사용 중이라면)
- 확인을 클릭하면 재부팅을 요구하는 창이 뜨므로 “지금 다시 시작”을 선택한다.
재부팅 후 msinfo32를 다시 확인하여 “하이퍼바이저가 실행 중” 항목이 “아니요”로 바뀌었는지 확인한다.
주의 : WSL2(Windows Subsystem for Linux 2)를 사용하는 경우, Hyper-V 및 가상 머신 플랫폼을 비활성화하면 WSL2가 동작하지 않고 WSL1로만 사용할 수 있다. VMware 우선인지 WSL2 우선인지 정책을 먼저 정한 뒤 설정을 변경해야 한다.
4.2 명령줄로 Hyper-V 완전 비활성화
GUI에서 체크를 해제했음에도 여전히 하이퍼바이저가 올라오는 경우, 부트 구성에서 Hyper-V를 강제로 비활성화할 수 있다.
- 시작 메뉴에서 “명령 프롬프트(관리자)” 또는 “Windows PowerShell(관리자)”를 실행한다.
- 아래 명령을 입력하고 Enter를 눌러 Hyper-V 부트 항목을 제거한다.
bcdedit /set hypervisorlaunchtype off - 시스템을 재부팅한다.
이 설정으로 Windows 부팅 시 Hyper-V 하이퍼바이저가 더 이상 로드되지 않게 된다.
5. 가상화 기반 보안(VBS) 및 메모리 무결성 해제
5.1 Windows 보안에서 코어 격리 - 메모리 무결성 끄기
- Win 키를 누르고 “Windows 보안”을 검색해 실행한다.
- 왼쪽 메뉴에서 “장치 보안”을 선택한다.
- “코어 격리 세부 정보”를 클릭한다.
- “메모리 무결성” 스위치를 “끔”으로 전환한다.
- 시스템 재부팅을 진행한다.
메모리 무결성을 끄면 일부 드라이버 호환성 문제가 해결되면서 VBS도 비활성화되는 경우가 많다.
5.2 그룹 정책 또는 레지스트리를 통한 Device Guard/Credential Guard 해제(필요 시)
엔터프라이즈 환경에서 도메인 정책으로 Device Guard 또는 Credential Guard가 강제 활성화된 경우, VMware 오류가 지속될 수 있다. 이 경우에는 로컬 설정으로 해결하기 어렵고, 조직 IT 정책에 따라 조정해야 한다.
주의 : 회사 보안 정책으로 VBS가 강제 적용된 PC에서 임의로 정책을 수정하거나 레지스트리를 변경하는 것은 보안 위반이 될 수 있다. 이 경우 반드시 IT 관리자 또는 보안 담당자와 협의 후 조치해야 한다.
6. BIOS/UEFI에서 하드웨어 가상화 재확인
Hyper-V 및 VBS 기능을 비활성화한 뒤에도 VMware에서 “Intel VT-x is not available” 또는 “AMD-V is not supported”와 같은 오류가 뜨면 BIOS/UEFI 설정을 다시 확인해야 한다.
- PC 재부팅 후 제조사 로고가 뜰 때 Del, F2, F10 등 각 메인보드에 맞는 설정 진입 키를 눌러 UEFI 설정 화면에 진입한다.
- CPU 관련 메뉴에서 다음 항목을 찾는다.
- Intel Virtualization Technology, VT-x
- AMD SVM, SVM Mode
- 해당 항목이 “Enabled” 또는 “사용”으로 설정되어 있는지 확인한다.
- 설정을 저장(Save & Exit)하고 Windows로 부팅한다.
주의 : 일부 메이커 PC는 출고 시 가상화 기능이 꺼져 있는 경우가 있다. 새 PC에 VMware를 설치했는데 처음부터 가상 머신이 동작하지 않는 경우, OS 설정보다 BIOS/UEFI의 가상화 옵션을 먼저 점검하는 것이 효율적이다.
7. VMware Workstation/Player 측 점검 항목
7.1 VMware 최신 버전으로 업데이트
Windows 11, 최신 Windows 10 빌드에서는 구버전 VMware Workstation/Player가 Hyper-V 및 VBS가 부분적으로 남아 있는 환경에서 더 민감하게 충돌을 일으키는 경우가 있다. 제조사에서 제공하는 최신 버전으로 업데이트하면 호환성이 개선되는 경우가 많다.
- VMware Workstation Pro/Player 메뉴에서 “Help → Software Updates” 기능을 이용한다.
- 또는 공식 웹사이트에서 최신 설치 파일을 다시 내려받아 덮어쓰기 설치를 수행한다.
7.2 기존 VM 설정의 가상화 옵션 확인
Hyper-V와의 충돌을 제거한 후에도 특정 VM이 부팅 오류를 내면, 해당 VM의 CPU 가상화 옵션을 확인해야 한다.
- VMware에서 문제가 발생한 가상 머신을 선택한다.
- “Edit virtual machine settings”를 클릭한다.
- “Processors” 탭에서 “Virtualize Intel VT-x/EPT or AMD-V/RVI” 등의 옵션이 적절하게 설정되어 있는지 확인한다.
- 불필요하게 복잡한 가상화 옵션이 켜져 있다면 기본값으로 되돌린 후 다시 시도한다.
8. WSL2와 VMware를 병행해야 할 때 선택지
Windows 11 환경에서 WSL2와 VMware를 동시에 쓰고 싶어하는 경우가 많다. 그러나 Hyper-V 기반인 WSL2와 VMware는 구조적으로 완전한 동시 사용이 어려운 경우가 많다. 대표적인 선택지는 다음과 같다.
| 운영 전략 | 설명 | 장점 | 단점 |
|---|---|---|---|
| VMware 우선 | Hyper-V, VBS, WSL2를 모두 끄고 VMware만 사용하는 방식이다. | VMware 성능과 호환성 확보가 쉽다. | WSL2 기능을 사용할 수 없고, WSL1만 가능하다. |
| Hyper-V 우선 | Hyper-V 기반 가상 머신과 WSL2를 사용하고 VMware는 포기한다. | Windows 네이티브 가상화 및 컨테이너 환경을 활용할 수 있다. | 기존 VMware 기반 업무 또는 이미지 재활용이 어렵다. |
| 듀얼 부트 구성 | 한 파티션에는 Hyper-V/WSL2 중심 환경, 다른 파티션에는 VMware 전용 환경을 구축한다. | 서로 다른 용도의 환경을 완전히 분리할 수 있다. | 운영 복잡도 증가, 디스크 파티션 관리가 필요하다. |
9. 단계별 종합 해결 절차 정리
실무에서 바로 쓸 수 있도록 Hyper-V–VMware 충돌 해결 절차를 단계별로 요약하면 다음과 같다.
- 증상 확인
- VMware 실행 시 오류 메시지 내용 캡처 또는 기록한다.
msinfo32에서 “하이퍼바이저가 실행 중” 여부를 확인한다.
- Windows 기능 정리
- Windows 기능 켜기/끄기에서 Hyper-V, 가상 머신 플랫폼, Windows Hypervisor Platform 체크를 모두 해제한다.
- 필요 시
bcdedit /set hypervisorlaunchtype off로 부트에서 Hyper-V를 완전히 끈다.
- 보안 기능 조정
- Windows 보안 → 장치 보안 → 코어 격리에서 메모리 무결성을 끈다.
- 엔터프라이즈 환경이면 Device Guard/Credential Guard 정책을 IT 부서와 협의하여 조정한다.
- BIOS/UEFI 가상화 확인
- Intel VT-x 또는 AMD SVM 기능이 “Enabled” 상태인지 확인한다.
- VMware 재시도
- VMware Workstation/Player를 최신 버전으로 업데이트한다.
- 문제가 있던 VM을 다시 실행하여 정상 동작 여부를 확인한다.
주의 : Hyper-V와 VMware를 동시에 완벽히 사용하는 것은 구조적으로 어렵다. 특히 Windows 11에서 보안 기능이 강화되면서 VBS가 자동 활성화되는 경우가 많으므로, “어떤 가상화 스택을 중심으로 운영할지”를 먼저 결정한 뒤 설정을 통일하는 것이 장기적으로 문제를 줄이는 방법이다.
FAQ
Q1. Hyper-V를 끄면 WSL2를 절대 사용할 수 없는가?
Hyper-V 및 가상 머신 플랫폼을 비활성화하면 WSL2는 사용할 수 없게 된다. 다만 WSL1은 Hyper-V 없이 동작하므로, 단순한 리눅스 쉘 환경만 필요하다면 WSL1으로 전환하여 사용할 수 있다. WSL2의 파일 시스템/네트워크 호환성이 꼭 필요하다면 VMware 대신 Hyper-V/WSL2 중심 환경을 선택해야 한다.
Q2. Hyper-V와 VMware를 번갈아가며 사용할 수 있는 방법이 있는가?
bcdedit 명령을 이용해 부팅 시점에 Hyper-V를 켜고 끄는 스크립트를 구성해, 재부팅을 전제로 “Hyper-V 모드”와 “VMware 모드”를 번갈아 사용할 수 있다. 그러나 매번 재부팅이 필요하고 관리 복잡도가 높아 실무에서는 권장되지 않는다. 대부분의 경우 한쪽 스택을 표준으로 정하고 다른 쪽은 보조 환경으로만 사용하는 것이 좋다.
Q3. Hyper-V를 끈 후에도 VMware에서 VT-x 사용 불가 오류가 계속 뜬다.
이 경우 BIOS/UEFI에서 가상화 옵션이 비활성화되어 있을 가능성이 크다. Intel CPU는 “Intel Virtualization Technology” 또는 “VT-x”, AMD CPU는 “SVM Mode” 또는 유사한 이름으로 표기된 항목이 “Enabled”로 설정되어 있는지 확인해야 한다. 또한 일부 보안 프로그램이나 OEM 유틸리티가 VBS를 다시 켜는 경우도 있으므로, Windows 보안의 메모리 무결성 설정도 다시 확인해야 한다.
Q4. 회사 PC에서 IT 정책 때문에 VBS를 끌 수 없다면 VMware를 포기해야 하나?
엔터프라이즈 보안 정책이 VBS를 강제하는 환경에서는 로컬 사용자가 임의로 Hyper-V/VBS를 끄는 것이 제한되는 경우가 많다. 이때는 IT 부서에 정식으로 VMware 사용 목적과 필요성을 설명하고, 별도의 테스트용 PC나 정책 예외를 요청하는 것이 현실적인 해결책이다. 규정 위반 상태에서 임의로 레지스트리를 수정하는 것은 권장하지 않는다.
Q5. VirtualBox도 Hyper-V와 충돌하는가?
VirtualBox 또한 하드웨어 가상화 기능을 직접 사용하기 때문에 Hyper-V, VBS와 충돌할 수 있다. 최신 버전 VirtualBox는 Hyper-V 위에서 동작하는 모드를 지원하지만, 성능과 안정성이 떨어질 수 있다. 안정적인 개발·테스트 환경이 필요하다면 Hyper-V 계열 기능을 끄고 VirtualBox 또는 VMware 중 하나를 중심으로 운영하는 것이 좋다.