인코더 선택과 설정: 스트리밍 화질의 심장

스트리밍을 시작할 때 OBS Studio의 기본 설정으로도 무리 없이 송출할 수 있습니다. 하지만 시청자에게 더 나은 경험을 제공하고 싶거나, 특정 환경에서 성능 문제를 겪고 있다면, '고급 설정' 탭은 단순한 체크박스 모음이 아닙니다. 이 곳은 여러분의 스트리밍 잠재력을 최대한 끌어올리고, 송출 품질과 시스템 성능 사이의 미묘한 균형점을 찾아낼 수 있는 핵심 공간입니다.

많은 스트리머가 "게임은 부드럽게 돌아가는데 송출 화면은 왜 끊길까?", "화면은 선명한데 시청자들은 버퍼링을 겪는다고 할까?"와 같은 딜레마에 부딪힙니다. 이는 대부분 OBS 고급 설정에서 인코더, 비트레이트, 프레임률, 그리고 기타 세부 옵션들이 시스템 사양이나 인터넷 환경과 제대로 조율되지 않았기 때문입니다. 이 가이드는 여러분이 OBS 고급 설정을 이해하고, 여러분의 고유한 환경에 맞춰 최적의 송출 환경을 구축하는 데 실질적인 도움을 줄 것입니다.

인코더 선택과 설정: 스트리밍 화질의 심장

OBS에서 스트리밍 품질과 시스템 성능에 가장 큰 영향을 미치는 요소 중 하나는 바로 '인코더'입니다. 인코더는 여러분의 게임 화면이나 웹캠 영상을 실시간으로 압축하여 시청자에게 전송 가능한 데이터 스트림으로 변환하는 역할을 합니다. 어떤 인코더를 선택하고 어떻게 설정하느냐에 따라 CPU 점유율, 화질, 심지어 인터넷 대역폭 사용량까지 크게 달라집니다.

OBS의 출력 모드를 '고급'으로 설정하면 다양한 인코더 옵션을 볼 수 있습니다. 크게 두 가지 계열로 나뉩니다.

1. 소프트웨어 (x264) 인코더

이 인코더는 시스템의 CPU를 사용하여 영상을 인코딩합니다. CPU 자원을 많이 사용하지만, 일반적으로 하드웨어 인코더보다 더 좋은 화질 대 비트레이트 효율을 제공합니다. 즉, 동일한 비트레이트에서 더 선명하고 디테일한 화면을 보여줄 수 있습니다.

• 언제 사용할까? CPU 코어 수가 많고(예: 8코어 이상), 게임이 CPU 사용량이 높지 않아 CPU 자원 여유가 충분할 때. 특히 고품질의 움직임이 적은 화면(예: 전략 게임, 그림 그리기, 토크 방송)에서 빛을 발합니다.
• 주요 설정:
  • CPU 사용량 사전 설정 (CPU Usage Preset): 이 설정은 인코딩 속도와 화질 사이의 트레이드오프를 결정합니다. 'faster'는 더 낮은 CPU 사용량으로 빠르게 인코딩하지만 화질이 떨어지고, 'slow' 또는 'slower'는 CPU 사용량이 높지만 더 좋은 화질을 제공합니다.
    • 권장: 대부분의 게이밍 환경에서는 'Veryfast' 또는 'Faster'로 시작하여 시스템 여유를 보면서 'Fast' 정도로 올려보는 것을 추천합니다. 'Medium' 이상은 보통 투컴 방송이나 고성능 CPU를 사용하는 경우에 고려합니다.
  • 프로파일 (Profile): 'high'를 선택하는 것이 좋습니다. 특별한 호환성 문제가 아니라면 기본적으로 'high'를 유지합니다.
  • 튠 (Tune): 'film' (영화), 'animation' (애니메이션) 등 콘텐츠에 따라 최적화된 설정을 적용할 수 있습니다. 일반적인 게임 스트리밍에서는 'zerolatency' (낮은 지연) 또는 'none'으로 두는 경우가 많습니다.

2. 하드웨어 인코더 (NVIDIA NVENC, AMD AMF)

이 인코더들은 그래픽 카드(GPU)에 내장된 전용 칩을 사용하여 영상을 인코딩합니다. CPU 부담을 덜어주어 게임 성능 저하를 최소화할 수 있다는 강력한 장점이 있습니다.

• 언제 사용할까? CPU 자원이 부족하거나, 고사양 게임을 스트리밍하여 CPU가 이미 과부하 상태일 때. 또는 한 컴퓨터에서 게임과 스트리밍을 동시에 처리해야 할 때 가장 좋은 선택입니다.
• 주요 설정 (NVIDIA NVENC H.264 기준):
  • 레이트 제어 (Rate Control):
    • CBR (Constant Bitrate): 가장 일반적이고 권장되는 설정입니다. 지정된 비트레이트를 항상 유지하려 노력하여 안정적인 송출에 유리합니다. 스트리밍 플랫폼에서 요구하는 방식입니다.
    • VBR (Variable Bitrate): 화면 변화가 적을 때 비트레이트를 낮추고, 변화가 많을 때 높여서 효율을 높입니다. 녹화에는 좋지만, 스트리밍에서는 예측 불가능한 비트레이트 변화로 문제가 생길 수 있어 권장하지 않습니다.
  • 비트레이트 (Bitrate): 인터넷 업로드 속도와 송출 플랫폼의 권장 사항을 고려하여 설정합니다. 이 값이 높을수록 화질은 좋아지지만, 시청자의 인터넷 환경과 여러분의 업로드 속도에 부담을 줍니다.
    • 일반적 권장: 1080p 60fps 스트리밍의 경우 4500kbps ~ 6000kbps (트위치), 8000kbps 이상 (유튜브). 송출 플랫폼 가이드를 꼭 확인하세요.
  • 키프레임 간격 (Keyframe Interval): 2초로 설정하는 것이 일반적입니다. 송출 플랫폼에서도 2초를 권장합니다. (예: Twitch, YouTube)
  • 사전 설정 (Preset): 'Max Quality' 또는 'Quality'를 선택하는 것이 좋습니다. 시스템 부담을 최소화하려면 'Performance'를 선택할 수도 있지만, 화질 저하가 따릅니다. RTX 40 시리즈부터는 'P7' (Max Quality) 옵션이 더욱 효율적입니다.
  • 프로파일 (Profile): 'High'를 선택합니다.
  • Look-ahead / Psycho Visual Tuning: 이 두 옵션은 NVENC의 인코딩 품질을 향상시킬 수 있지만, 약간의 GPU 자원을 더 사용합니다. 여유가 된다면 활성화하는 것이 좋습니다. 특히 'Psycho Visual Tuning'은 움직임이 많은 장면에 대한 화질 개선에 효과적입니다.
  • GPU: 단일 GPU 시스템에서는 0으로 두면 됩니다. 여러 개의 GPU가 있을 때 어떤 GPU를 인코딩에 사용할지 지정합니다.
  • B-프레임 (Max B-frames): 2로 설정하는 것이 일반적입니다. B-프레임은 효율적인 압축에 사용되지만, 너무 많으면 지연 시간이 길어질 수 있습니다.

2026-05-03

비디오 출력 조정: 해상도, 프레임률, 다운스케일 필터

인코더만큼이나 중요한 것이 바로 '비디오' 탭에서의 설정입니다. 여기서 설정하는 기본 (캔버스) 해상도, 출력 (조정된) 해상도, 그리고 프레임률은 최종 스트리밍 화면의 선명도와 부드러움, 그리고 인코더의 부하에 직접적인 영향을 미칩니다.

1. 기본 (캔버스) 해상도 (Base (Canvas) Resolution)

이것은 여러분의 OBS 편집 화면 자체의 해상도이자, 소스를 추가할 때의 기준 해상도입니다. 일반적으로 여러분의 모니터 해상도와 동일하게 설정합니다 (예: 1920x1080).

2. 출력 (조정된) 해상도 (Output (Scaled) Resolution)

실제로 시청자에게 전송되는 비디오의 해상도입니다. 기본 해상도와 동일하게 설정할 수도 있고, 시스템 부담을 줄이기 위해 더 낮은 해상도로 '다운스케일'할 수도 있습니다.

• 권장:
  • 1920x1080 (Full HD): 고품질 스트리밍의 표준입니다. 인코더와 인터넷 업로드 속도가 충분하다면 이 해상도를 목표로 합니다.
  • 1280x720 (HD): 시스템 사양이 중급이거나, 인터넷 업로드 속도가 충분치 않을 때 좋은 대안입니다. 720p 60fps는 여전히 좋은 시청 경험을 제공하며, 1080p보다 훨씬 적은 비트레이트와 인코딩 부담을 요구합니다.
• 팁: 불필요하게 높은 해상도를 고집하면 시스템 부하와 비트레이트 요구량만 늘어나고, 오히려 화질 저하나 버퍼링을 유발할 수 있습니다. 여러분의 환경에 맞는 적정선을 찾는 것이 중요합니다.

3. 다운스케일 필터 (Downscale Filter)

출력 해상도를 기본 해상도보다 낮게 설정했을 때, OBS가 이미지를 줄이는 방식을 결정합니다. 이 필터는 화질과 성능에 영향을 미칩니다.

• Lanczos (Lanczos): 32 샘플링. 가장 선명하고 고품질의 다운스케일링을 제공하지만, 가장 많은 CPU/GPU 자원을 사용합니다. 출력 해상도가 기본 해상도보다 훨씬 작을 때 유용합니다.
• Bicubic (Bicubic): 16 샘플링. Lanczos보다 약간 부드럽지만, 성능 부담이 적습니다. 대부분의 경우 좋은 균형점을 제공하며, 권장되는 설정입니다.
• Bilinear (Bilinear): 가장 빠르지만, 화질이 가장 좋지 않습니다. 이미지가 흐릿해질 수 있습니다. 시스템 성능이 매우 제한적일 때만 고려합니다.

권장: 특별한 성능 이슈가 없다면 Bicubic을 사용하는 것이 좋습니다. Lanczos는 CPU/GPU 자원에 여유가 있을 때 시도해 볼 만합니다.

4. 공통 FPS 값 (Common FPS Values)

초당 프레임 수입니다. 비디오의 부드러움을 결정합니다.

• 60 (60fps): 게임 스트리밍, 특히 움직임이 빠른 FPS 게임에 필수적입니다. 더 부드러운 움직임을 제공하지만, 인코딩 부담과 비트레이트 요구량이 30fps보다 약 2배 높습니다.
• 30 (30fps): 토크 방송, 움직임이 적은 게임, 또는 시스템 성능이나 인터넷 업로드 속도가 제한적일 때 좋은 대안입니다.

권장: 가능하면 60fps를 목표로 하되, 시스템이나 인터넷이 버거워한다면 30fps로 낮추는 것을 고려하세요. 안정적인 30fps가 불안정한 60fps보다 훨씬 좋은 시청 경험을 제공합니다.

커뮤니티의 고민: 끊김과 화질 저하의 딜레마

스트리밍 커뮤니티에서 가장 흔하게 들려오는 고민 중 하나는 "제 컴퓨터 사양이 좋은데도 스트리밍이 끊기거나 화질이 안 좋아요"입니다. 게임은 쾌적하게 144Hz로 즐기고 있는데, 막상 시청자들은 뚝뚝 끊기는 화면을 보고 있거나, 화면이 뭉개져 보여 고통을 호소하는 경우가 많죠. 이런 현상은 단 한 가지 문제 때문이 아니라, 여러 설정이 복합적으로 얽혀 발생할 때가 많습니다.

주요 고민 패턴:

1. "게임은 잘 돌아가는데 송출 화면이 끊겨요."
   • 원인: 게임은 GPU 자원을 거의 다 사용하고 있는데, 인코더도 GPU (NVENC/AMF)를 사용하거나, 게임이 CPU를 많이 쓰는데 인코더도 CPU (x264)를 사용하면서 리소스 충돌이 일어나는 경우입니다. 또는 너무 높은 비트레이트를 설정하여 인터넷 업로드 속도가 한계에 도달했을 수도 있습니다.
   • 해결 방향: 인코더를 게임이 사용하지 않는 자원 쪽으로 돌리거나(예: 게임이 GPU를 많이 쓰면 CPU 인코더 고려, 반대도 마찬가지), 비트레이트를 낮춰 인터넷 부담을 줄입니다.
2. "화질이 너무 나빠요. 뭉개져 보여요."
   • 원인: 주로 비트레이트가 너무 낮게 설정되었을 때 발생합니다. 특히 움직임이 많은 게임(예: FPS)에서는 비트레이트가 낮으면 화면이 급격히 뭉개져 보입니다. x264 인코더에서 CPU 사용량 사전 설정이 너무 'fast'하거나, 하드웨어 인코더에서 'Performance' 프리셋을 사용했을 때도 나타납니다.
   • 해결 방향: 비트레이트를 높여봅니다 (단, 인터넷 업로드 속도와 플랫폼 제한 확인). x264의 경우 CPU 사용량 사전 설정을 'faster'에서 'fast' 등으로 올려봅니다. 하드웨어 인코더의 경우 'Quality' 또는 'Max Quality' 프리셋을 사용합니다.
3. "시청자들이 버퍼링을 겪는다고 해요."
   • 원인: 비트레이트가 시청자의 인터넷 환경이나 여러분의 업로드 속도에 비해 너무 높게 설정되었을 때 발생합니다. 특히 모바일 시청자가 많다면 더 심하게 나타납니다.
   • 해결 방향: 비트레이트를 조금씩 낮춰보면서 시청자 피드백을 확인합니다. 송출 플랫폼에서 제공하는 권장 비트레이트 가이드를 따르는 것이 중요합니다.

이러한 문제들은 OBS 고급 설정의 인코더, 비트레이트, 해상도, 프레임률 등의 조정을 통해 대부분 해결될 수 있습니다. 중요한 것은 한 번에 모든 설정을 바꾸는 것이 아니라, 하나씩 변경하면서 스트리밍 테스트를 반복하여 최적의 지점을 찾아내는 인내심입니다.

실전 시나리오: 고사양 게임 스트리밍 최적화 (단일 PC)

여러분이 최신 고사양 PC를 사용하여 '사이버펑크 2077'이나 '엘든 링'과 같은 그래픽이 풍부한 게임을 1080p 해상도로 쾌적하게 플레이하면서 동시에 스트리밍하고 싶다고 가정해 봅시다. 이 경우, 게임 자체도 CPU와 GPU 자원을 많이 소모하기 때문에 OBS 설정에 더욱 신중해야 합니다.

현재 환경 가정:

• CPU: 인텔 i7-13700K 또는 AMD Ryzen 7 7700X 이상
• GPU: NVIDIA GeForce RTX 3070 / AMD Radeon RX 6700 XT 이상 (최신 세대면 더욱 좋음)
• RAM: 32GB 이상
• 인터넷 업로드 속도: 50Mbps 이상 (실측 기준)
• 목표: 1080p 60fps 송출, 최대한의 화질 유지, 게임 프레임 저하 최소화

OBS 고급 설정 최적화 가이드:

1. 인코더 (Encoder): NVIDIA NVENC (new) 또는 AMD AMF (H.264)
   • 선택 이유: 고사양 게임은 GPU 사용량이 매우 높지만, NVENC/AMF는 GPU의 전용 인코딩 칩을 사용하므로 게임 프레임에 미치는 영향이 CPU 인코더(x264)보다 훨씬 적습니다. 특히 RTX 30/40 시리즈의 NVENC는 이전 세대보다 압도적인 효율과 화질을 자랑합니다.
   • 설정:
     • 레이트 제어: CBR
     • 비트레이트: 6000kbps (트위치 권장 최대), 유튜브 스트리밍이라면 9000kbps~12000kbps까지 시도 (인터넷 업로드 속도에 따라 조절).
     • 키프레임 간격: 2
     • 사전 설정: Quality 또는 Max Quality (시스템 여유가 있다면 Max Quality로 시작)
     • 프로파일: High
     • Look-ahead / Psycho Visual Tuning: 활성화 (화질 향상에 도움, GPU 부담 미미)
     • B-프레임: 2
2. 비디오 (Video):
   • 기본 (캔버스) 해상도: 1920x1080 (모니터 해상도와 동일)
   • 출력 (조정된) 해상도: 1920x1080 (1:1 송출이 가능할 때)
     • 만약 송출이 불안정하거나 게임 프레임이 떨어진다면, 과감하게 1280x720으로 낮추는 것을 고려합니다. 720p 60fps도 충분히 좋은 화질을 제공합니다.
   • 다운스케일 필터: Bicubic (출력 해상도를 낮췄을 경우)
   • 공통 FPS 값: 60
3. 고급 (Advanced):
   • 프로세스 우선순위: '높음' 또는 '위' (OBS에 더 많은 CPU 자원을 할당하여 스트리밍 안정성 확보. 단, 게임 프레임에 영향을 줄 수도 있으므로 게임 중 문제가 생기면 '보통'으로 되돌림)

핵심: 고사양 게임 스트리밍에서는 GPU 자원의 효율적 분배가 가장 중요합니다. 게임이 GPU를 최대한 활용하는 동안, 인코더는 GPU 내의 전용 칩을 사용하여 독립적으로 인코딩 작업을 수행하도록 하는 것이 핵심입니다. 만약 NVENC/AMF 인코더 사용 중에도 게임 프레임 저하가 심하다면, 출력 해상도를 720p로 낮추거나, 인코더 프리셋을 'Quality'에서 'Performance'로 한 단계 낮춰보세요.

정기 점검 및 업데이트

OBS 설정은 한 번 맞춰놓으면 영원히 그대로 두는 것이 아닙니다. 기술은 계속 발전하고, 여러분의 하드웨어나 인터넷 환경, 심지어 스트리밍하는 콘텐츠까지 변할 수 있기 때문입니다. 최적의 스트리밍 환경을 유지하기 위해서는 주기적인 점검과 업데이트가 필수적입니다.

무엇을 재확인해야 할까?

1. OBS Studio 업데이트:
   • OBS 개발팀은 지속적으로 성능 최적화, 새로운 기능 추가, 버그 수정을 진행합니다. 새로운 인코더 지원이나 특정 GPU에 대한 최적화가 이루어질 수도 있으니, 정기적으로 OBS 업데이트를 확인하고 적용하는 것이 좋습니다.
2. 그래픽 드라이버 업데이트:
   • NVIDIA, AMD는 새로운 게임 출시에 맞춰 성능 향상 및 버그 수정을 포함한 드라이버 업데이트를 자주 배포합니다. 특히 하드웨어 인코더(NVENC/AMF)를 사용하는 경우, 최신 드라이버가 인코딩 성능과 안정성에 직접적인 영향을 미칠 수 있으니 항상 최신 버전으로 유지하세요.
3. 인터넷 환경 변화:
   • 인터넷 서비스 제공업체(ISP)의 변경, 회선 업그레이드/다운그레이드, 또는 네트워크 장비(공유기, 모뎀) 교체 등 인터넷 환경이 바뀌면 비트레이트 설정을 다시 점검해야 합니다. Speedtest.net 같은 사이트에서 정기적으로 업로드 속도를 측정해 보세요.
4. 하드웨어 업그레이드:
   • CPU나 GPU를 업그레이드했다면, OBS 고급 설정을 전면적으로 재검토할 기회입니다. 더 좋은 인코더 프리셋을 사용하거나, 비트레이트와 해상도를 높여 스트리밍 품질을 한 단계 끌어올릴 수 있습니다.
5. 스트리밍 콘텐츠 변화:
   • 움직임이 적은 토크 방송에서 고속 FPS 게임으로, 혹은 그 반대로 주력 콘텐츠가 바뀐다면 인코더 설정(특히 x264의 CPU 사용량 사전 설정)이나 비트레이트, 프레임률 설정을 재조정하는 것이 좋습니다. 움직임이 많은 콘텐츠는 더 높은 비트레이트와 더 좋은 인코딩 효율을 요구합니다.
6. 시청자 피드백:
   • 시청자들의 "버퍼링이 심하다", "화면이 흐릿하다", "소리가 끊긴다" 등의 피드백은 가장 중요한 지표입니다. 이러한 피드백이 반복된다면, 여러분의 현재 OBS 설정이 시청자 환경이나 송출 플랫폼 요구사항에 맞지 않을 수 있으니 다시 한번 점검해봐야 합니다.

이러한 점검을 통해 여러분은 항상 시청자에게 최적의 스트리밍 경험을 제공하고, 스스로도 안정적인 송출 환경에서 콘텐츠 제작에 집중할 수 있을 것입니다.