보안의 함정과 비상 복구(Fallback) 전략: 장애 상황에서도 멈추지 않는 시스템

보안을 강화하는 것은 모든 소프트웨어 엔지니어의 기본 덕목입니다.
하지만 보안에 대한 집착이 지나쳐 ’장애 상황에서의 복원력(Resilience)’을 고려하지 못할 때, 보안 코드는 시스템을 지키는 방패가 아니라 시스템의 숨통을 끊는 덫이 됩니다.

Lumen Insights 서비스 초기, 저는 모든 API 요청에 대해 엄격한 다중 인증과 외부 검증을 통과하도록 설계했습니다.
하지만 외부 인증 서버와 YouTube API가 일시적인 레이트 리밋(Rate Limit)에 걸린 순간, 서비스 전체가 화이트스크린과 함께 무한 로딩에 빠지는 대형 장애를 겪었습니다.
보안을 지키려다 서비스의 가용성(Availability)을 완전히 파괴한 순간이었습니다.

보안과 가용성의 딜레마: 완벽한 방어가 부른 화이트스크린

당시 발생했던 장애의 시나리오를 복기해 보면 다음과 같습니다.

1. 클라이언트가 대시보드 진입 시 채널 및 영상 메타데이터 조회를 요청함.
2. 백엔드 인증 미들웨어가 외부 세션 저장소 및 YouTube API 쿼터 유효성을 동기(Synchronous) 방식으로 전수 검증함.
3. 순간적인 네트워크 지연으로 인해 외부 API 응답이 10초 이상 지연됨.
4. 미들웨어는 보안 실패로 간주하고 401 Unauthorized 또는 500 Server Error를 반환.
5. 프론트엔드는 비상 대안(Fallback) 없이 에러 상태를 처리하지 못하고 렌더링 중단.

서킷 브레이커(Circuit Breaker)와 단계별 복구 아키텍처

이 뼈아픈 장애 이후, 우리는 ‘실패를 가정한 설계(Design for Failure)’ 원칙을 전면 도입했습니다.

보안 검증이 실패하거나 외부 시스템이 응답하지 않을 때, 시스템이 스스로를 셧다운시키는 대신 안전하게 기능을 제한하는 3단계 방어선을 구축했습니다.

// 서킷 브레이커 기반 안전한 데이터 조회 미들웨어 구조
async function fetchChannelMetadataWithFallback(channelId: string) {
  try {
    // 1단계: 정상 실시간 API 호출 시도 (타임아웃 2초 제한)
    return await fetchWithTimeout(`/api/youtube/channels/${channelId}`, 2000);
  } catch (error) {
    console.warn(`[Fallback Triggered] 외부 통신 지연 감지: ${channelId}`);
    
    // 2단계: 최근 24시간 이내의 로컬 캐시(Supabase/Redis) 스냅샷 조회
    const cachedSnapshot = await getLocalDBCache(channelId);
    if (cachedSnapshot) {
      return {
        ...cachedSnapshot,
        isFallbackData: true,
        notice: "일시적인 네트워크 지연으로 캐시된 지표를 표시합니다."
      };
    }
    
    // 3단계: 최소한의 기본 정보로 뷰 렌더링 보장 (화이트스크린 원천 차단)
    return getDefaultChannelPlaceholder(channelId);
  }
}

시스템 무결성을 증명하는 두 가지 질문

새로운 보안 정책이나 검증 로직을 추가할 때마다, 우리는 다음 두 가지 질문을 코딩 체크리스트에 의무화했습니다.

1. “외부 의존성 서버가 100% 다운되었을 때, 우리 서비스의 핵심 화면이 여전히 열리는가?”
2. “보안 예외 상황이 발생했을 때, 사용자가 빈 화면 대신 상황을 이해할 수 있는 명확한 피드백을 받는가?”

루멘 인사이트 아키텍처는 이 장애 극복을 거치며 한층 견고해졌습니다.
진정한 보안은 시스템을 꽁꽁 얼어붙게 만드는 것이 아니라, 어떤 극한의 장애 상황에서도 안전하게 작동을 지속할 수 있는 유연성을 확보하는 데 있습니다.

참고 자료:

• Martin Fowler — CircuitBreaker Pattern for Distributed Systems
• OWASP Foundation — Defensive Failure and Error Handling Guidelines
• MDN Web Docs — Graceful Degradation and Progressive Enhancement