AI는 어떻게 추세를 예측하는가?

AI는 육안으로는 파악하기 어려운 패턴을 찾아내고, 언뜻 보기에는 노이즈처럼 보이는 신호들을 표면화합니다. 제대로 활용하면 복잡한 행동도 유용한 예측으로 바꿀 수 있습니다. 다음 달 매출, 내일 트래픽, 이번 분기 말 이탈률까지 말이죠. 하지만 제대로 활용하지 못하면 자신감 넘치는 어깨를 으쓱하는 것과 같습니다. 이 가이드에서는 AI가 트렌드를 예측하는 정확한 원리, 성공 요인, 그리고 보기 좋은 차트에 속지 않는 방법을 자세히 살펴보겠습니다. 몇 가지 현실적인 이야기와 가끔씩 눈살을 찌푸리게 하는 부분도 있지만, 실용적인 내용을 다루겠습니다. 🙃

이 글을 읽고 나서 읽어보시면 좋을 만한 글들:

🔗 AI 성능을 측정하는 방법
AI 시스템의 정확성, 효율성, 신뢰성을 평가하기 위한 주요 지표입니다.

🔗 AI와 대화하는 방법
AI와 소통하여 응답 품질을 개선하기 위한 실용적인 팁입니다.

🔗 AI가 무엇을 촉구하는가
프롬프트가 AI의 행동과 출력에 어떻게 영향을 미치는지 명확하게 설명합니다.

🔗 AI 데이터 라벨링이란?
머신 러닝 모델을 훈련하기 위해 데이터에 효과적으로 레이블을 지정하는 방법을 소개합니다.

좋은 AI 트렌드 예측의 조건 ✅

사람들이 AI가 어떻게 트렌드를 예측하는지 묻는다면, 대개는 "어떻게 불확실하지만 반복되는 상황을 예측하는가"를 의미합니다. 좋은 트렌드 예측에는 몇 가지 지루하지만 아름다운 요소들이 있습니다.

• 신호가 있는 데이터 - 바위에서 오렌지 주스를 짜낼 수는 없습니다. 과거의 값과 맥락이 필요합니다.

• 현실을 반영하는 특징 - 계절성, 휴일, 프로모션, 거시적 맥락, 심지어 날씨까지. 전부는 아니고, 당신의 바늘을 움직이는 것들만.

• 시계에 맞는 모델 - 순서, 간격, 드리프트를 존중하는 시간 인식 방식입니다.

• 배포를 반영하는 평가 - 실제로 예측하는 방식을 시뮬레이션하는 백테스트. 엿보기 없음[2].

• 변화 모니터링 - 세상은 변화합니다. 귀하의 모델도 변화해야 합니다[5].

이게 골격이에요. 나머지는 근육, 힘줄, 그리고 약간의 카페인이죠.

핵심 파이프라인: AI가 원시 데이터에서 추세를 예측하여 예측하는 방법 🧪

1. 데이터 수집 및 정렬:
   대상 시리즈와 외생적 신호를 통합합니다. 일반적인 소스: 제품 카탈로그, 광고비, 가격, 거시경제 지표, 이벤트. 타임스탬프 정렬, 누락된 값 처리, 단위 표준화. 화려하지는 않지만 매우 중요합니다.

2. 엔지니어 기능:
   시차, 이동 평균, 이동 분위수, 요일 플래그, 도메인별 지표 생성. 계절 조정을 위해 많은 실무자들은 모델링 전에 시계열을 추세, 계절, 나머지 요소로 분해합니다. 미국 인구조사국의 X-13 프로그램은 이러한 분해 방법과 이유에 대한 표준 참고 자료입니다[1].

3. 모델 제품군을 선택하세요.
   세 가지 큰 버킷이 있습니다.

• 고전 통계 : ARIMA, ETS, 상태공간/칼만. 해석이 쉽고 빠릅니다.

• 머신 러닝 : 그래디언트 부스팅, 시간 기반 특성을 활용한 랜덤 포레스트. 여러 시리즈에 걸쳐 유연하게 적용 가능.

• 딥러닝 : LSTM, Temporal CNN, Transformer. 데이터가 많고 구조가 복잡할 때 유용합니다.

4. 정확한 백테스팅
   시계열 교차 검증은 롤링 원점을 사용하므로 과거를 테스트하는 동안 미래를 학습하지 않습니다. 이는 정직한 정확도와 희망 사항의 차이입니다[2].

5. 예측, 불확실성 정량화, 그리고
   간격을 두고 반환 예측을 제공하고, 오류를 모니터링하며, 세상의 변화에 ​​따라 재학습합니다. 관리형 서비스는 일반적으로 정확도 지표(예: MAPE, WAPE, MASE)와 백테스팅 기간을 기본적으로 제공하여 거버넌스와 대시보드 구축을 용이하게 합니다[3].

간단한 전쟁 이야기 하나: 한 출시 때 캘린더 기능(지역 공휴일 + 프로모션 플래그)에 하루를 더 투자했고, 모델 교체보다 초기 단계의 실수를 눈에 띄게 줄였습니다. 기능 품질이 모델의 참신함을 능가했는데, 이는 앞으로도 계속 보게 될 주제입니다.

비교표: AI가 추세를 예측하는 데 도움이 되는 도구 🧰

의도적으로 불완전하게 만든 테이블입니다. 몇 가지 인간적인 버릇이 있는 실제 테이블입니다.

네, 표현이 고르지 않아요. 그게 현실이죠.

실제로 바늘을 움직이는 기능 엔지니어링 🧩

AI가 트렌드를 예측하는 방법에 대한 가장 간단하고 유용한 답은 다음과 같습니다. 시계열 데이터를 시간을 기억하는 지도 학습 테이블로 변환하는 것입니다. 몇 가지 유용한 방법을 소개합니다.

• 지연 및 윈도우 : y[t-1], y[t-7], y[t-28]과 롤링 평균 및 표준편차를 포함합니다. 운동량과 관성을 포착합니다.

• 계절성 신호 : 월, 주, 요일, 시간. 푸리에 항은 매끄러운 계절 곡선을 나타냅니다.

• 캘린더 및 이벤트 : 공휴일, 제품 출시, 가격 변동, 프로모션. 예언자 스타일의 공휴일 효과는 사전 정보가 있는 기능일 뿐입니다.

• 분해 : 계절적 구성 요소를 빼고 패턴이 강할 때 나머지를 모델링합니다. X-13은 이에 대한 잘 테스트된 기준입니다[1].

• 외부 회귀 변수 : 날씨, 거시 지수, 페이지 뷰, 검색 관심도.

• 상호작용 힌트 : promo_flag × day_of_week처럼 간단하게 십자 표시를 합니다. 엉성하지만 종종 효과가 있습니다.

여러 개의 관련 시리즈(예: 수천 개의 SKU)가 있는 경우, 계층적 모델이나 글로벌 모델을 사용하여 각 시리즈의 정보를 통합할 수 있습니다. 실제로 시간 기반 특성을 활용한 글로벌 그래디언트 부스팅 모델은 기대 이상의 성능을 발휘하는 경우가 많습니다.

모델 가족 선택: 친근한 싸움 🤼♀️

• ARIMA/ETS
  장점: 해석 가능하고 빠르며 견고한 기준선. 단점: 시리즈별 튜닝이 대규모로 까다로울 수 있음. 부분 자기상관 분석을 통해 차수를 파악하는 데 도움이 될 수 있지만, 기적을 기대하지는 마십시오.

• 그래디언트 부스팅
  장점: 테이블형 피처 처리, 혼합 신호에 강인함, 여러 관련 시리즈에 적합함. 단점: 시간 피처를 잘 설계하고 인과관계를 존중해야 함.

• 딥러닝
  장점: 비선형성과 교차 계열 패턴을 포착합니다. 단점: 데이터 소모가 많고 디버깅이 까다롭습니다. 풍부한 맥락이나 긴 이력이 있으면 효과적일 수 있지만, 그렇지 않으면 러시아워 교통 체증 속의 스포츠카처럼 무용지물입니다.

• 하이브리드 & 앙상블
  솔직히 말해서, 계절별 베이스라인에 그래디언트 부스터를 스태킹하고 가벼운 LSTM과 블렌딩하는 것은 흔히 저지르는 죄책감 없는 즐거움입니다. "단일 모델 순수성"에 대해 제가 인정하는 것보다 훨씬 여러 번이나 후퇴했습니다.

인과관계 vs 상관관계: 주의해서 다루세요 🧭

두 선이 서로 맞물린다고 해서 하나가 다른 하나를 주도하는 것은 아닙니다. 그랜저 인과관계는 후보 동인을 추가하는 것이 그 자체의 이력을 고려할 때 목표에 대한 예측을 향상시키는지 여부를 검증합니다. 이는 철학적 인과관계가 아니라 선형 자기회귀 가정 하에서의 예측 유용성에 관한 것이며, 이는 미묘하지만 중요한 구분입니다[4].

실제 운영 환경에서는 도메인 지식을 활용하여 건전성 검사를 실시합니다. 예를 들어, 소매업에서는 평일 효과가 중요하지만, 지출이 이미 모델에 포함되어 있는 경우 지난주 광고 클릭을 추가하는 것은 중복될 수 있습니다.

백테스팅 및 지표: 대부분의 오류가 숨어 있는 곳 🔍

AI가 추세를 현실적으로 예측하는 방식을 평가하려면 실제 상황에서 예측하는 방식을 모방해 보세요.

• 롤링-원점 교차 검증 : 이전 데이터를 반복적으로 학습하고 다음 청크를 예측합니다. 이는 시간 순서를 존중하고 향후 누출을 방지합니다[2].

• 오류 지표 : 의사 결정에 적합한 지표를 선택하세요. MAPE와 같은 백분율 지표가 널리 사용되지만, 포트폴리오와 집계에는 가중 지표(WAPE)나 척도 없는 지표(MASE)가 더 나은 성능을 보이는 경우가 많습니다[3].

• 예측 간격 : 단순히 요점만 제시하지 마세요. 불확실성을 전달하세요. 경영진은 예측 범위를 좋아하지 않지만, 예상치 못한 일이 적은 것을 선호합니다.

사소한 문제: 항목이 0이 될 수 있는 경우 백분율 지표가 이상해질 수 있습니다. 절대 오차 또는 크기 조정 오차를 선호하거나, 약간의 오프셋을 추가하되 일관성을 유지하세요.

드리프트는 발생합니다: 변화를 감지하고 적응하기 🌊

시장은 변화하고, 선호도는 변하며, 센서는 노후화됩니다. 개념 드리프트 는 입력과 목표 간의 관계가 변화하는 상황을 포괄적으로 보여줍니다. 통계적 검정, 슬라이딩 윈도우 오류 또는 데이터 분포 검사를 통해 드리프트를 모니터링할 수 있습니다. 그런 다음 짧은 학습 기간, 주기적인 재학습 또는 온라인으로 업데이트되는 적응형 모델 중 적합한 전략을 선택합니다. 현장 조사 결과 다양한 드리프트 유형과 적응 정책이 나타났으며, 모든 상황에 적합한 단일 정책은 없습니다[5].

실용적인 플레이북: 실시간 예보 오류에 대한 경보 임계값을 설정하고, 일정에 따라 재훈련하며, 대체 기준선을 준비 상태로 유지합니다. 화려하지는 않지만 매우 효과적입니다.

설명 가능성: 블랙박스를 깨지 않고 여는 것 🔦

이해관계자들은 예측이 왜 올랐는지 묻습니다. 합리적입니다. SHAP 이론적 근거를 바탕으로 예측을 특성에 귀속시켜 계절성, 가격 또는 프로모션 상태가 예측 수치에 영향을 미쳤는지 파악하는 데 도움을 줍니다. 인과관계를 증명하지는 못하지만, 신뢰도와 디버깅을 향상시킵니다.

제가 직접 테스트한 결과, 단기 소매 예측에서는 주간 계절성과 프로모션 플래그가 우세한 반면, 장기 예측에서는 거시적 지표로 전환되는 경향이 있습니다. 결과는 상황에 따라 다를 수 있습니다.

클라우드 및 MLOps: 테이프 없이도 배송 예측 가능 🚚

관리형 플랫폼을 선호하는 경우:

• Google Vertex AI Forecast는 시계열 수집, AutoML 예측 실행, 백테스팅, 엔드포인트 배포를 위한 가이드 워크플로를 제공합니다. 또한 최신 데이터 스택과도 원활하게 연동됩니다.

• Amazon Forecast는 API를 통해 가져올 수 있는 표준화된 백테스팅 및 정확도 측정 항목을 통해 대규모 배포에 중점을 두고 있어 거버넌스와 대시보드에 도움이 됩니다[3].

두 방법 모두 상용구를 줄이는 데 도움이 됩니다. 한쪽은 비용에, 다른 한쪽은 데이터 계보에 집중하세요. 두 눈을 모두 기울이는 것은 매우 까다롭지만 가능합니다.

간단한 사례 분석: 클릭부터 트렌드 신호까지 🧭✨

프리미엄 앱에 대한 일일 가입자 수를 예측한다고 가정해 보겠습니다.

1. 데이터 : 일일 가입자 수, 채널별 광고 지출, 사이트 중단 및 간단한 프로모션 일정을 가져옵니다.

2. 특징 : 시차 1, 7, 14; 7일 이동 평균; 요일 플래그; 이진 프로모션 플래그; 푸리에 계절항; 그리고 모델이 반복되지 않는 부분에 집중할 수 있도록 분해된 계절 나머지. 계절 분해는 공식 통계에서 고전적인 기법으로, 지루한 이름이지만 큰 성과를 보입니다[1].

3. 모델 : 모든 지역에 걸친 글로벌 모델로 그래디언트 강화 회귀 모델을 시작합니다.

4. 백테스트 : 주간 폴드를 적용한 롤링 원점. 주요 사업 부문에 WAPE를 최적화하세요. 신뢰할 수 있는 결과를 얻으려면 시간을 고려한 백테스트가 필수적입니다[2].

5. 설명 : 프로모션 플래그가 슬라이드에서 멋지게 보이는 것 외에 실제로 어떤 역할을 하는지 확인하기 위해 매주 기능 속성을 검사합니다.

6. 모니터링 : 제품 변경 후 프로모션 효과가 사라지거나 주중 패턴이 바뀌면 재교육을 트리거합니다. 드리프트는 버그가 아니라 수요일입니다[5].

그 결과, 신뢰 구간을 포함한 신뢰할 수 있는 예측과 더불어, 어떤 요인이 영향을 미쳤는지 보여주는 대시보드가 ​​탄생했습니다. 논쟁은 줄이고, 행동은 늘렸습니다.

조용히 피해야 할 함정과 신화 🚧

• 오해: 피처가 많을수록 항상 더 좋다. 그렇지 않다. 관련 없는 피처가 너무 많으면 과적합이 발생한다. 백테스트에 도움이 되고 도메인 감각에 맞는 피처만 사용하세요.

• 오해: 딥러닝이 모든 것을 이긴다. 때로는 맞지만, 종종 그렇지 않다. 데이터가 짧거나 노이즈가 많은 경우, 안정성과 투명성 측면에서는 기존 방식이 더 효과적이다.

• 함정: 누출. 실수로 내일의 정보를 오늘의 교육에 포함시키면 측정 기준이 좋아지고 생산성이 저하될 수 있습니다.[2]

• 함정: 마지막 소수점까지 쫓는 것. 공급망이 울퉁불퉁하다면 7.3%에서 7.4% 사이의 오차를 두고 논쟁하는 것은 연극과 같습니다. 의사 결정 기준에 집중하세요.

• 신화: 상관관계에서 인과관계를 찾는다. Granger 테스트는 철학적 진실이 아니라 예측적 유용성을 확인한다. 즉, 철학적 진실을 복음이 아닌 보호막으로 활용해야 한다[4].

복사하여 붙여넣을 수 있는 구현 체크리스트 📋

• 시야, 집계 수준, 그리고 내릴 결정을 정의합니다.

• 깔끔한 시간 지수를 구축하고, 격차를 메우거나 표시하고, 외생적 데이터를 정렬합니다.

• 크래프트 지연, 롤링 통계, 계절별 플래그, 그리고 신뢰할 수 있는 몇 가지 도메인 기능.

• 강력한 기준선으로 시작한 다음, 필요한 경우 더 복잡한 모델로 반복합니다.

• 귀하의 비즈니스와 일치하는 지표를 사용하여 롤링 오리진 백테스트를 사용하세요[2][3].

• 예측 구간 추가 - 선택 사항이 아닙니다.

• 선박, 드리프트 모니터링 및 일정에 따라 재교육 및 경고[5].

너무 길어서 읽지 않았어요 - 마무리 말 💬

AI가 트렌드를 예측하는 방식에 대한 간단한 진실은 마법 같은 알고리즘보다는 체계적이고 시간을 고려한 설계에 더 가깝다는 것입니다. 데이터와 기능을 정확하게 파악하고, 정직하게 평가하고, 간단하게 설명하고, 현실의 변화에 ​​따라 적응하세요. 마치 기름때가 묻은 라디오 주파수를 맞추는 것과 같습니다. 약간 까다롭고 때로는 잡음이 들리지만, 방송이 나오면 놀라울 정도로 또렷하게 들립니다.

한 가지만 빼면요. 시간을 존중하고, 회의론자처럼 검증하고, 지속적으로 모니터링하세요. 나머지는 그저 도구와 취향일 뿐입니다.

참고 자료

1. 미국 인구조사국 - X-13ARIMA-SEATS 계절 조정 프로그램 . 링크

2. Hyndman & Athanasopoulos - 예측: 원칙과 실제(FPP3), §5.10 시계열 교차 검증 . 링크

3. Amazon Web Services - 예측기 정확도 평가(Amazon Forecast) . 링크

4. 휴스턴 대학교 - 그랜저 인과관계(강의 노트) . 링크

5. Gama et al. - 개념 드리프트 적응에 대한 조사 (공개 버전). 링크

최신 AI 기술을 공식 AI 어시스턴트 스토어에서 만나보세요

회사 소개