인공지능은 어디에서 정보를 얻을까요?

머리를 긁적이며 " 이런 정보는 도대체 어디서 나오는 거지 ?"라고 생각해 본 적 있으신가요? 인공지능이 도서관 먼지 쌓인 책을 뒤지거나 몰래 유튜브 영상을 몰아보는 것도 아닌데 말이죠. 그런데도 마치 끝없는 정보 창고라도 있는 것처럼 라자냐 만드는 비법부터 블랙홀 물리학까지 모든 질문에 답을 쏟아냅니다. 사실 인공지능의 실상은 생각보다 훨씬 더 기묘하고 흥미진진합니다. 함께 자세히 살펴보고, 몇 가지 잘못된 상식도 바로잡아 볼까요?

마법일까요? 🌐

마법은 아니지만 때로는 그렇게 느껴지기도 합니다. 내부적으로는 기본적으로 패턴 예측이 사실을 저장하는 것이 아니라 , 이전에 나온 단어(토큰)를 기반으로 다음 단어(토큰)를 예측하도록 훈련됩니다[2]. 실제로 이는 단어들 간의 관계, 즉 어떤 단어들이 함께 쓰이는지, 문장이 일반적으로 어떤 형태를 띠는지, 전체 아이디어가 어떻게 구조화되는지 등을 파악하는 것을 의미합니다. 그렇기 때문에 출력 결과가 들리는 것입니다 솔직히 말해서 이는 이해가 아니라 통계적 모방일 뿐이지만 말입니다[4].

그렇다면 인공지능이 생성한 정보를 실제로 유용하게 ? 몇 가지가 있습니다.

• 데이터 다양성 - 좁은 하나의 흐름이 아닌 수많은 소스에서 데이터를 가져옵니다.

• 업데이트 - 새로 고침 주기가 없으면 정보가 금방 식상해집니다.

• 여과 - 이상적으로는 이물질이 스며들기 전에 걸러내는 것 (하지만 솔직히 말해서 그 그물에도 구멍이 있죠).

• 교차 검증 - 권위 있는 출처(NASA, WHO, 주요 대학 등)에 의존하는 것. 이는 대부분의 AI 거버넌스 플레이북에서 필수적입니다[3].

환각 이란 무엇일까요 ? 기본적으로는 진지한 표정으로 전달되는 세련된 헛소리입니다.[2][3]

이 글을 읽고 나서 읽어보시면 좋을 만한 글들:

🔗 인공지능이 복권 번호를 예측할 수 있을까요?
인공지능 복권 예측에 대한 오해와 진실을 파헤쳐 봅니다.

🔗 인공지능에 대한 전체론적 접근 방식이란 무엇을 의미하는가?
윤리와 영향에 대한 균형 잡힌 시각으로 인공지능을 이해하기.

🔗 성경은 인공지능에 대해 무엇이라고 말하는가?
기술과 인간의 창조에 대한 성경적 관점을 살펴봅니다.

빠른 비교: AI는 어디에서 정보를 가져오는가 📊

모든 정보원이 똑같이 중요하지는 않지만, 각각 나름의 역할을 합니다. 간략하게 살펴보겠습니다.

훈련 데이터의 세계 🌌

이것은 "어린 시절 학습" 단계입니다. 아이에게 수백만 권 의 동화책, 뉴스 기사, 위키피디아 자료를 한꺼번에 준다고 상상해 보세요. 이것이 사전 훈련의 모습입니다. 실제 세계에서 제공업체는 공개적으로 사용 가능한 데이터, 라이선스 소스, 트레이너가 생성한 텍스트를 [2].

강화가 시작되기 전에 선별된 인간 사례(좋은 답변, 나쁜 답변, 올바른 방향으로의 유도)가 위에 겹쳐져 있습니다[1].

투명성 주의 사항: 기업은 모든 세부 사항을 공개하지 않습니다. 일부 안전장치는 비밀(IP, 안전 문제)이므로 실제 혼합물에 대한 부분적인 정보만 얻을 수 있습니다[2].

실시간 검색: 특별 토핑 🍒

이제 일부 모델은 훈련 버블 외부를 살펴볼 수 있습니다. 이는 검색 증강 생성(RAG)으로, 기본적으로 실시간 인덱스 또는 문서 저장소에서 청크를 가져온 다음 이를 응답에 통합합니다[5]. 뉴스 헤드라인이나 주가와 같이 빠르게 변화하는 항목에 적합합니다.

문제는 무엇일까요? 인터넷은 천재성과 쓰레기 화재가 동시에 존재합니다. 필터나 출처 확인이 약하면 쓰레기 데이터가 다시 유입될 위험이 있습니다. 이는 위험 프레임워크에서 경고하는 것과 정확히 일치합니다[3].

흔히 사용되는 해결책은 기업들이 모델을 자체 내부 데이터베이스에 연결하여, 즉흥적인 답변 대신 최신 인사 정책이나 업데이트된 제품 문서를 인용하도록 하는 것입니다. 이렇게 하면 "아차!" 하는 상황이 줄어들고 더 신뢰할 수 있는 답변을 얻을 수 있습니다.

미세 조정: AI의 다듬기 단계 🧪

미세 조정을 거치게 됩니다 .

• 인간 피드백을 통한 강화 학습(RLHF)을 통해 그들에게 도움이 되고 , 무해하고, 정직하도록

• 안전하지 않거나 독성이 있는 모서리를 샌딩(정렬)[1].

• 친근한 어조, 격식 있는 어조, 또는 장난스럽게 비꼬는 어조 등 상황에 맞게 어조를 조절합니다.

다이아몬드를 연마하는 것보다는 통계적 눈사태를 모아서 대화 상대처럼 행동하게 만드는 것에 가깝습니다.

시행착오와 실패 🚧

완벽하다고 가장하지는 맙시다

• 환각 - 완전히 틀린 명확한 답변[2][3].

• 편향 - 데이터에 내재된 패턴을 반영합니다. 확인하지 않으면 이를 증폭시킬 수도 있습니다[3][4].

• 직접 경험해본 적이 없습니다 이야기 할 수 있지만 맛본 적은 없습니다.[4]

• 과신 - 글은 마치 아는 것처럼 흐르지만 실제로는 모르는 경우도 있습니다. 위험 프레임워크는 가정을 표시하는 것을 강조합니다[3].

왜 마치 느낌이 드는 ? 🧠

그것은 인간적인 의미의 믿음도 없고 기억도 없으며 자아도 없습니다. 그러나 문장을 매끄럽게 연결하기 때문에 당신의 뇌는 그것을 이해하는 . 실제로 일어나는 일은 대규모 다음 토큰 예측 . 즉, 수조 개의 확률을 순식간에 계산하는 것입니다.[2]

“지능” 분위기는 새로운 행동입니다. 연구자들은 이를 약간 익살스럽게 “확률적 앵무새” 효과라고 부릅니다[4].

어린이들이 이해하기 쉬운 비유 🎨

도서관에 있는 모든 책을 읽은 앵무새를 상상해 보세요. 그 앵무새는 이해 , 단어들을 조합하여 마치 지혜로운 말처럼 들리는 무언가를 만들어낼 수 있습니다. 때로는 완벽하게 맞아떨어지기도 하고, 때로는 엉뚱한 소리일 수도 있지만, 그 재치만 있다면 누가 맞는 말인지 구별하기 어려울 겁니다.

정리: AI 정보의 출처 📌

쉽게 말해서:

• 대규모 훈련 데이터 (공개 + 라이선스 + 트레이너 생성) [2].

• 인간의 피드백을 통해 음색/행동을 미세 조정합니다

• 실시간 데이터 스트림에 연결될 때의 검색 시스템

AI는 사물을 "알지" 않습니다. 텍스트를 예측합니다 . 이것이 AI의 초능력이자 아킬레스건입니다. 결론은 무엇일까요? 중요한 내용은 항상 신뢰할 수 있는 출처와 대조해 확인하십시오.[3]

참고 자료

1. Ouyang, L. et al. (2022). 인간의 피드백을 통해 지시를 따르도록 언어 모델을 훈련하는 것(InstructGPT) . arXiv .

2. OpenAI(2023). GPT-4 기술 보고서 ​​- 라이선스, 공개 및 인간 생성 데이터의 혼합; 다음 토큰 예측 목표 및 제한 사항. arXiv .

3. NIST(2023). AI 위험 관리 프레임워크(AI RMF 1.0) - 출처, 신뢰성 및 위험 통제. PDF .

4. Bender, EM, Gebru, T., McMillan-Major, A., Mitchell, S. (2021). 확률적 앵무새의 위험성에 대하여: 언어 모델이 너무 커질 수 있을까? PDF .

5. Lewis, P. et al. (2020). 지식 집약적 NLP를 위한 검색 증강 생성 . arXiv .

최신 AI 기술을 공식 AI 어시스턴트 스토어에서 만나보세요

회사 소개