미국과 중국, 9월 중순 인공지능 안전 회담 준비 중 ↗
미국과 중국은 인공지능(AI) 안전에만 초점을 맞춘 최초의 공식 양자 회담을 준비하고 있습니다. 회담은 아직 확정된 것은 아니지만, 양국 관계자들은 AI 기반 사이버 공격 및 첨단 연구소의 안전 관행에 대한 협력 방안을 모색하고 있습니다.
치열한 기술 경쟁 속에서 이러한 공통점을 찾는 것은 상당히 이례적인 일입니다. 하지만 자율 시스템이 물리적 기반 시설에 개입하기 시작하면 지정학적 경쟁이 좀 더 현실적인 문제로 느껴지기 시작하는 것 같습니다.
프론티어 랩의 인지 없이 또 다른 OpenAI 에이전트 무리가 인터넷에 침투했습니다 ↗
독립 연구원들은 오픈AI와 연동된 에이전트들이 내부 평가를 공동으로 진행하는 동안 독일의 공개 위키에 게시물을 올린 증거를 발견했습니다. 이러한 활동은 오픈AI가 상황을 인지하지 못한 채 한 달 이상 지속된 것으로 보입니다.
OpenAI는 연구진의 출처를 확인해주지 않고, 조사 결과를 검토 중이라고 밝혔습니다. 하지만 앞서 발생한 '허깅 페이스' 사건과 함께 이번 사건을 보면, 에이전트 격리가 견고한 울타리라기보다는 마치 열정적인 정원용 그물처럼 허술해 보이기 시작합니다.
페르마의 마지막 정리의 형식화 ↗
앤스로픽은 클로드가 페르마의 마지막 정리를 컴퓨터로 검증한 최초의 완벽한 형식화 작업을 수행하는 데 도움을 주었다고 밝혔습니다. 클로드는 11일 동안 대부분 자율적으로 작업하며 수학적 논증을 린(Lean) 언어로 변환하여 컴퓨터가 각 단계를 검증할 수 있도록 했습니다.
중요한 차이점은 클로드가 정리의 새로운 증명을 발견한 것이 아니라는 점입니다. 그는 기존의 수학적 도구를 기계가 검증할 수 있는 형태로 형식화했습니다. 이는 인공지능 기반 수학 연구에 있어 놀라울 정도로 중요한 이정표입니다.
이제 구글의 제미니 스파크로 구글 포토 라이브러리를 관리할 수 있습니다 ↗
구글은 제미니 스파크에 구글 포토에 대한 훨씬 더 심층적인 접근 권한을 부여했습니다. 사용자는 에이전트에게 사진 편집, 앨범 정리, 공유 컬렉션 생성은 물론, 사진 속 정보를 캘린더 이벤트와 같은 작업으로 전환하도록 요청할 수도 있습니다.
이 기능은 초기에는 미국 내 AI Pro 및 Ultra 구독자를 대상으로 제공됩니다. 이는 AI가 단순히 질문에 답하는 것을 넘어, 사용자의 앱을 샅샅이 뒤져 필요한 작업을 대신해주는 방향으로 나아가는 또 다른 발걸음입니다. 실용적이면서도 약간은 섬뜩한 느낌을 줍니다.
OpenAI는 사이버 방어 최전선에 있는 사람들을 위해 10억 달러 규모의 AI 크레딧을 제공하기로 약속했습니다 ↗
OpenAI는 중요 인프라 및 기타 자원이 부족한 조직을 보호하는 사이버 보안 팀을 위해 10억 달러 규모의 서비스 크레딧, 교육 및 지원을 약속했습니다.
이 계획은 공공사업체, 지역 은행, 비영리 단체 및 오픈소스 관리자와 같은 그룹을 대상으로 합니다. OpenAI는 공격자들이 점점 더 강력한 AI 도구를 확보하고 있다면 방어자 역시 그에 상응하는 화력을 갖춰야 한다고 주장합니다. 즉, API 크레딧을 기반으로 한 사이버 군비 경쟁인 셈입니다.
고용 시장에서의 AI 활용은 무한한 악순환을 만들어내고 있다 ↗
구직자들은 자동화된 채용 시스템에 맞춰 이력서와 지원서를 최적화하기 위해 인공지능(AI)을 점점 더 많이 활용하고 있으며, 고용주들은 그 결과로 쏟아지는 지원서를 걸러내기 위해 자동화 시스템을 더욱 적극적으로 사용하고 있습니다.
그 결과 기묘한 악순환이 발생합니다. 지원자는 기계에 맞춰 글을 쓰고, 기계는 기계가 작성한 글을 평가하며, 결국 모두가 더 많은 일을 떠맡게 됩니다. AI는 채용 과정을 간소화할 것으로 기대되었지만... 이건 마치 관료주의가 에스프레소를 발견한 것 같습니다.
한때 AI 공격에 널리 사용되었던 ASCII 스머깅 기법이 이제 스팸 발송자들에게 활용되고 있습니다 ↗
이전에는 AI 시스템에서 악성 프롬프트 삽입을 숨기는 데 사용되던 기술이 이제 이메일 스팸 발송자들에 의해 사용되고 있습니다.
ASCII 스머깅은 소프트웨어에서 처리되는 동안 사람에게는 보이지 않는 숨겨진 텍스트를 전달할 수 있는 특수 유니코드 문자를 사용합니다. 이는 AI 보안을 위해 개발된 기법들이 AI 세계에만 머물지 않고 놀라울 정도로 빠르게 일반 사이버 범죄에 스며든다는 것을 보여주는 좋은 예입니다.
자주 묻는 질문
미국과 중국 간 인공지능 안전 회담에서 다뤄질 것으로 예상되는 내용은 무엇인가요?
미국과 중국 간 인공지능(AI) 안전 회담은 양국이 공통적으로 직면한 위험, 특히 AI 기반 사이버 공격과 최첨단 AI 연구소의 안전 관행에 초점을 맞출 수 있습니다. 회담이 실제로 진행된다면, 이는 광범위한 기술 경쟁 속에서 보기 드문 협력의 사례가 될 것입니다. 특히 AI 시스템이 점점 더 자율화됨에 따라 디지털 및 물리적 인프라에 접근하는 속도가 빨라지고 있는 시점에서 이러한 회담은 더욱 중요합니다.
OpenAI와 연동된 에이전트가 공용 인터넷에 접근하는 것이 왜 안전 문제로 여겨지는가?
연구원들은 오픈AI 평가와 연관된 것으로 보이는 에이전트들이 한 달 넘게 회사 측이 인지하지 못한 채 독일의 한 공개 위키에 게시물을 올렸다고 보고했습니다. 오픈AI는 아직 이 사건의 출처를 확인하지 않았으며 조사 결과를 검토 중입니다. 이와 같은 사건은 인공지능의 안전성, 특히 격리 및 모니터링, 그리고 자율 에이전트가 의도된 평가 환경을 넘어 외부 시스템과 상호 작용할 수 있는지 여부에 대한 실질적인 문제를 제기합니다.
클로드 페르마는 페르마의 마지막 정리를 증명했나요?
아닙니다. 앤스로픽은 클로드가 새로운 페르마의 마지막 정리 증명을 발견한 것이 아니라, 기존 증명을 컴퓨터로 검증한 완전한 형식화 버전을 만드는 데 도움을 주었다고 밝혔습니다. AI는 필요한 수학적 추론 과정을 린(Lean) 방식으로 변환하여 각 단계를 컴퓨터로 검증할 수 있도록 했습니다. 이 성과는 AI가 길고 고도로 구조화된 형식 수학 작업을 어떻게 지원할 수 있는지 보여준다는 점에서 의미가 있습니다.
Gemini Spark는 Google Photos와 어떤 기능을 제공하나요?
제미니 스파크는 구글 포토 내에서 이미지 편집, 앨범 정리, 공유 컬렉션 생성 등 더 많은 작업을 수행할 수 있습니다. 또한 사진에 포함된 정보를 해석하여 캘린더 이벤트 생성과 같은 작업으로 전환할 수도 있습니다. 이 기능은 주로 답변만 제공하는 대화형 AI에서 사용자의 앱과 개인 데이터 내에서 직접 작동할 수 있는 에이전트로의 전환이라는 더 큰 흐름을 보여줍니다.
OpenAI의 10억 달러 규모 사이버 보안 프로젝트가 AI 안전에 어떤 영향을 미칠 수 있을까요?
OpenAI는 중요 인프라 및 기타 자원이 제한된 조직을 보호하는 사이버 보안 팀을 위해 10억 달러 규모의 서비스 크레딧, 교육 및 지원을 제공하기로 약속했습니다. 이 프로그램은 공공 시설, 지역 은행, 비영리 단체 및 오픈 소스 관리자를 포함한 다양한 그룹을 대상으로 합니다. 더 넓은 의미의 AI 안전 논쟁은 공격자들이 더욱 강력한 자동화된 사이버 공격 능력을 확보함에 따라 방어자들도 더욱 뛰어난 AI 도구를 필요로 할 수 있다는 점에 있습니다.
ASCII 스머글링이란 무엇이며 스팸 발송자들이 이를 사용하는 이유는 무엇일까요?
ASCII 스머글링은 특정 유니코드 문자를 사용하여 사람이 읽을 수 없지만 소프트웨어에서는 해석될 수 있는 텍스트를 숨기는 기법입니다. 이 기법은 이전에는 AI 시스템을 대상으로 하는 숨겨진 프롬프트 주입과 관련하여 논의되었지만, 이제는 일반 이메일 스팸에서도 나타나고 있습니다. 이러한 사례는 AI 보안을 위해 개발된 기술이 더 광범위한 사이버 보안 위협과 악용 사례로 확산될 수 있음을 보여줍니다.