SailPoint CEO: AI 에이전트, 최악의 상황 방지 위해 '킬 스위치' 필요

인간은 AI 에이전트가 비즈니스에 해를 끼칠 경우 즉시 잠재울 수 있어야 합니다.

"우리는 발견, 거버넌스, 보호에 대해 이야기합니다. 궁극적인 보호는 킬 스위치입니다"라고 SailPoint (SAIL) CEO Mark McClain은 Yahoo Finance의 Sozzi Unleashed에서 말했습니다. "하지만 우리는 또한 정교하지 않은 킬 스위치에는 위험이 따른다는 점을 사람들이 이해하도록 노력하기 시작했습니다."

SailPoint는 시가총액이 120억 달러에 육박하는 주요 사이버 보안 업체입니다.

McClain은 킬 스위치 개념에 대해 몇 가지 오해가 떠돌고 있다고 언급했습니다. "킬 스위치 아이디어를 전파하고 있는 일부 사람들은 실제로 무엇이 잘못될 수 있는지에 대해 매우 명확한 가시성을 가지고 있지 않습니다"라고 그는 말했습니다.

"군중 속에 나쁜 놈이 있다면, 그 나쁜 놈을 잡으려고 군중 속으로 그냥 총을 쏴서 수많은 선량한 사람들을 해치고 싶지는 않을 것입니다"라고 McClain은 덧붙였습니다. "무엇이 정확히 나쁜 것인지 매우 명확하고 정밀하게 파악해야 하며, 일어나고 있는 좋은 일들에 해를 끼치지 않도록 해야 합니다. 따라서 킬 스위치의 개념은 정확히 무엇이 잘못되었는지 또는 무엇이 잘못될 수 있는지에 대한 정밀함과 명확성을 가지고 그 하나의 나쁜 것에만 집중할 수 있다면 훌륭합니다."

더 읽어보기: AI 에이전트가 통제 불능 상태가 되고 있으며, 소송은 지저분해질 것입니다

McClain의 이러한 상황 판단은 기술 산업이 더욱 강력해지는 AI의 안전성에 대한 대중의 항의에 직면한 가운데 나왔습니다.

OpenAI (OPAI.PVT) CEO Sam Altman은 이번 주 Politico와의 인터뷰에서 사람들이 AI의 의도치 않은 부정적인 결과를 받아들여야 한다고 말하며 시작했습니다.

Altman과 그의 라이벌인 Anthropic (ANTH.PVT) CEO Dario Amodei의 수주간에 걸친 AI 경고 이후, 기술 산업은 지난주 대중적인 통합의 모습을 보여주기 위해 결집했습니다.

Trump 대통령과 가장 강력한 AI 기업의 CEO들은 백악관 오찬에서 일련의 자발적인 안전 기준에 서명했습니다. 이는 Amodei와 최고 연구원들의 혹독한 경고 이후 AI에 대한 더욱 엄격한 통제를 요구하는 목소리가 높아지는 가운데 이루어졌습니다.

"어떤 면에서는 거의 헌법과 같습니다"라고 Trump는 행사가 끝난 후 새로운 기준에 대해 말했습니다.

Trump와 함께 Tesla (TSLA) 및 SpaceX (SPCX) CEO Elon Musk, Meta의 (META) Mark Zuckerberg, Anthropic의 Amodei, Nvidia의 (NVDA) Jensen Huang, OpenAI의 Greg Brockman, Google의 (GOOG, GOOGL) Sundar Pichai 등 엘리트 기술계 인사들이 참석했습니다.

월스트리트 저널은 여러 기술 경영진이 오찬에서 Amodei를 따로 불러 그가 왜 AI 위험에 대해 그렇게 공개적으로 경고해 왔는지 논의했다고 보도했습니다.

ZScaler (ZS) 설립자이자 CEO인 Jay Chaudhry는 화요일 Yahoo Finance에 전 세계가 AI의 부정적인 결과를 받아들이도록 강요받는 것은 용납할 수 없다고 말했습니다.