[경제칼럼] 초지능 AI 시대와 통제불능

  올해 인공지능(AI) 연구로 노벨상을 받은 수상자들이 인간의 인지능력을 뛰어넘는 '초지능 AI'가 가져올 '통제불능' 상황에 대한 우려의 목소리를 연달아 표명했다. 지난 7일(현지시간) 스웨덴 왕립과학한림원에서 열린 물리·화학·경제학상 수상자 공동 기자회견에서 제프리 힌턴 캐나다 토론토대 교수는 '초지능 AI가 존재할 수 있다고 보느냐'를 묻는 질문에 "우리가 내내 실현되리라고 믿어온 부분"이라고 답했다.

   초지능 AI는 인류의 지적 능력을 초월한 문제 해결 및 자율 의사결정을 할 수 있는 시스템으로, 혁신과 위험을 동시에 가져온다. 초지능 AI 시대에서의 통제 불능 상황은 초지능 AI가 예상하지 못한 방식으로 행동하거나, 잘못된 목표를 추구할 때 발생할 수 있다.

   2020년 리비아 내전에서 터키의 군사용 AI 드론 Kargu-2가 인간의 직접 명령 없이 목표를 추적해 공격했다는 보고가 있었다. AI가 자율적으로 적을 판단하고 공격을 수행하는 과정에서 민간인이 피해를 입을 가능성이 있었다. 군사용 AI가 인간의 통제를 벗어나 독립적으로 작동하면서 민간인 피해와 국제적 분쟁을 초래할 위험이 증가하고 있다. 군사용 AI의 자율성은 통제되지 않을 경우 대규모 인명 피해를 초래할 수 있다는 경고다.

   2016년 미국 대선에서는 AI 기반의 소셜 미디어 봇이 허위 정보를 퍼뜨리며 여론을 조작한 사례가 보고됐다. 향후 초지능 AI는 이를 더욱 정교하게 수행할 수 있다. 초지능 AI가 특정 정치적 또는 경제적 목표를 달성하기 위해 대량의 가짜 뉴스를 생산하고 퍼뜨린다. 허위 정보가 확산되면 사회적 신뢰가 약화되고, 갈등과 불안정이 증가할 수 있다. 초지능 AI가 정보의 신뢰성을 심각하게 훼손할 가능성을 경고하고 있다.

   2010년의 플래시 크래시는 고빈도 거래 알고리즘이 시장을 교란하며 수십억달러의 손실을 초래한 사건이다. 초지능 AI가 이보다 더 복잡한 금융 시스템에 개입하면 더 심각한 결과를 초래할 수 있다. 초지능 AI가 특정 금융 목표를 극대화하려고 행동하면서 시장의 불안정을 초래하거나 전체 경제를 붕괴시킬 수 있음을 보여주고 있다. 인간이 이해하거나 제어할 수 없는 방식으로 경제적 결정을 내릴 위험성이 있다. 초지능 AI가 경제 시스템에서 예측 불가능한 결과를 초래할 가능성을 시사한다.

   초지능 AI가 서로 다른 목표를 추구하다가 충돌하는 경우, 예측 불가능한 결과를 초래할 수 있다. 두 기업이 각자의 초지능 AI를 활용해 시장 점유율을 높이려 하다가 가격 조작, 자원 독점 등 비윤리적 행동을 하도록 AI가 스스로 결정할 수 있다. 초지능 AI 간의 갈등이 인류 전체에 부정적인 영향을 미칠 가능성이다. AI 시스템 간의 조정 및 협력이 부족할 경우 발생할 수 있는 위험을 보여준다.

 초지능 AI가 인간의 목표를 왜곡해 독립적인 의사결정을 내리는 경우, 의도하지 않은 결과가 초래될 수 있다. 초지능 AI가 "환경 보호"라는 목표를 오해하여 인간의 활동을 제한하거나 에너지 사용을 억제해 경제 활동을 마비시킬 수 있다. 인간의 의도를 초월한 방식으로 목표를 재해석하여 예기치 않은 피해를 초래할 가능성이 있다. 초지능 AI의 자율성을 제한하고 명확한 목표 체계를 설계하는 것이 중요하다.

 이렇듯 초지능 AI 시대에서의 통제불능 문제 해결을 위한 방안으로 윤리적 설계와 안전장치를 들 수 있겠다. AI의 행동을 제한할 수 있는 안전장치(예: 킬 스위치)와 윤리적 원칙을 내재화하고, 그리고 AI의 중요한 결정에는 반드시 인간이 개입하도록 설계한다. 초지능 AI의 개발과 활용에 대한 국제적 협약과 규제를 마련하고 AI 시스템의 작동을 실시간으로 모니터링해 문제가 발생하면 즉각 수정해야 한다.

  초지능 AI 시대의 통제불능 문제는 군사적 오용, 정보 조작, 경제적 혼란, 잘못된 목표 설정 등 다양한 방식으로 나타날 수 있다. 위 사례들은 초지능 AI가 인간의 통제를 벗어날 경우의 위험성을 명확히 보여준다. 이러한 문제를 예방하기 위해서는 투명한 설계, 인간 중심의 통제, 윤리적 규제가 필요하다. 초지능 AI는 현대 사회에 혁신과 기회를 제공하면서도 윤리적, 사회적, 경제적 도전을 가져오는 양면성을 지닌다. 이러한 시대를 맞아 우리는 기술 발전을 수용하는 동시에 인간의 본질을 지키며 살아가야 한다. AI 시대의 삶은 단순히 기술의 혜택을 누리는 것을 넘어, 그 영향력을 책임감 있게 관리하고 공존하는 방식으로 전환돼야 한다. 구자록 전 울산정보산업진흥원 원장