AI 도입의 이면과 ESG의 새로운 과제: 책임 있는 AI로 지속가능한 기업가치를 증명하라

최근 한국 기업들은 앞다투어 AI 기술 개발과 도입을 선언하며 생산성 향상과 비용 절감, 새로운 비즈니스 기회 창출을 강조하고 있다. 이러한 흐름은 자연스럽고 필연적인 변화로 보인다. 그러나 이와 동시에 간과되고 있는 중요한 질문이 있다. AI를 얼마나 빠르게 도입했는가가 아니라, 그 기술을 얼마나 책임 있게 통제하고 운영할 수 있는가에 대한 준비가 되어 있는가라는 점이다.

AI 기술의 상용화가 먼저 이루어진 미국의 최근 사례들은 윤리적 통제와 거버넌스가 결여된 AI 도입이 기업과 사회에 얼마나 막대한 비용과 재앙을 초래할 수 있는지 보여준다. 한국 기업이 진정으로 장기적인 기업가치를 제고하고자 한다면, 미국에서 발생하고 있는 AI의 폐해를 반면교사 삼아 ‘책임 있는 AI(Responsible AI)’ 원칙이 필요하다.

여론 조작과 민주적 절차의 훼손(Governance 리스크)

AI는 대중의 의견을 조작하고 민주적인 결정 과정을 방해하는 강력한 도구로 전락할 수 있다. 최근 미국 남가주 대기질 관리 규제 기관(South Coast Air Quality Management District)이 스모그를 유발하는 가스 기반 가전기기 규제를 추진할 당시, AI 기반 플랫폼인 CiviClick이 생성한 2만 개 이상의 반대 의견이 쏟아지며 결국 규제가 무산되는 사건이 발생했다. 2만 개의 반대 이메일 중 상당수는 명의를 도용당한 것으로 추정되고 있다. 전문가들은 이를 디지털 아스트로터핑(Digital Astroturfing, 가짜 풀뿌리 운동)의 진화로 규정하며, AI가 대중의 진짜 요구를 왜곡하여 정치인과 시민 간의 정상적 의사소통을 파괴할 수 있다고 경고한다. 기업이 대관 업무나 마케팅에 이러한 AI 봇을 무분별하게 활용하여 여론을 조작하려 든다면, 이는 심각한 거버넌스 실패이자 법적 처벌과 기업 평판의 영구적 훼손을 초래할 수 있다.

개인정보의 상업적 착취와 사생활 침해(Social 리스크)

지난 주 OpenAI의 핵심 연구원 중 하나인 조이 히치그(Zoë Hitzig)는 뉴욕타임즈 사설을 통해 챗GPT에 광고가 도입되는 것에 반발하며 퇴사하였다. 히치그는 사용자들이 챗봇을 의도나 목적이 없는 존재로 믿고 자신의 건강이나 인간관계 등 민감한 개인정보를 제공하며 사용하고 있으나, 이러한 사용자 정보를 상업적 광고에 활용하는 것은 돌이킬 수 없는 프라이버시 침해가 될 수 있다고 지적했다. OpenAI는 사용자 프롬프트에서 추출 가능한 개인 정보를 광고에 사용하지 않을 예정이라고 밝혔으나 히치크는 회사가 사용 과정에서 축적한 방대한 데이터를 기반으로 광고나 영향력 행사에 활용될 가능성을 경고했다. 고객의 데이터를 보호하지 못하는 기업은 결코 시장의 신뢰를 유지할 수 없다.

편향된 AI 알고리즘을 통한 차별과 사회적 배제(Social 리스크)

미국 보건복지부는 트럼프 대통령의 행정명령에 따라 Palantir와 Credal AI의 AI 툴을 활용해 복지 프로그램 등에서 다양성, 형평성, 포용성(DEI) 및 젠더 이데올로기와 관련된 단어들을 색출하고 지원금을 차단하는 감사를 진행했다. 이로 인해 트랜스젠더 등 성소수자를 비롯한 취약 계층이 연방 지원 프로그램에서 배제되고 있다. 기업이 사용하는 AI 모델이 특정 정치적 편향성이나 차별적 논리를 학습하여 인사 채용, 대출 심사, 보험 심사, 고객 서비스 등에 적용될 경우 기업은 막대한 소송 리스크와 사회적 지탄에 직면하게 될 수 있다.

전쟁, 폭력과 기업의 윤리적 가치관 상실(Governance 리스크)

‘안전한 AI’를 기업의 최우선 가치로 내세웠던 Anthropic조차 자사의 AI 모델 Claude가 Palantir의 미 국방부 계약을 통해 베네수엘라 마두로 대통령 납치 및 폭격 작전에 활용된 것으로 드러나 큰 논란에 휩싸였다. 자사의 기술이 치명적인 무기로 사용되는 것을 반대해 온 Anthropic CEO 다리오 아모데이(Dario Amodei)의 입장에도 불구하고, 미 국방장관은 “전쟁을 치르지 못하게 하는 AI 모델은 사용하지 않겠다”며 기업을 압박했다. 또한, Anthropic의 안전 연구를 총괄한 므리낭 샤르마(Mrinank Sharma)는 상업적·외부적 압박 속에서 윤리적 가치를 지키기 어렵다는 절망감을 토로하며 사임했다. 이는 AI 기술이 강력해질수록 기업의 통제권을 벗어나 악용될 위험이 크다는 것을 시사한다.

위 사례들은 모두 지난 한 주 동안 언론에서 밝혀진 것들이며 공통적으로 AI 리스크가 기술 자체의 문제가 아니라, 그 기술을 어떻게 통제하고 책임질 것인가에 대한 거버넌스의 문제임을 시사한다. 미국의 잇따른 내부 폭로와 스캔들은 AI의 남용이 민주주의 훼손, 프라이버시 침해, 차별 조장, 군사적 충돌이라는 연쇄적인 파국을 낳을 수 있음을 보여준다. AI 기술이 강력해질수록 기업의 의도와 무관하게 다양한 방식으로 활용될 수 있으며, 이에 대한 책임 또한 기업이 부담하게 된다.

한국 기업들은 AI 도입 속도를 자랑하기 이전에, AI 알고리즘의 편향성을 어떻게 검증할 것인지, 고객의 데이터를 어떻게 보호할 것인지, 그리고 해당 기술이 의도하지 않은 방식으로 활용될 경우 그 책임을 누가, 어떻게 부담할 것인지에 대한 명확한 윤리 원칙과 거버넌스 체계를 구축하고, 이를 투명하게 공개하여 사용자와 시민의 신뢰를 얻어야한다. 결국 AI 시대의 경쟁력은 기술 도입의 속도가 아니라 신뢰를 구축하는 능력에서 결정된다. AI 도입 초기에 데이터를 많이 보유한 기업이 경쟁력을 가졌다면, 앞으로는 데이터를 얼마나 책임 있게 활용하고 통제하는지가 기업가치의 핵심 변수로 작용할 것이다. 기업이 ‘책임 있는 AI’ 원칙을 구축하지 못한다면, AI는 성장의 동력이 아니라 리스크의 근원이 될 수 있다.

안전벨트 없는 스포츠카는 결국 대형 사고를 피할 수 없다. 한국 기업들이 윤리적 방어막 없이 눈앞의 이익과 AI 트렌드만을 좇는다면, 머지않아 막대한 사회적 비용과 규제 리스크라는 부메랑을 맞고 심각한 기업가치 하락을 겪을 수 있다. 지금 한국 기업들에게 필요한 것은 AI 도입 선언과 함께 AI를 어떻게 통제하고 책임질 것인가에 대한 명확한 답이다. 그것만이 다가오는 AI 시대에 한국 기업이 글로벌 시장에서 지속가능한 생존과 가치 제고를 이룰 수 있는 유일한 길이다.