"인간 중심 AI, 개발자 더불어 사용자·사회 동시 설계 필요" [FIND 제26회 서울국제금융포럼]

기조강연 제임스 렌데이 스탠퍼드대 교수(HAI연구소 이사)

"인간 중심의 인공지능(AI)을 만들기 위해 사용자, 커뮤니티, 사회 전체 등 3단계 수준에서 동시에 분석하고 설계해야 한다. AI 기술자뿐만 아니라 다양한 분야의 전문가들이 초기부터 설계에 참여하는 것도 중요하다."

파이낸셜뉴스가 23일 서울 여의도 페어몬트 앰버서더에서 개최한 '2025 FIND·제26회 서울국제금융포럼'에서 제임스 렌데이 스탠퍼드대 교수 겸 HAI연구소 이사는 'AI가 만들 미래금융의 모습과 금융산업의 대응 방안'이라는 주제로 기조연설을 통해 이 같이 말했다.

■'선한 AI' 다양한 시도

렌데이 교수는 "AI는 이미 수년 전부터 우리 삶에 깊이 들어와 있다"며 "이로 인해 긍정적인 결과뿐만 아니라 부정적인 결과도 발생하고 있다"고 언급했다. AI가 소셜네트워크서비스(SNS) 피드를 조작해 사람들의 감정을 악화시키고 분노 또는 기만을 유도해 민주주의를 위협하거나 게임 중독을 유도하는 경우 등이다.

미국의 재범 AI 알고리즘 '콤파스' 연구 사례처럼 범죄자 보석금 또는 형량 판단에 AI가 인종차별적으로 작용하거나 에어캐나다 사례처럼 챗봇이 잘못된 정보를 제공해 기업 평판에 타격을 준 경우, 정부가 차별적 알고리즘을 문제삼아 기업을 조사하거나 금융시스템을 노리는 범죄자들이 AI를 악용하는 사례 등도 언급됐다.

렌데이 교수는 "이 같은 사회적 문제로 인해 '선한 AI(AI for Good)'에 대한 다양한 시도를 보게 됐다"고 설명했다. 스탠퍼드대도 6년 전 'HAI연구소'(Human-Centered AI institute)를 설립했다. 그는 "HAI연구소는 AI를 더 인간친화적으로 설계해 사람들이 선호하지 않거나 서투른 부분을 대신하고 인간이 창의적이고 의미 있는 활동에 집중할 수 있도록 해야 한다고 믿는다"고 전했다. 렌데이 교수는 최근 '선한 AI'를 위한 다양한 시도들이 △AI의 위험성을 비판·경고하는 사회 과학자 접근 방식 △사회적 영향을 고려하지 않고 혼자서 문제를 해결하려는 기술자 중심 접근 방식으로 나뉜다고 설명했다.

다만 두 방식 모두 한계가 있다. 사회과학자 접근 방식은 문제를 피하는데 도움이 되지만 사전에 위험을 예측하고 설계하는 것이 필요하다. 기술자 중심의 접근은 문제 자체를 올바로 정의하지 못한다는 단점이 있다.

렌데이 교수는 "예를 들어 2016년 튜링상 수상자이자 2024년 물리학 노벨상 수상자인 제프 힌튼은 '5년 내 AI가 방사선 전문의를 능가할 것'이라며 관련 교육을 중단하자고 제안했지만 9년이 지난 지금도 AI는 방사선과 피부암 진단 등 여러 분야에서 인간을 완전히 대체하지 못하고 있다"고 지적했다.

그는 "커트 랭고츠 스탠퍼드대 방사선과 AI 전문가의 'AI가 방사선 전문의를 대체할까'라는 질문은 잘못됐다"며 "'AI를 사용하는 방사선 전문의가 AI를 사용하지 않는 방사선 전문의를 대체할 것'이 옳은 질문"이라고 부연했다.

■인간 중심 AI 개발 필요

렌데이 교수는 "AI가 인간 사회에 긍정적인 영향을 미칠 수 있기 위해서는 기술 자체뿐만 아니라 그 기술이 어떻게 설계되고, 누구를 위해 사용되며 사회 전반에 어떤 영향을 미치는 지에 대해 생각해야 한다"고 강조했다. AI를 인간 중심적으로 만들기 위해 △사용자 △커뮤니티 △사회 전체 수준에서 동시에 분석하고 설계해야 한다는 것이다.

예를 들어 판사가 형량을 결정하는데 AI 시스템을 활용한다면 변호사, 원고, 피고 등에게 미치는 영향 뿐 아니라 사회적인 영향도 함께 고려해야 한다.

렌데이 교수는 "AI 시스템을 만들 때 AI 전문가뿐만 아니라 사회공학, 인류, 인문학, 의학, 법학, 환경공학, 금융 등 각 분야별 전문가 등이 참여하는 진정한 팀이 필요하다"며 "시스템 개발 초기부터 참여해 의논한다면 사회에 긍정적인 영향을 미칠 수 있는 AI가 탄생할 수 있다"고 말했다. 그는 이 방법이 우리가 긍정적인 결과를 얻을 수 있는 유일한 길이라고 강조했다.

특별취재팀 박소현 팀장 예병정 서혜진 김태일 이승연 김동찬 박문수 이주미 김예지 김찬미 최아영 이동혁 기자