지난 3월 21일, 캘리포니아주 민권부 산하 민권위원회(Civil Rights Council)가 고용주가 AI 등 자동화 시스템을 인사에 활용할 때 차별을 방지하기 위한 최종 규정(Employment Regulations Regarding Automated Decision Systems[자동화 의사결정 시스템에 관한 고용 규정])을 채택했다. 골자는 채용, 승진, 보상 등 인사 관련 결정에 AI기반 자동화 결정 시스템 사용을 제한하는 것이다. 주 행정심의국(OAL)에서 최종 승인하면, 2025년 7월 1일부터 본격적으로 시행될 예정이다.
캘리포니아주 민권부 산하 민권위원회(Civil Rights Council)는 채용, 승진, 보상 등 인사 관련 결정에 AI기반 자동화 결정 시스템 사용을 제한, 자동화 의사결정 기술(ADMT)의 적용 범위를 축소하는 규정을 발표했다. (출처=Getty Images)
그러나 지난 4월 4일 캘리포니아 개인정보 보호 기관(CPPA) 이사회 회의에서 5시간의 논의 끝에, 자동화 의사결정 기술(ADMT)의 적용 범위가 축소되었다.
ADMT(Automated Decision-Making Technology) 규정 적용 범위 축소
당초 초안에서는 자동화 의사결정 기술(ADMT)이 인사 전반에 걸쳐 폭넓게 적용될 예정이었으나, 최종 규정에서는 그 적용 범위가 일부 축소됐다. 예를 들어, 단순한 내부 IT 운영 자동화나 비인사적·비차별적 목적으로 사용되는 일부 자동화 시스템은 규제 대상에서 제외됐다. 또한, 인사 결정에 실질적 영향을 미치지 않는 보조적 기술이나, 법령상 별도의 예외가 인정되는 경우 등은 적용 범위에서 빠졌다. 이에 따라, 실제로 차별 위험이 높은 인사 결정 과정에 집중해 규제가 이뤄지도록 조정됐다. 이는 업계의 우려와 실무적 부담을 반영해, 규제의 실효성과 균형을 동시에 고려한 결과로 평가된다.
AI 채용 확산으로 인한 차별 및 편향 문제로 제정
이번 규정이 제정된 배경에는 최근 몇 년간 AI와 자동화 기술이 채용, 승진, 평가 등 인사 전반에 빠르게 도입되면서 사회적 이슈로 급부상한 차별 및 편향 문제가 있다.
실제로 AI 채용 시스템이 과거 데이터의 편향을 학습해 인종, 성별, 연령, 장애 등 특정 집단에 불리한 결정을 내리는 사례가 국내외에서 잇따라 보고됐다. 아마존은 남성 지원자가 많았던 이력서 데이터를 학습한 AI 채용 시스템이 여성 지원자를 자동으로 불리하게 평가하는 현상을 인지해 도입을 중단했다. 미국 일부 기업에서 AI 면접 솔루션이 흑인 지원자의 언어적 특성을 제대로 인식하지 못해 낮은 점수를 주는 사례도 보고되었다.
캘리포니아주 민권위원회는 이러한 기술적 편의성 뒤에 숨겨진 잠재적 차별 위험을 선제적으로 차단하고, 공정한 고용 환경을 보장하기 위해 이번 규정을 마련했다고 설명했다.
ADS 정의 확장, 차별 금지, 기록 보관, 제3자 책임 등… 규정 추가
① AI·머신러닝·알고리즘 모두 규제 대상…ADS 정의 대폭 확대
이번 규정의 가장 큰 특징은 ‘자동화 의사결정 시스템(ADS)’의 정의를 대폭 확장했다는 점이다. 지금까진 AI나 머신러닝 등 첨단 기술만 규제 대상으로 삼는 경향이 있었으나, 규정에선 채용, 승진, 보상 등 고용 혜택에 관한 결정을 내리거나 지원하는 모든 계산 프로세스를 ADS로 규정했다. 이에 따라 알고리즘, 통계 등 다양한 데이터 처리 기술이 모두 ADS에 포함됐다.
즉, 단순한 이력서 자동 필터링 시스템부터 온라인 면접에서 지원자의 음성, 표정, 언어 등을 분석하는 첨단 AI 도구까지 모두 규제를 적용받게 된다.
다만, 최종 규정에서는 ADMT의 적용 범위가 일부 축소되어, 인사 결정에 실질적 영향을 미치지 않는 단순 자동화 도구 등은 규제 대상에서 제외됐다.
②차별 금지 조항 명확화…FEHA 위반 시 강력 제재
캘리포니아 공정고용주택법(FEHA) 제12940조는 ADS를 사용해 인종, 성별, 장애 같은 특성을 차별하는 행위는 명백한 불법으로 규정했다. 이번 규정은 이러한 차별 금지 조항을 더욱 명확히 한다.
고용주는 의도하지 않았더라도 도입한 ADS가 차별을 유발했을 경우, 강력한 법적 제재를 받을 수 있다. 특히, AI 시스템이 내리는 결정이 불투명하거나 데이터 편향 등으로 특정 집단에 불리하게 작용할 경우, 그에 대해 책임져야 한다.
③기록 보관 의무 강화…최소 4년간 모든 기록 보관
또한, 고용주에게는 ADS와 관련된 모든 기록을 최소 4년간 보관해야 하는 의무가 부과된다. 여기에는 지원서, 인사 기록, ADS가 생성한 데이터, 평가 결과 등 모든 관련 문서와 데이터가 포함된다. 차별 소송 등 법적 분쟁이 발생할 경우, 이 기록은 중요한 증거 자료로 활용된다. 기록 보관 의무를 위반한 고용주는 추가적인 책임을 질 수 있다.
기존 CCPA(캘리포니아 소비자 개인정보 보호법)에서는 위반 통지 후 30일 이내에 시정하면 행정처분이나 과징금을 피할 수 있다. 하지만 CPRA는 이 조항을 즉시 행정처분 및 과징금 부과가 가능하도록 변경했다. 구체적으로는 CPRA(AB 1490, 2020)에서 ‘cure period(교정 기간)’ 관련 문구(California Civil Code Section 1798.155(a))가 삭제되었다. 이로 인해 캘리포니아 프라이버시 보호국(CPPA) 및 법무장관이 위반 적발 시 바로 처분을 내릴 수 있게 되었다.
④제3자(벤더) 책임 확대…외부 시스템도 규제 대상
이번 규정은 고용주뿐만 아니라, 고용주를 대신해 ADS를 개발하거나 운영하는 제3자(벤더)에게도 법적 책임을 부과한다. 즉, 외부에서 개발한 AI 채용 도구나 인사 자동화 시스템을 도입한 경우, 해당 시스템이 차별을 유발하면 벤더 역시 법적 책임을 질 수 있다.
이에 따라 기업은 외부 벤더와 계약할 때, 해당 시스템이 캘리포니아 규정을 준수하는지 반드시 확인해야 한다. 벤더 역시 시스템의 공정성 및 투명성을 입증할 수 있어야 한다.
⑤편향성 테스트 및 사전 조치 권장…방어 논리로 활용 가능
고용주에게는 ADS의 편향성을 미리 테스트하고, 차별 방지 조치를 취할 것을 강조했다. 예를 들어, AI 채용 시스템이 특정 집단에 불리하게 작용하지 않도록 알고리즘을 정기적으로 점검하고, 데이터 편향을 최소화하는 조치를 취했다고 입증할 근거를 마련해 두는 식이다. 고용주가 이러한 노력을 했다고 입증할 수 있다면, 추후 법적 분쟁 시 중요한 방어 근거로 활용할 수 있다.
이번 규정은 캘리포니아에서 AI 기반 채용 도구를 사용하는 모든 기업에 중대한 영향을 미칠 전망이다. 이미 많은 기업이 효율성과 공정성을 높이기 위해 이력서 자동 필터링, 온라인 면접 AI 평가, 적성 검사 등 다양한 자동화 도구를 도입했다. 앞으로는 이러한 도구가 차별을 유발하지 않는지 사전에 철저히 점검해야 하며, 관련 기록을 체계적으로 관리해야 한다. 외부 벤더의 시스템이 규정을 준수하는지 확인하는 절차도 필수적이다.
가장 포괄적이고 강력한 규정… 앞으로 더욱 중요해질 ‘공정성’과 ‘투명성’
이번 규정은 미국 전체 주(州) 단위에서 가장 포괄적이고 강력한 규정을 도입한 사례로 평가받는다. 다만, 캘리포니아가 최초로 도입했다고 볼 수는 없다. 일리노이주는 2020년부터 AI를 활용한 영상 면접 도구 사용 시 지원자에게 사전 고지 및 동의를 받도록 하는 법을 시행 중이다. 메릴랜드주 역시 AI 면접 분석 도구 사용 시 지원자 동의를 의무화하는 법을 도입했다. 뉴욕시는 2023년 7월부터 AI 채용 도구의 편향성 감사를 의무화하는 ‘Local Law 144’를 시행하고 있다. 이 법은 고용주가 자동화 채용 도구를 사용할 경우, 연 1회 이상 독립적인 편향성 감사를 받고 그 결과를 공개하도록 규정한다.
BKL 로펌 변호사는 캘리포니아주의 이번 조치가 AI 기술을 활용한 인사 결정의 효율성을 높이면서, 차별을 방지하고 공정한 고용 관행을 촉진한다고 평가했다. AI와 자동화 기술이 빠르게 확산되는 가운데, 편의성 뒤에 숨겨진 잠재적 차별 문제를 선제적으로 차단하겠다는 의지라고 해석했다. 다른 주와 기업에도 적지 않은 파급 효과를 미칠 것으로 보이며, 향후 AI 인사 시스템의 개발 및 도입에 있어 ‘공정성’과 ‘투명성’이 더욱 중요한 기준이 될 전망이다.
현재 연세대에서 정치외교학을 전공하고 있습니다. 대학생의 시각으로 실리콘밸리 스타트업 이야기를 생생하게, 법률 정보는 유익하고 쉽게 전달하겠습니다.
"As a student at Yonsei University studying Political Science and International Relations, I offer a fresh, relatable perspective on Silicon Valley startups. My goal is to make legal information beneficial and easy to understand."