의료 AI가 진단 보조를 넘어 치료 판단에 영향을 주기 시작하면서, 모델이 어떤 가치관을 바탕으로 결론을 내리는지 확인해야 한다는 문제가 제기됐다. 하버드대학교 하버드 의과대학의 아이작 코헤인 교수는 하버드 가제트 인터뷰에서 의료 AI의 성능을 볼 때 정확도와 효율성만으로는 충분하지 않다고 설명했다. 그는 휴먼 밸류스 프로젝트를 통해 여러 나라 의사들과 AI 모델에 같은 의료 윤리 질문을 제시하고, 응답 차이로 모델에 내재된 판단 성향을 비교하고 있다고 밝혔다.
예시로 제시된 거식증 환자 사례에서는 환자의 치료 거부를 존중할지, 건강 보호를 위해 강제로 영양 공급관을 삽입할지를 두고 의사들의 판단도 절반가량으로 갈렸다. AI 모델들도 서로 다른 결론을 냈다. 연구에서는 미국 의사들이 다른 지역 의료진보다 환자 자율성을 더 중시하는 경향이 있었고, 조사된 AI는 평균적으로 미국 의사보다 자율성을 덜 우선했다. 또 모델마다 자율성, 선행, 정의 가운데 더 중시하는 기준이 달라 같은 질문에도 권고가 바뀔 수 있었다. 의료기관이 특정 모델 하나를 선택해 쓰는 현실에서, 이 차이는 실제 의료 의사결정에 영향을 줄 수 있다.