В чем проявляется предвзятость ии?

а человек не предвзятый что ли. эйчар по фотке отсеивает и ничего

Коротко вывод: предвзятость это не злой умысел разработчика, а перенос перекосов из данных в решения, и в отборе резюме она видна лучше всего.

Почему она возникает. Модель учится на прошлых решениях. Если раньше на определённые роли брали людей одного профиля, система считает такой профиль признаком успеха и воспроизводит прежний найм, только быстрее и в большем объёме.

Почему её не видно. Прямых признаков вроде пола и возраста в модели может не быть вовсе. Их заменяют косвенные: название вуза, район проживания, перерыв в стаже, формулировки в резюме, увлечения. Убрать графу с полом недостаточно, модель восстанавливает её по десятку мелочей.

Почему не устаёт это не аргумент. Усталый человек ошибается случайно и по-разному, и часть ошибок гасится тем, что резюме смотрят несколько людей. Система ошибается систематически: один и тот же перекос применяется ко всем кандидатам, каждый день, и внешне это выглядит как порядок.

Почему дальше становится хуже. Если модель отсеяла определённую группу, эти люди не попадают в компанию, значит не появляются в новых данных, значит следующая версия модели уверена в своей правоте ещё сильнее.

Где это проявляется помимо найма. Кредитный скоринг с отказами по географии, распознавание лиц с падением точности на группах, слабо представленных в обучении, медицинские модели, обученные на населении одной страны, переводчики, приписывающие профессиям род по стереотипу.

Что с этим делают на практике. Сравнивают долю прошедших отбор по группам, проверяют модель на контрольных наборах, оставляют финальное решение за человеком и ведут журнал отказов, чтобы перекос можно было заметить. Если ничего этого во внедрении не предусмотрено, ваш скепсис обоснован.

Ваш эйчар прав ровно в одном: модель не устаёт. Она устойчиво ошибается одинаково, а это хуже усталости.

Человек хотя бы разный и в разном настроении. Модель ошибается одинаково по всей выборке, каждый день, и очень уверенно.