ИИ в рекрутинге: где и почему он ошибается

Неужели мечта многих работодателей о полной роботизации процесса подбора персонала обретает видимую форму? Не будем спешить с выводами…

Совсем недавно X5 Retail Group объявила о первом тестовом запуске полного цикла массового подбора персонала. Положительная сторона, о которой, конечно же, торжественно заявляется в корпоративных публикациях — тестовый запуск показал повышение качества отбора кандидатов на 85%.

В новости важна не цифра, указывающая на огромный скачок в качестве подбора, а то, что это именно полный цикл. То есть, ИИ делает первый ход и доводит эту шахматную партию до конца без участия человека. Робот сам анализирует и подбирает под вакансию размещенные на портале резюме, сам связывается и общается с кандидатами, а затем выдаёт свой вердикт о целесообразности оффера данному кандидату.

Более того, в публикации утверждается, что общение с роботом почти невозможно отличить от общения с человеком, поскольку ИИ чётко следит за контекстом общения, использует эмодзи и даёт обратную связь — то есть, подаёт человеку сигналы, что он его слышит и понимает.

Робот понимает человека — вот, пожалуй, самый главный прорыв в современных технологиях, о котором нам говорит сообщение компании X5. В публикации сообщается, что ИИ, которым пользуется Х5, умеет отличать резюме, написанные другим ИИ, от резюме человека, а также анализирует не только лексику ответов, но и поведение человека во время интервью, включая интонации речи.

Как отличить «иишницу»

В сетевом сленге сейчас появилось забавное слово «иишница» для обозначения всего, что умные роботы изготавливают по запросам людей. Отличить иишницу среди резюме соискателей работы — дело не такое уж трудное. Есть несколько очень чётких параметров:

• нейросети построены на использовании текстовых паттернов, то есть наиболее характерных словосочетаний — можно определить характерные паттерны, которые воспроизводят в своих текстах роботы;
• нейросети обучаются на том, что проверять и соблюдать логичность высказываний, связность идей, их изложения и контекста — можно определить, что текст написан роботом, если в них соблюдаются все эти правила только формально, без более глубокой смысловой связи;
• нейросети тяготеют к шаблонам, поскольку в этом суть их работы — соответственно, именно по обильному совпадению с распространёнными шаблонами можно распознать текст, составленный роботом.

Это не все, но наиболее типичные способы определения иишницы. Мы привели их здесь, чтобы был понятен общий принцип. Такого рода детектор — дело не сложное. А вот сообщение о том, что робот в ходе интервью с кандидатом на вакансию анализирует невербальные сигналы — это действительно интересно.

Действительно ли роботы нас понимают?

Хотя в публикации не говорится, какая именно ИИ-система используется компанией X5, по открытым данным выходит, что это Sever.AI — российская платформа для автоматизации подбора персонала. Она анализирует резюме из разных источников и ранжирует кандидатов по степени соответствия вакансии. Указывается, что этот ИИ умеет учитывать контекст и определять навыки, даже если они не прописаны явно.

Sever.AI может вести диалог по телефону, через SMS, email или чат, имитируя сотрудника компании. Причём этот процесс может происходить одновременно с несколькими кандидатами. Именно об этом упоминается и в публикации Х5, где сообщается, что на была ИИ переложена вся основная рутина, с которой он справляется гораздо быстрее людей, работая во всех часовых поясах, что и нужно федеральной компании.

В общем, в отличие от международных HireVue и Retorio, Server.AI обеспечивает именно то, что все работодатели хотели бы увидеть — полностью роботизированную систему подбора персонала, от обзора резюме соискателей до устройства лучшего кандидата на работу.

Неужели эта мечта наконец-то обретает видимые формы? К сожалению всех оптимистов цифрового мира, все существующие ИИ-системы подбора персонала имеют существенные недостатки, которые порой сводят на нет все усилия по их внедрению. Перечислим лишь некоторые из них:

Малейшая ошибка в настройке может привести к катастрофическим последствиям.

Роботы не понимают нас, как могли бы понять люди. Роботы работают по инструкции, которые пишут люди, при этом воспринимают, то есть обрабатывают их своими искусственными нейросетями максимально буквально.

Совсем недавний случай — простая неточность в указании требования по владении определённым программным инструментом привела к тому, что в результате сезонной компании по поиску и отбору кандидатов бигтех-компания не нашла ни одного подходящего. Ни одно резюме не прошло первоначального скрининга, который — что бы вы думали? — был полностью возложен на ИИ-ассистента (. Всё потому, что в инструкции роботу было указано название давно устаревшего инструмента вместо актуального. Роботу всё равно, а компания просто «выкинула в мусорку» сотни заявок вместе с бюджетом на их сбор.

Эта новость пробежала по нескольким отраслевым ТГ-каналам и Вк-пабликам. Проверить её достоверность трудно, но поверить в то, что такое могло произойти, вполне возможно.

Роботы жёстко соблюдают заданные стандарты, из-за чего подбор сотрудников может стать очень шаблонным.

Поскольку базис работы искусственных нейросетей, как уже было сказано выше, строится на анализе ключевых слов и статистических паттернов, ИИ очень хороши, когда нужно выудить нужные крупицы информации из больших массивов данных. Они отлично справляются, например, с проверкой тысяч карточек с ответами на ЕГЭ, однако в случаях, когда нужно учитывать более индивидуальные характеристики, нейросети могут выдавать совсем не тот результат, на который вы рассчитываете.

Например, даже очень мощные нейросети далеко не всегда правильно считывают иронию, эмоциональный окрас или подтекст, который легко считывается человеком. Самый простой пример из практики: в ходе скринингового интервью кандидату может быть предложено рассказать о своей неудаче — это вполне нормальная и порой даже необходимая тема, о чём мы писали в недавней статье. Однако, если рекрутер-человек может увидеть в рассказе кандидата признаки роста сознательности, то для ИИ обилие негативных формулировок станет чётким поводом для «красного флажка».

Роботы не знают, что такое креатив.

Безусловно, нейросети владеют информацией о том, что люди понимают под словами «творческий подход» и «креативность». Но роботы не умеют творить, они могут лишь компилировать с той или иной степенью удачности — и степень эту определяет только сам человек.

ИИ, используемые для оценки и отбора кандидатов, предназначены для поиска наиболее вероятного или даже стандартного правильного ответа. Если же кандидат предлагает блестящее, но нестандартное решение проблемы, ИИ-ассистент с большой вероятностью отсеет его в категорию «неверно», поскольку он не соответствует шаблонам, на которых робот обучен.

Самая трудная проблема — алгоритмическая предвзятость.

За словосочетанием «алгоритмическая предвзятость» скрывается довольно сложная для выявления проблема — когда возникает систематическая, повторяющаяся склонность компьютерной или социотехнической системы давать тенденциозные или «несправедливые» ответы.

Это тоже обусловлено тем, на каком материале обучается нейросеть. В сфере HR, пожалуй, самым показательным случаем является попытка использовать для тестирования нейросеть на базе схем Нейролингвистического программирования, известного в народе как НЛП. Не следует его путать с NLP – Natural Language Processing – системой обработки естественного языка искусственным интеллектом. Впрочем, второе тоже небезопасно.

Пик популярности поп-психологических приёмов НЛП в России пришёлся на конец 90-х. С тех пор научное сообщество подвергло эти теории конструктивной критике за отсутствие достаточной научной верификации, методологический сумбур и псевдонаучный характер. Многие так называемые «техники» НЛП не имеют эмпирического подтверждения, а некоторые постулаты (например, о репрезентативных системах и глазодвигательных паттернах) были опровергнуты исследованиями.

Тем не менее, теории НЛП всё ещё находят своих почитателей, в том числе, среди бизнесменов. Соответственно, если ИИ-ассистент по подбору персонала настраивается на основе этих теорий, то их негативный характер — манипулятивные и этически сомнительные приёмы — становятся очевидны, а псевдонаучные положения приводят к дискриминации или откровенной предвзятости в отношении определённых групп кандидатов.

Но даже если мы говорим не об одиозном НЛП, а о вполне нормативном Natural Language Processing, то и здесь на результаты работы ИИ могут оказывать влияние искажения, устаревшая информация или её недостаток в материалах, на которых проводится обучение модели. Так, например, системы, обученные распознавать мимику белых европейцев, выдавали ошибки при работе с людьми азиатской внешности.

Люди понимают, что с ними говорит робот

Возможно, это наименьшая из всех проблем, но не упомянуть про неё было бы неправильно. Как бы хорошо роботы не имитировали человеческое общение, в процессе скрининга при устройстве на работу люди всё же быстро понимают, что имеют дело с искусственным интеллектом и сами переходят тоже в режим алгоритма — то есть, ведут себя более механистично. В результате они могут не показывать своих «человеческих качеств», которые как раз очень важны для ряда профессий, особенно в сферах сервиса.

В завершение статьи отметим, что использование ИИ в процессе поиска и подбора персонала — вне всяких сомнений, будущее, которое уже настаёт. Однако пока ещё рано говорить о полной роботизации этого процесса. Недостатки, о которых говорилось в этой статье, показывают, что в процессе внедрения ИИ в HR есть ещё много, над чем надо основательно работать, и пока ещё слишком рано отказываться от традиционных и проверенных методов работы.