Почему не стоит указывать сертификаты в своем профиле

Люди часто предлагают interviewing.io создать сертификат, который пользователи могли бы размещать в своем профиле LinkedIn, например, что-то вроде «Top 10% performer on interviewing.io». Предположительно, эти сертификаты будут говорить рекрутерам о том, что этот человек — хороший инженер и с ним стоит связаться. Они должны дать больше информации, чем простые данные о том, где этот человек учился или работал раньше.

Я считаю, что сертификаты — это ужасная идея, и я сопротивлялся их созданию. Проще говоря, стимулы, которые они создают для инженеров и рекрутеров, неправильные. Чтобы объяснить, что я имею в виду, давайте разделим инженеров на два разных типа:

• Инженер, который хорошо выглядит на бумаге. Этот человек просто не будет указывать сертификацию в своем профиле — ему незачем это делать! С ними и так связываются не менее 10 рекрутеров в день. Скорее всего, он игнорирует LinkedIn, если только не решил, что ищет работу и хочет ответить на несколько из сотен уже полученных сообщений, чтобы предоставить себе больше возможностей при поиске работы.
• Инженер, который не очень хорошо выглядит на бумаге. Этот человек, скорее всего, добавит сертификат в свой профиль. Это рационально – все, что поможет ему выделиться и улучшить свой профиль в отсутствие «традиционной родословной», является выигрышным. Звучит здорово, не так ли? К сожалению, вот в чем загвоздка. Если рекрутеры не уважают вашу сертификацию и она не зарекомендовали себя с положительной стороны, они не воспримут ее всерьез… потому что она противоречит всему, на что они были настроены. Если в вашем профиле нет информации о школе с хорошей репутацией или ведущей компании, то неизвестная сертификация вас не спасет, и со временем ее включение в список причинит вред. Поскольку сертификация почти всегда будет сопровождаться отсутствием хорошей карьеры (как вы видели выше, у людей, которые хорошо выглядят на бумаге, не будет причин указывать ее в своих профилях), у рекрутеров начнут возникать негативные ассоциации с ней. Поскольку большинство рекрутеров не будут взаимодействовать с этими кандидатами достаточно долго, чтобы выяснить, хороши они или нет, это произойдет, даже если сертификация действительно дает в целом положительный сигнал. Другими словами, со временем рекрутеры научатся ассоциировать наличие сертификата с нежеланием связываться, потому что это будет касаться только тех профилей, к которым они ранее были обучены не обращаться.

Такова теория того, почему сертификаты — это плохо. Они вредны для тех, кто их получает, и для индустрии в целом, потому что, по иронии судьбы, они усложняют поиск хороших кандидатов. Но что если посмотреть на данные?

Настройка

Инженеры используют сайт interviewing.io для анонимных имитационных собеседований. Если все проходит хорошо, они сразу переходят к техническому собеседованию в реальных компаниях (которое также является полностью анонимным). Мы создали interviewing.io, потому что резюме — это отстой, и потому что мы считаем, что любой человек, независимо от того, как он выглядит на бумаге, должен иметь возможность доказать свою состоятельность.

На данный момент мы провели более 100 тысяч технических собеседований, разделив их на пробные и реальные.

Независимо от типа собеседования, когда интервьюер и интервьюируемый матчатся на нашей платформе, они присоединяются к совместной среде программирования с голосовым и текстовым чатом и доской и сразу переходят к техническому собеседованию. После каждого собеседования обе стороны оставляют отзывы, и после того, как они оба отправили их, каждый из них может увидеть, что сказал другой человек и как он был оценен.

Вот как выглядит форма обратной связи, которую заполняют интервьюеры:

В этом посте мы обобщили результаты этих интервью для каждого интервьюируемого, а затем сравнили количество сертификатов, которые они указали в своих профилях в LinkedIn.

Вы можете сказать, что результаты работы инженера в интервью на нашей платформе не являются каноническим источником информации об их инженерных способностях, и вы, безусловно, будете правы. В отсутствие целостных данных о результатах работы наших пользователей, которые практически невозможно получить, мы решили, что проведение этого исследования все же имеет смысл. Как бы то ни было, я убежден, что результаты собеседований на нашей платформе очень сильно коррелируют с результатами собеседований в реальном мире – наши кандидаты, как правило, проходят реальные собеседования в 3 раза лучше, чем кандидаты из других источников. Можно полностью замкнуть этот цикл с помощью реальных данных о результатах работы на рабочем месте — это святой Грааль для любого рекрутингового предприятия, и я надеюсь, что однажды мы сможем это сделать.

Гипотеза

Помимо случайных выбросов, перед проведением анализа мы предположили, что наличие одного или нескольких сертификатов в вашем профиле будет иметь сильную отрицательную корреляцию с результатами собеседования. Почему?

1. В прошлом мы уже видели, что, хотя учеба в престижной школе не коррелирует с результатами собеседования, работа у престижного работодателя коррелирует. Выше мы видели, что у людей, которые хорошо выглядят на бумаге, не будет стимула указывать сертификаты в своем профиле, а это означает, что мы только что исключили из списка множество лучших специалистов.
2. В результате остаются люди, которые выглядят не слишком привлекательно на бумаге. Поскольку лучшие кандидаты распределяются неравномерно между породистыми и непородистыми кандидатами, в этом списке будет меньше лучших. Но даже если бы это было не так, только небольшая часть этого контингента будет лучшими перформерами. Таким образом, большинство людей в этом пуле не будут иметь высоких результатов, а это значит, что большинство людей, у которых есть стимул указывать сертификаты в своем профиле, не будут иметь высоких результатов.

По сути, люди, которые хорошо выглядят на бумаге, не заинтересованы в том, чтобы перечислять сертификаты. Люди, которые плохо выглядят на бумаге, заинтересованы в том, чтобы перечислять их, но большинство из них не являются лучшими специалистами. Следовательно, большинство людей, которые перечисляют сертификаты, не являются лучшими специалистами.

Если мы правы, то указание сертификатов не только не принесет пользы, но и приведет к неприятному побочному эффекту, заставив рекрутеров задуматься о важности карьеры, что со временем снизит предельную полезность любых новых сертификатов и, в конечном счете, нанесет ущерб попыткам сделать технический рекрутинг более справедливым или непредвзятым.

Что на самом деле говорят данные

Для этого анализа мы взяли список наших пользователей, по которым у нас были данные интервью, и, по возможности, проанализировали их профили LinkedIn. В итоге мы проанализировали около 20 тысяч профилей LinkedIn, 28% из которых имели ту или иную сертификацию. Затем мы выделили 10 наиболее часто встречающихся органов сертификации, чтобы разделить их и провести более детальный анализ. Это были следующие центры (в порядке убывания частоты, то есть больше всего просмотров было у Coursera):

• Coursera
• LinkedIn
• Triplebyte
• Microsoft
• Amazon Web Services (AWS)
• Oracle
• Udacity
• Udemy
• HackerRank
• Cisco

Поскольку люди обычно проходят несколько собеседований на нашей платформе, в итоге мы получили около 40 тысяч наблюдений (то есть собеседований) в каждой регрессии.

Наш первый вывод заключается в том, что люди с сертификатами хуже проходят собеседования, как показано на гистограмме ниже. Люди с сертификатами в профиле LinkedIn проходят собеседования на нашей платформе примерно в 53% случаев по сравнению с 57% случаев для людей без сертификатов, что является очень статистически значимой разницей (p < 0,00001). Помните, что эти собеседования полностью анонимны. Интервьюер не основывает свои оценки на LinkedIn человека — только на его результатах собеседования.

Примечательно, что «штраф» за сертификацию одинаково велик независимо от того, получили ли люди сертификаты в 2021 или 2023 году. Таким образом, нет никаких признаков того, что сегодняшний депрессивный рынок труда изменил характер этого сигнала.

Насколько эта разница объясняется тем, что люди с сертификатами проходят разные виды собеседований? Далее мы скорректировали язык (например, Python, Java) и направленность (например, фронтенд, машинное обучение) собеседования и сравнили только Java-кодеров с Java-кодерами, Python с Python и т. д. Такой контроль гарантирует, что результаты не будут определяться широкими закономерностями на групповом уровне, а вопрос о том, являются ли сертификаты прогностическими для производительности по сравнению только с кандидатами, программирующими на том же языке. Если что, столбик «Interview language & focus controls» показывает, что благодаря этому сертификаты выглядят немного хуже. Если сравнивать сертифицированных людей с несертифицированными в рамках узких типов собеседований, которые они обычно выбирают, то они отстают еще немного.

Далее мы хотели узнать, насколько эта разница объясняется характеристиками человека. Например, люди, которые стремятся получить сертификаты, могут иметь неспецифическое образование. Возможно, они изучали коммуникации, а не информатику. Или же они являются помощниками юриста и пытаются сменить профессию. Действительно, мы наблюдаем такую картину в данных: люди с нетрадиционным образованием примерно на 30% чаще проходят сертификацию.

Чтобы учесть этот отбор, мы просто сравнили людей с похожим образованием. Например, выпускник Гарварда с сертификатом работает лучше или хуже, чем выпускник Гарварда без сертификата? Эта поправка сокращает разрыв примерно на 40% (см. столбец «Pedigree controls»).

Примечание: Все различия между сертифицированными и несертифицированными пользователями статистически значимы (p < .01 или меньше).

Итак, сертификаты LinkedIn действительно являются негативным признаком для кандидатов на нашей платформе. Это не объясняется тем, какие собеседования они проводят. Но мы можем показать, что частично это связано с тем, что сертифицированные люди, как правило, имеют нетрадиционный опыт. Оставшаяся часть разрыва, вероятно, объясняется схожей динамикой: вы получаете сертификат, если вам есть что доказывать.

Не все сертификаты созданы равными

В этом анализе сертификаты рассматриваются как бинарные. Либо она у вас есть, либо ее нет. Но существует целый ряд инстанций, выдающих сертификаты: является ли хоть одна из них положительным знаком?

Мы провели аналогичный регрессионный анализ для десяти крупнейших сертификаторов в данных. Результаты приведены ниже:

Среди них выделяется компания Triplebyte. Их выпускники на 6 процентных пунктов чаще проходят собеседования — серьезное повышение, хотя и недостаточное, чтобы развеять негативный сигнал, который несут все остальные. Хуже всего дела обстоят у бейджа Cisco — падение показателей на 10 процентных пунктов.

Заключение

Покопавшись в данных, мы увидели, что люди с нетрадиционным бэкграундом действительно указывают сертификаты в своем профиле LinkedIn чаще, чем их коллеги с хорошим образованием. Люди, чье последнее образование — сертификат веб-разработчика или степень младшего специалиста, примерно на 30% чаще указывают сертификаты.

Мы также увидели, что в целом сертификаты несут негативный сигнал и что эти результаты сохраняются даже на все более благоприятном для работодателей рынке труда в 2023 году (другими словами, хорошие кандидаты не стали вдруг указывать сертификаты в своих профилях, чтобы их заметили).

Как мы и ожидали, эти реалии создают неудачную петлю обратной связи. Рекрутеры, как правило, превыше всего ценят карьеру и образование, а значит, они реже общаются с нетрадиционными кандидатами. Когда они видят профили нетрадиционных кандидатов с сертификатами, то, поскольку они все равно не собирались с ними разговаривать, со временем у них возникает негативная ассоциация с этими сертификатами.

Более того, учитывая, что люди, указывающие сертификаты, чаще всего показывают худшие результаты на собеседованиях, когда рекрутеры выбирают породистых кандидатов, имеющих сертификат, и те показывают худшие результаты, эта негативная ассоциация только усиливается.

В силу этой механики сертификаты укрепляются в сознании рекрутеров как плохие, и указание их в профиле становится контрпродуктивной стратегией в отношении скрытых гениев, тех самых кандидатов, которым сертификаты должны были бы помочь в первую очередь.

Источник