Промпт-инженеры в вашей команде: когда и зачем они нужны

В статье вы узнаете, что делает промпт-инженер, шесть специализаций промпт-инженеров, какие задачи они выполняют и когда нужно нанимать специалистов. Об этом на «Питерском промпте» рассказала Екатерина Шихиева, лидер промпт-инженеров в банке «Точка». Делимся конспектом выступления.

ChatGPT, Claude, YandeхGPT и многие другие — это LLM, то есть большие языковые модели, которые генерируют текст и анализируют данные.

Для стабильно хороших результатов важно правильно формулировать запросы к ним — писать промпты. Хороший результат — это точность ответа от 95%. 

Модели могут ошибаться, «галлюцинировать» и не всегда точно интерпретировать данные. Также необходимо учитывать, какие данные можно передавать в LLM и использовать для анализа, а какие нельзя. 

Например, LLM могут ошибаться в российском законодательстве или в названии продукта. Карту «Мир» западные модели примут за карту мира. 

Кроме того, необходимо следить за тем, чтобы персональные данные людей не попадали в LLM, иначе можно нарваться на штраф. Сюда же относятся коммерческие тайны. 

Когда появились промпт-инженеры

Спрос на этих специалистов начал расти примерно в ноябре-декабре 2022 года. Появились первые статьи и вакансии. Чаще всего промпт-инженеров искали крупные компании среди гуманитариев. При этом в вакансиях указывалось, что нужны базовые навыки программирования на Python.

Главная проблема в том, что это новая специальность на рынке и она включает три направления, которые редко сочетаются друг с другом.

1. Язык: нужно хорошо знать русский и английский, обладать безупречной грамотностью, уметь работать с текстом.
2. IT: понимать устройство и принципы работы разных LLM, RAG, идеально — знать языки программирования, например Python.
3. Бизнес: иметь широкий кругозор и разбираться понемногу во всём: от рекламы до бухгалтерской отчётности.

Очень сложно найти человека, который объединил бы в себе все три роли.

Виды специализаций промпт-инженеров

Эти виды промпт-инженеров выявили в «Точке», когда искали людей в команду.

• Креатор. Их больше всего. Делают креативный контент: текст, изображения, аудио, видео
• Редактор, корректор или лингвист. Умеет делать корректные и стилистически правильные результаты, фактчекинг
• Универсал. Чаще всего решал какие-либо бизнес-задачи с помощью LLM
• Тренер. Обучает модели вместе с ML-инженерами. Их очень мало
• Разработчик. Это промпт-инженер с хорошим знанием Python, с опытом Tools calling, внедрением системы промптов и разработкой кода
• Архитектор. Обычно это аналитики или системные аналитики. Они проектируют сервисы и системы промптов

Всего получилось шесть специализаций. Но в команде Екатерины разрабатывают систему грейдов. Например, если специалист приходит на позицию Junior, обычно у него ярко выражена одна специализация. 

Чтобы продвинуться дальше по карьерной лестнице, нужно освоить соседнюю специализацию. Например, редактор может получить навыки тренера или универсала. А тренер может пойти в разработку. 

Middle и Senior имеют 3–4 специализации.

Задача на prompting

В команде Екатерины чаще всего задачи связаны с автоматизацией. Например, парсинг данных. В интернет-банке есть ассистент. У него есть определённые сценарии для автоматизации рутинных задач. Можно написать одну строчку — и в ответ получить выписку нужных данных.

Задача состоит в том, чтобы написать промпт, который из куска текста вычленит определённый период. 

Часть этой задачи есть в тестовом задании для кандидатов. Вот пример работы такого кандидата. Хорошо структурированный и проработанный промпт. 

В то время один промпт занимал примерно 480 строк. Тогда в команде поняли, что пора осваивать навыки архитектора и разбивать задачу на систему промптов. Первый промпт занимается маршрутизацией определённого периода. Остальные промпты определяют конкретные даты и приводят к нужному формату.

Параметры для промпта на определение маршрута в GPT-4o:

Параметры для промпта на определение года:

Все промпты чаще всего пишутся на английском языке, но с примерами и цитатами на русском.

Важно: если вы используете промпт в одном проекте, не факт, что тот же промпт подойдёт для другого. Скорее всего, придётся адаптировать работу: делать новые промпты, архитектуры, блок-схемы и т. д.

Кейсы с LLM

1. Генератор лендингов

Дано: один промпт-инженер. Важно, чтобы он мог работать со Stable Diffusion, знал, что такое лендинг, и понимал построение всех систем. 

Грейд: Middle.

Специализации: 

• креатор 
• архитектор 
• универсал.

Всего было 14 промптов для генерации лендинга. Клиент просто нажимает кнопки, галочки, вводит данные — и получает красивый лендинг.

2. Ассистент в интернет-банке

Дано: два промпт-инженера. У них должен быть опыт работы с чат-ботами и разработкой. Также специалисты должны понимать боли клиентов.

Так компания нашла Екатерину. Но ей нужен был человек, который мог бы вычитывать промпты и делать разметку данных. В результате Екатерина нашла редактора конкретно под этот проект. 

Грейд: Middle, Junior.

Специализации:

• архитектор
• разработчик
• редактор
• универсал.

Так схематично выглядит малая часть ассистента:

3. Тренажёр для специалистов банка

Задача: автоматизировать работу службы поддержки, но при этом оставить человеческое общение. Решили сделать тренажёр для обучения специалистов службы поддержки. 

LLM изображает клиента, новый специалист с ним общается. Весь разговор прогоняется через промпты, которые определяют, хорошо ли специалист знает:

• ресурсы компании
• грамматику
• tone of voice.

Далее все ответы подаются в ещё один промпт, который выдаёт финальный ответ: в таких-то пунктах всё хорошо, в таких-то специалиста нужно подучить. 

Такой подход позволяет экономить на обучении. 

Дано: один промпт-инженер. Важно, чтобы он знал боли специалистов службы поддержки и понимал, с какими вопросами могут обращаться клиенты.

Задача с тренажёром сложная в плане архитектуры. Но в банке «Точка» есть промпт-комьюнити. Там есть разные специалисты, которые могут подключиться к какой-то задаче и вместе подумать над её решением. Так была решена задача с архитектурой. 

Грейд: Middle.

Специализации:

• универсал
• редактор
• архитектор.

4. Копилот для специалистов банка

Задача: автоматизировать часть ответов, чтобы сократить время на обработку ответа человеком. Для этого решили написать копилот. 

Пользователь отправляет сообщение. Специалист нажимает кнопку и вызывает копилот — подтягивается ответ. Специалист корректирует ответ и отправляет пользователю. 

Дано: один промпт-инженер.

Грейд: Middle.

Специализации:

• универсал
• редактор
• архитектор
• разработчик.

Как понять, что вам нужен промпт-инженер, и откуда его взять

Есть 3 признака.

1. Если LLM в вашем сервисе даёт неточные, неполные или «галлюцинированные» ответы.
2. Если ваша команда тратит слишком много времени на исследования технологии, попытки «доработать» ответы LLM.
3. Если задачи требуют креативного подхода или решения сложных бизнес-кейсов на стыке языка и технологий.

Чем занимается промпт-инженер в команде

• Исследует гипотезу, можно ли вообще реализовать идею команды на LLM. Какие технологии, модели нужны? А что по качеству ответов? А есть ли материалы для RAG?
• Проектирует решение в разрезе применения LLM
• Пишет промпты и function calling для каждого шага по схеме
• Определяет, какие модели и параметры генерации использовать
• Очень много тестирует качество ответов как до встраивания, так и в процессе отладки готового кода

Наём промпт-инженеров в «Точке» в цифрах

В 2024-м было три волны найма, но из 400 человек взяли только 9. 

Воронка найма от первого сообщения HR до выхода на работу выглядит так:

Очень много специалистов проваливается на тестовых. 

При этом компания не искала «единорога» — идеального кандидата, который может сразу всё. Брали ребят, которые хорошо пишут промпты, разбираются в моделях и параметрах. Среди них есть:

• маркетологи и юристы с отличным знанием бизнеса и аналитики
• инженеры с навыками программирования
• редакторы и лингвисты с хорошей базой в филологии.

Наняли даже тех, кто сделал тестовое задание с ошибками, но на техническом собеседовании задавал правильные вопросы, понял и объяснил суть технологии.

Этого достаточно, чтобы стать частью команды, а всему остальному можно научить.

Кого не брали?

1. Разработчиков, ML-инженеров, программистов и специалистов по Data Science, которые думали, что через промпт-инжиниринг можно легко войти в IT.

Но в случае с командой Екатерины промпт-инженер — это не стартовая позиция для джуна, а полноценный карьерный трек.

2. Также не брали выпускников курсов по AI/ИИ/GPT. В реальности такие кандидаты — профессиональные операторы ИИ:

• нейроиллюстрации в DALL-E, Midjourney и др.
• тексты в ChatGPT, Claude и др.
• видео Runway, InVideo AI, VEED.IO и др.

При найме кандидаты валятся на элементарных вопросах: что такое LLM или каковы параметры генерации?

В ответ они начинают говорить про роль, структуру и стили, которые не имеют никакого отношения к параметрам. Мало кто заглядывал в Playground OpenAI Platform.

3. Амбициозным джунам тоже отказывали. Их требования примерно такие:

• зарплата от 200 000 руб.
• своя команда разработки
• тимлидство
• личный вертолёт.

При этом уровень не выше junior по всем направлениям.

4. У опытных кандидатов было отличное резюме и опыт работы промпт-инженером или AI-тренером. В беседе с HR они единственные упоминали RAG и function calling, но при этом никто из них так и не дошёл до технического собеседования.

Часть кандидатов прислала плохо проработанные промпты, другие были отлично подкованы с точки зрения IT, но показали слабые навыки в лингвистике и бизнесе.

Чего не хватало кандидатам?

Hard skills:

• знание параметров и архитектуры языковых моделей (LLM)
• опыт работы с Playground и API
• понимание и использование function calling
• умение описывать tone of voice и стилистические особенности текста
• грамотность, включая правильную пунктуацию и синтаксис
• тестирование и отладка для повышения точности и качества ответов.

Как выглядит воронка найма:

• опросник

Кандидаты откликаются на вакансию и заполняют анкету.

• созвон с HR

HR спрашивает подробнее про опыт кандидата и задаёт простые вопросы из мира OpenAI.

• тестовое задание

Нужно написать промпты под каждый тип задач, с которыми работает компания. Главная цель тестового — проверить, какие компетенции есть у соискателя и в чём его сильная сторона (язык, IT или бизнес). На выполнение даётся неделя.

• техническое собеседование

Созвон с лучшими кандидатами и лидером команды промпт-инженеров, HR и тимлидом. Задаются технические вопросы и ведётся простая беседа для обмена опытом.

Идеальный промпт-инженер — это гуманитарий, который разбирается в бизнесе и умеет писать на Python.

Звучит фантастически. Таких людей очень мало. Поэтому попадание хотя бы в два из трёх — уже хорошо. А всему остальному можно научить в процессе работы.