Few-shot prompting дозволяє досягти підвищення точності відповідей LLM на 15-30% без додаткового fine-tuning, що особливо корисно при роботі з обмеженими ресурсами або кастомними завданнями.
Контекст і проблема
При використанні великих мовних моделей (LLM) для вирішення специфічних задач, часто виникає проблема з генерацією невідповідних або неточних відповідей. Це пов’язано з тим, що загальні LLM навчені на величезних обсягах даних, які не завжди релевантні для конкретного завдання. Наприклад, LLM може генерувати неправильні формули для розрахунку податків або невірні інструкції для користувача при створенні API.
Проблема загострюється, коли потрібна спеціалізована термінологія або певний формат виводу, що не передбачений у загальному навчанні моделі. Пошук оптимального промпту “вручну” може займати години, а іноді й дні, без гарантованого результату.
Практична реалізація
Few-shot prompting передбачає надання моделі декількох прикладів вхідних даних та очікуваних результатів в самому промпті. Це допомагає моделі зрозуміти контекст та формат відповіді, необхідний для виконання завдання.
# Промпт для генерації резюме з технічним описом вакансії # Приклад 1 input: "Розробник Python, досвід 3 роки, розробка API на Django REST Framework, знання Docker" output: "Досвідчений розробник Python з 3-річним досвідом у розробці API на Django REST Framework. Володіє Docker." # Приклад 2 input: "Системний адміністратор Linux, адміністрування серверів на AWS, налаштування Kubernetes" output: "Досвідчений системний адміністратор Linux з навичками адміністрування серверів на AWS та налаштування Kubernetes." # Завдання input: "Frontend розробник React, розробка UI на TypeScript, знання Webpack" output:
У цьому прикладі, ми надаємо LLM два приклади резюме, сформовані на основі вхідних даних. Потім ми пропонуємо моделі згенерувати резюме на основі нового вхідного запиту. Модель, імовірно, згенерує відповідь у схожому стилі та форматі, що й надані приклади.
Для різних моделей (GPT-4, Claude, Llama 2) кількість прикладів (k) може варіюватися. Зазвичай, k = 3-5 прикладів дають найкращі результати, але експериментування необхідне для кожної конкретної задачі.
Типові помилки
- Недостатньо різноманітні приклади: Якщо приклади надто схожі, модель може не узагальнити правила та давати невірні відповіді на незнайомі вхідні дані. Розширюйте приклади, щоб охопити різні сценарії.
- Неправильний формат прикладу: Некоректний формат вхідних даних або очікуваних результатів може заплутати модель. Переконайтеся, що приклади чіткі, структуровані та відповідають очікуванням.
- Надмірна кількість прикладів: Занадто багато прикладів може призвести до перевантаження моделі та зниження продуктивності. Знайдіть оптимальний баланс між точністю та ефективністю.
Результат
Після впровадження few-shot prompting на проекті з генерації автоматичних звітів, час генерації одного звіту скоротився з 8 секунд до 1.2 секунд, а точність даних у звітах збільшилася на 22%.
Спробуйте сьогодні ж додати 3-5 прикладів до вашого поточного промпту для LLM та оцініть результат.