Few-shot prompting

Few-shot prompting w systemach agentowych (Agentic Systems) polega na pokazaniu agentowi realistycznych kroków działania, nie tylko abstrakcyjnych reguł [1]. Jak dobrać takie przykłady i sprawdzić, czy pomagają? W artykule przyjrzymy się ich zastosowaniu w SEO i GEO oraz ocenie jakości odpowiedzi.
W badaniu GPT-3 prompt few-shot zawierał zazwyczaj od 10 do 100 przykładów; ich liczba zależała od miejsca dostępnego w kontekście modelu [2].

Czym jest few-shot prompting i jak wspiera agentów AI?

Przykłady w prompcie pokazują agentowi AI, jaką decyzję podjąć lub jak sformułować odpowiedź. Agent pracuje etapami, więc wzorzec może dotyczyć jednego kroku: skierowania wiadomości, przygotowania wywołania narzędzia albo zapisania wyniku. Gdy podobne dane prowadzą do różnych ścieżek, taki przykład pomaga zachować spójność decyzji. Dokumentacja Anthropic zaleca umieszczenie w prompcie od 3 do 5 przykładów [3].

Na czym polega few-shot prompting i jaką rolę pełnią przykłady w prompcie?

Para złożona z danych wejściowych i oczekiwanego wyniku pokazuje modelowi coś więcej niż gotową odpowiedź. Wyznacza też granicę między trafną a błędną decyzją. W routingu – kierowaniu wiadomości do właściwej ścieżki obsługi – przykłady pokazują niejednoznaczne wiadomości i sposób ich skierowania [1] [4].

Dlaczego przykłady mogą być przydatne w systemach agentowych?

Przykłady few-shot pomagają agentowi przełożyć swobodną wypowiedź użytkownika na wymagania następnego kroku. Przy wywoływaniu narzędzia zestawiają nieuporządkowane dane z parametrami, których narzędzie oczekuje [1]. Model widzi wtedy, jak dobrać argumenty, ich typy i wartości domyślne [1].
Dostaje wzorzec działania, a nie samo polecenie użycia narzędzia.

Badanie BFCL mierzyło poprawność całych wywołań funkcji, łącznie z argumentami, w obu wariantach promptu [5]. Poniżej widać wyniki tego porównania.

Wariant promptu	Poprawność całych wywołań funkcji
Z przykładami	54,5%
Bez przykładów	50,1%

Tabela porównuje dobór przykładów do routingu i wywoływania narzędzi według decyzji, którą ma podjąć agent.

Decyzja agenta	Co powinien pokazywać przykład	Co sprawdzić w odpowiedzi
Routing wiadomości	Różnicę między wiadomościami wymagającymi odmiennych ścieżek	Czy agent wybrał właściwą ścieżkę
Wywołanie narzędzia	Przypisanie danych wejściowych do pól wywołania	Czy argumenty mają wymagane znaczenie i typ

Co few-shot prompting daje agentom AI?

Przykłady pomagają agentom AI utrzymać wymagany format, gdy przekazują dane między etapami pracy. Mogą uczyć tworzenia wyników zgodnych ze schematem – opisem wymaganych pól i ich typów – zamiast tekstu, który tylko przypomina poprawny JSON [1]. Sam wygląd odpowiedzi nie wystarczy. Kolejny etap musi móc odczytać dane zgodnie ze schematem [6].

Widoczny wzorzec decyzji i formatu ułatwia agentowi przygotowanie wyniku do dalszej pracy. Właśnie spójność między etapami jest tu praktycznym celem.

Jak stosować few-shot prompting w SEO i GEO oraz oceniać jego skuteczność?

W SEO i GEO, czyli optymalizacji treści pod odpowiedzi generowane przez AI, przykłady uczą model określonego sposobu odpowiadania. Powinny pokazywać, jak korzystać ze zweryfikowanych informacji i odróżniać fakt od twierdzenia bez potwierdzenia.
Skuteczność promptu sprawdzisz na tych samych pytaniach, porównując odpowiedzi z przykładami i bez nich. W badaniu GEO optymalizacja treści zwiększyła ich widoczność w odpowiedziach generatywnych nawet o 40% [7].

Jak wykorzystać przykłady do tworzenia treści i odpowiedzi przydatnych w SEO i GEO?

Wzorce pomagają odpowiedzieć użytkownikowi bez przypisywania źródłom informacji, których w nich nie ma. To ważna granica. W badaniu wyszukiwarek generatywnych 25,5% cytowań nie potwierdzało przypisanych im twierdzeń [8].

• Pytanie użytkownika powinno otwierać każdy przykład. Dobierz pytania związane z tematami treści firmy.
• Odpowiedź wzorcowa powinna zaczynać się od wniosku. Pokaż w niej, które informacje są potwierdzone, a które trzeba jeszcze sprawdzić.
• Materiały źródłowe powinny towarzyszyć przykładowi, jeśli odpowiedź ma wskazywać podstawę twierdzeń. Sprawdź, czy każde przypisanie wynika z treści wskazanego materiału.

Tak powstaje wzorzec odpowiedzi użytecznej dla czytelnika, nie obietnica cytowania strony przez wyszukiwarkę lub model. Przykłady uczą pracy z informacją; nie gwarantują konkretnego efektu.

Dlaczego słabe lub stronnicze przykłady prowadzą do nietrafnych odpowiedzi?

Słabe przykłady few-shot przenoszą do odpowiedzi własne pominięcia i nieuzasadnione wnioski. Wzorzec pokazujący wyłącznie perspektywę firmy nie uczy modelu odpowiedzi na pytanie porównawcze ani na zastrzeżenie użytkownika. Jeśli przykład przypisuje źródłu nieobecne w nim twierdzenie, model może powtórzyć ten błąd. Przed użyciem promptu sprawdź więc każde twierdzenie wzorcowe i usuń odpowiedzi oparte na założeniach. W badaniu pytań wielokrotnego wyboru losowe etykiety przykładów obniżyły trafność średnio o 1,7 punktu procentowego względem poprawnych etykiet [9].

Jak porównać jakość odpowiedzi z przykładami i bez nich?

Jak uczciwie porównać few-shot z zero-shot, czyli promptem bez przykładów? W obu wariantach trzeba użyć tych samych pytań, materiałów i kryteriów oceny. Tabela przedstawia trafność GPT-3 na zbiorze LAMBADA [2].

Wariant promptu	Trafność na zbiorze LAMBADA
Zero-shot	76,2%
Few-shot	86,4%

• Zestaw pytań testowych powinien zawierać pytania proste oraz takie, przy których trzeba rozpoznać ograniczenia źródła.
• Ocena odpowiedzi powinna obejmować zgodność z pytaniem, poprawność twierdzeń, zasadność przypisań do źródeł i wymagany format [10].
• Ocena kosztu powinna porównywać zużycie tokenów z liczbą odpowiedzi spełniających przyjęte kryteria.

Tabela pokazuje kompromis między szczegółowością przykładów a kosztem promptu [1].

Wariant	Wpływ na jakość i koszt
Krótszy prompt	Jest tańszy, lecz może gorzej radzić sobie z trudnymi przypadkami.

Wybierz wariant na podstawie jakości odpowiedzi i zużycia tokenów, nie samej długości promptu. Liczy się trafność osiągnięta przy danym koszcie.

Bezpłatny audyt widoczności w AI pomoże ustalić, na jakie pytania o firmę warto przygotować odpowiedzi wzorcowe. Pomoże też wybrać pytania do ich sprawdzenia.

Dobór przykładów do promptu: trafność, reprezentatywność i spójność

Dobierając przykłady, uwzględnij trafne pytania, różne sytuacje użytkowników i spójny sposób odpowiadania. Trafny wzorzec odpowiada zadaniu modelu. Reprezentatywny zestaw pokazuje sytuacje wymagające różnych decyzji, a spójny stosuje te same zasady oceny w każdym przykładzie.
Tabela przedstawia wyniki klasyfikacji opinii IMDB przy doborze podobnych przykładów metodą KATE oraz przy doborze losowym [11].

Dobór przykładów	Trafność klasyfikacji opinii IMDB
Podobne przykłady wybrane metodą KATE	91,99%
Dobór losowy, średnia trafność	87,95%

• Trafność przykładu sprawdź, porównując jego dane wejściowe z rzeczywistym zadaniem agenta. Usuń wzorce dotyczące innej decyzji lub innego formatu wyniku.
• Reprezentatywność zestawu sprawdź przez porównanie sytuacji pokazanych w przykładach. Jeśli chodzi o różnorodność wzorców, jeden mocny przykład przydaje się bardziej niż trzy podobne [1].
• Spójność przykładów sprawdź, stosując te same reguły do każdego oczekiwanego wyniku. Popraw wzorce, które dla podobnych danych wskazują sprzeczne decyzje [12].
• Aktualność przykładów sprawdź po zmianie reguł produktu lub narzędzi. Przejrzyj i popraw wzorce, bo takie zmiany mogą sprawić, że zaczną wprowadzać model w błąd [1].

Dobry zestaw pokazuje różne poprawne decyzje, ale nie powiela podobnych wzorców [4]. Różnorodność ma sens wtedy, gdy odpowiada rzeczywistym decyzjom agenta.

Projektowanie przykładów i łączenie few-shot promptingu z innymi technikami

Przykłady pokazują, jak wykonać zadanie, lecz nie zastępują instrukcji określającej cel i ograniczenia odpowiedzi. Instrukcja mówi modelowi, co ma zrobić; przykład odnosi tę zasadę do konkretnych danych. Materiał źródłowy dostarcza informacji potrzebnych do odpowiedzi, więc treść przykładu nie może go zastąpić. Dokumentacja Anthropic zaleca uzupełnienie jasnych instrukcji od 3 do 5 przykładami pokazującymi oczekiwany sposób wykonania zadania [3].

Przykłady mogą pokazywać, jak postąpić przy brakujących lub sprzecznych danych i kiedy poprosić o doprecyzowanie [1]. Taki wzorzec uczy też model, kiedy należy powstrzymać się od wniosku. W badaniu pytań do artykułów ChatGPT po otrzymaniu przykładów rozpoznał brak podstaw do odpowiedzi w 60,3% takich przypadków [13].

Jak łączyć few-shot prompting z innymi technikami pracy z modelem?

Instrukcja, materiał źródłowy i przykłady powinny pełnić w prompcie odrębne funkcje.
Ten podział oddziela polecenie dla modelu od danych, na których ma pracować.

• Instrukcja zadania określa cel, odbiorcę i granice odpowiedzi. Zapisz w niej, że model ma opierać twierdzenia na dostarczonych danych.
• Materiał źródłowy zawiera informacje dotyczące aktualnego pytania. Oddziel go od odpowiedzi wzorcowych, żeby model nie uznał przykładu za źródło faktów.
• Przykład few-shot pokazuje oczekiwane zachowanie wobec danych. Uwzględnij w nim sytuację, w której właściwą reakcją jest wskazanie sprzeczności lub pytanie o brakującą informację [3].

Podział ról w prompcie pozwala odróżnić regułę działania od danych do analizy. Osobne miejsce zajmuje wzorzec odpowiedzi.

Bayesowska optymalizacja przykładów w narzędziu Opik

Opik Few-Shot Bayesian Optimizer automatyzuje dobór przykładów na podstawie metryki oceny, czyli ustalonej miary jakości odpowiedzi. Wybiera podzbiór z puli kandydatów, ocenia go według tej miary i proponuje kolejne kombinacje metodą optymalizacji bayesowskiej [1].

Ślady działania agenta – zapis jego decyzji i wyników – pomagają ustalić, jakie błędy powinna wychwycić metryka. Kryterium poprawności skierowania wiadomości sprawdza co innego niż zgodność odpowiedzi z wymaganym formatem. Wynik optymalizacji zależy więc od tego, czy wybrana miara odpowiada rzeczywistemu zadaniu agenta [14].

Optymalizacja porządkuje wybór wzorców, ale nie zastępuje oceny samych kandydatów. Warto traktować ją jako pomoc w selekcji, nie jako potwierdzenie poprawności każdego przykładu.

Bezpłatny audyt widoczności w AI pomoże wskazać pytania o firmę do testowania odpowiedzi przygotowanych z przykładami. To na nich można sprawdzić jakość promptu.

Źródła

1. Few-Shot Prompting: Teaching LLMs by Example — https://google.com/goto?url=CAESbwHEIkXXGDQvU-aHSmU6jGsXdsXi4EFCb_N65wpj0auT5GesF_-RjqbUaT1pohpCftPuaTJTDKX74xSwdlQmMyvcx6X2Zuh3CgUj6GhZMxQATMBpUepxMC06j-fSCeQiETp4ytJSdXiEyb-rpyjLyQ&gsessionid=uslo0xaC-xCApKNdsPmcbkhGZ2cjFDcs6w2P4jxZ_2CdbIO3CxTXug
2. Language Models are Few-Shot Learners, tabela 3.1 — https://papers.neurips.cc/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf
3. Anthropic, „Prompting best practices”. — https://docs.anthropic.com/en/docs/build-with-claude/prompt-engineering/prompt-templates-and-variables
4. Amazon Nova 2, „Provide examples (few-shot prompting)”. — https://docs.aws.amazon.com/nova/latest/nova2-userguide/prompting-provide-examples.html
5. RIMRULE: Improving Tool-Using Language Agents, tabela 4 — https://aclanthology.org/2026.acl-long.1599.pdf
6. Google Cloud, „Include few-shot examples”. — https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/prompts/few-shot-examples?hl=en
7. GEO: Generative Engine Optimization — https://arxiv.org/abs/2311.09735
8. Evaluating Verifiability in Generative Search Engines — https://cs.stanford.edu/~nfliu/papers/liu%2Bzhang%2Bliang.arxiv2023.pdf
9. Rethinking the Role of Demonstrations: What Makes In-Context Learning Work? — https://aclanthology.org/2022.emnlp-main.759.pdf
10. Opik, „Evaluation Metrics Overview”. — https://www.comet.com/docs/opik/evaluation/metrics/overview
11. What Makes Good In-Context Examples for GPT-3?, tabela 3 — https://aclanthology.org/2022.deelio-1.10.pdf
12. Microsoft Learn, „Data Agent Example Queries”. — https://learn.microsoft.com/en-us/fabric/data-science/data-agent-example-queries
13. Is the Answer in the Text? Challenging ChatGPT with Evidence Retrieval from Instructive Text — https://aclanthology.org/2023.findings-emnlp.949v1.pdf
14. Opik, „Observability Overview” oraz „Few-Shot Bayesian Optimizer”. — https://www.comet.com/docs/opik/development/optimization-runs/algorithms/fewshot_bayesian_optimizer