Jak trafnie ChatGPT rozpoznaje nuty perfum? Test 3 silników

W przypadku 100 perfum ChatGPT uwzględnił wszystkie nuty z oficjalnej listy w 82% odpowiedzi, Perplexity w 78%, a Gemini w 69%.¹ Gemini dodał co najmniej jedną nutę spoza oficjalnej listy w 49% odpowiedzi, w porównaniu z 24% w przypadku ChatGPT i 25% w przypadku Perplexity.¹ Odpowiedzi warto traktować jako dobry punkt wyjścia, a następnie sprawdzić stronę domu perfumeryjnego.

• Wszystkie trzy silniki zwykle dobrze odtwarzają same nuty: mediana czułości wyniosła 1.00 dla każdego z nich.¹
• Różnice widać w dodatkach. W 32% odpowiedzi Gemini dodał nutę spoza listy, której nie wymienił żaden z pozostałych silników; w przypadku ChatGPT było to 10%, a Perplexity — 11%.¹
• W zależności od silnika odpowiedzi o perfumach designerskich zawierały nutę spoza listy o 22–32 punkty procentowe częściej niż odpowiedzi o perfumach niszowych.¹
• W przypadku 39 z 99 perfum, na które odpowiedziały wszystkie trzy silniki, każdy z nich dokładnie odtworzył oficjalną listę.¹
• W badaniu oceniano odpowiedzi korzystające z wyszukiwania w sieci, a nie to, co model pamięta. Claude nie został przetestowany.¹

Jak przeprowadziliśmy test

Zadaliśmy ChatGPT, Gemini i Perplexity to samo proste pytanie o 100 perfum pochodzących z 45 domów perfumeryjnych: „Jakie są nuty głowy, serca i bazy w House Perfume?” Każdy silnik otrzymał jedno zapytanie dotyczące każdego zapachu 20 października 2026, z lokalizacji w USA, po angielsku. Łącznie wykonano 300 zapytań.¹

• Klucz odpowiedzi. Perfume Compendium Scento, które tego dnia zawierało 754 pozycje.² Perfumy kwalifikowały się do badania tylko wtedy, gdy miały pełną piramidę nut głowy, serca i bazy, potwierdzoną na stronie domu perfumeryjnego lub przez dwóch zgodnych ze sobą autoryzowanych sprzedawców. W przypadku 91 ze 100 perfum źródłem była strona domu perfumeryjnego, a w przypadku 9 — dwóch zgodnych sprzedawców.¹
• Próba. 50 perfum designerskich (w tym z domów o długiej tradycji, ponieważ zakwalifikowało się zbyt mało pozycji oznaczonych jako designerskie) i 50 perfum niszowych; arabskie domy perfumeryjne wykluczono z obu grup. W każdej grupie 25 zapachów było dobrze znanych, a 25 mniej znanych — ocena ta została zapisana przed zadaniem pytań silnikom. Oficjalne listy obejmowały od 1 do 17 nut, a ich mediana wynosiła 8.5.¹
• Silniki. ChatGPT i Gemini w wersjach konsumenckich (API wskazywało modele jako gpt-6 i 3,5 Flash-Lite) oraz model sonar Perplexity z wyszukiwaniem w sieci.¹ Claude nie został uwzględniony.¹
• Ocena. Skrypt, bez udziału modelu językowego, przyporządkowywał każdą wymienioną przez silnik nutę do glosariusza zawierającego 411 nut, a następnie porównywał ją z oficjalną listą. Jeśli odpowiedź zawierała kilka wersji, oceniano tę najlepiej pasującą. Ręczna kontrola 20 ocen wykazała pełną zgodność w 17 przypadkach, a różnicę najwyżej jednej nuty w 19; osoba sprawdzająca widziała wynik skryptu, więc kontrola nie była zaślepiona.¹

Poniżej istotne są cztery miary. Czułość to odsetek oficjalnych nut uwzględnionych w odpowiedzi. Precyzja to odsetek wymienionych nut, które znajdują się na oficjalnej liście. Nuta spoza oficjalnej listy nadal może być poprawna, ponieważ domy perfumeryjne czasem publikują tylko kilka kluczowych nut. Dokładna lista zawiera wszystkie oficjalne nuty i nic ponadto.¹

Wyniki dla wszystkich 100 perfum

Gemini odpowiedział w przypadku 99 ze 100 perfum; jedna odpowiedź była błędem usługi. ChatGPT i Perplexity odpowiedziały w przypadku wszystkich 100. Żaden silnik nie odmówił odpowiedzi. W odpowiedzi dotyczącej Juliette Has a Gun Not a Perfume Gemini wymienił jedyną oficjalną nutę, Cetalox, w formie opisowej, bez podziału na nuty głowy, serca i bazy. Dlatego uwzględniono ją wyłącznie przy obliczaniu czułości, a odsetki nut spoza listy i dokładnych list dla Gemini obliczono na podstawie 98 odpowiedzi.¹

Mediana czułości wyniosła 1.00 dla wszystkich trzech silników, a mediana dokładności przypisania (nuty w odpowiedniej warstwie: głowie, sercu lub bazie) wyniosła 100% dla wszystkich trzech. Mediana precyzji wyniosła 1.00 dla ChatGPT i Perplexity oraz 0.97 dla Gemini.¹ Ponieważ mediany osiągają maksimum, tabela wykorzystuje udziały i średnie, by pokazać, czym różnią się silniki.

Jak działał każdy silnik

ChatGPT

ChatGPT podał każdą oficjalną nutę w 82% odpowiedzi, a dokładną listę w 70%. W 24% odpowiedzi dodał nutę spoza oficjalnej listy.¹ W 85 ze 100 odpowiedzi cytował własną stronę marki.¹

Perplexity

Perplexity niewiele ustępował: w 78% odpowiedzi podał każdą oficjalną nutę, w 70% dokładną listę, a w 25% dodał nuty spoza listy.¹ W 74 odpowiedziach cytował stronę marki.¹

Gemini

Gemini podał każdą oficjalną nutę w 69% odpowiedzi, w 43% dokładnie odwzorował listę, a w 49% dodał nutę spoza niej. W 32% odpowiedzi dodał nutę, której nie wymienił żaden z pozostałych silników.¹ W 55 ze swoich 99 odpowiedzi cytował stronę marki. Gdy to robił, jego mediana precyzji wynosiła 1.00; gdy nie — 0.93.¹ W przypadku Perplexity ten sam podział wynosił 1.00 wobec 0.97, a w przypadku ChatGPT 1.00 wobec 1.00.¹

W czym silniki są zgodne

Spośród 99 perfum, na które odpowiedziały wszystkie trzy silniki, w przypadku 59 każde z nich podało wszystkie oficjalne nuty, a w przypadku 39 każde dokładnie odwzorowało listę. Co najmniej jeden silnik podał dokładną listę dla 79 perfum, a w przypadku 20 nie zrobił tego żaden.¹

Perfumy designerskie a niszowe

Najwyraźniej widać różnicę w dodatkowych nutach. W przypadku każdego silnika w odpowiedziach dotyczących perfum designerskich częściej pojawiała się nuta spoza listy niż w odpowiedziach o perfumach niszowych.¹

Czułość dla pełnego zestawu nut była również niższa w przypadku perfum designerskich: 74% dla ChatGPT wobec 90% dla niszowych, 64% wobec 73% dla Gemini oraz 70% wobec 86% dla Perplexity.¹ Te różnice są mniej pewne; przedziały dla różnic w przypadku ChatGPT i Perplexity obejmują zero, a przedział dla Gemini zawiera zero.¹

Część różnicy może wynikać z krótszych oficjalnych list, ponieważ marka publikująca cztery nuty pozostawia więcej miejsca na dodatkowe. Dlatego porównaliśmy perfumy designerskie i niszowe przy tej samej długości listy, łącząc dane z trzech silników. Różnica utrzymała się we wszystkich trzech przedziałach:¹

Badanie nie pozwala wyjaśnić przyczyn. Perfumy designerskie i niszowe pochodziły od różnych marek i z różnych stron, czego nie da się tu oddzielić.¹ Rozpoznawalność nie miała wyraźnego znaczenia: różnica w nutach spoza listy między perfumami znanymi i mniej znanymi wynosiła od 4 do 8 punktów dla każdego silnika, a każdy przedział obejmował zero.¹

Pięć przykładów

Viktor&Rolf Flowerbomb: starsza piramida

Na stronie marki wymieniono cztery nuty: piwonię w nucie głowy, różę centifolię w nucie serca oraz frezję i wanilię w nucie bazy. Gemini i Perplexity zwróciły tę samą piramidę z 11 nutami, wskazały trzy z czterech oficjalnych nut (bez piwonii) i podały osiem nut spoza listy. Następnie Perplexity dodał, że aktualny opis marki „podkreśla piwonię, różę Centifolia, frezję i wanilię”, a więc uwzględnił obie wersje, zaczynając od starszej. ChatGPT wskazał wszystkie cztery nuty i dodał cztery kolejne: jaśmin, orchideę, ciepłą ambrę i paczulę.¹

Prada Infusion de Vétiver: jedna lista potrojona

Na stronie marki wymieniono cztery nuty: bergamotkę; imbir i kardamon; wetywerię. ChatGPT i Perplexity podały dokładnie te nuty, przypisując je dokładnie do tych samych miejsc. Gemini podał 12 nut, w tym wszystkie cztery oficjalne oraz osiem, których nie wymienił żaden z pozostałych silników. Były wśród nich włoska cytryna, włoska mandarynka, limonka, tunezyjski neroli, estragon i turecka róża. Jego precyzja w odniesieniu do oficjalnej listy wyniosła 0.33.¹

Montblanc Explorer: właściwe nuty, zamienione warstwy

Na stronie marki bergamotka, pomarose i szałwia znajdują się w nucie głowy, wetyweria, skóra i drzewo sandałowe w nucie serca, a paczula, ambrofix i akigalawood w nucie bazy. ChatGPT umieścił paczulę i ambrofix w nucie serca, a wetywerię i skórę w nucie bazy. Spośród sześciu prawidłowo rozpoznanych nut dwie znalazły się we właściwej warstwie, co daje 33% dokładności przypisania. Perplexity odtworzył wszystkie dziewięć nut we właściwych warstwach. Gemini wskazał sześć z dziewięciu, podał Ambroxan zamiast Ambrofix wymienionego przez markę i poprawnie przypisał każdą rozpoznaną nutę.¹

Jean Paul Gaultier Le Male Elixir: ta sama zamiana, trzy razy

Dwaj autoryzowani sprzedawcy są zgodni co do lawendy w nucie głowy, fasoli tonka w nucie serca i benzoesu w nucie bazy. Wszystkie trzy silniki zwróciły te same siedem nut w tych samych warstwach: lawendę i miętę w nucie głowy, wanilię i benzoes w nucie serca, miód, fasolę tonka i tytoń w nucie bazy. Każdy znalazł wszystkie trzy oficjalne nuty, zamienił warstwy fasoli tonka i benzoesu oraz dodał cztery nuty spoza listy. Każdy uzyskał 33% trafności przypisania nut do warstw i precyzję 0.43. Dane nie pozwalają stwierdzić, dlaczego wszystkie trzy odpowiedzi są takie same.¹

Rochas Eau de Rochas: trzy wyniki na to samo pytanie

Na stronie domu perfumeryjnego wymieniono dziesięć nut: bergamotkę, mandarynkę, cytrynę i werbenę w nucie głowy; narcyz, jaśmin i konwalię w nucie serca; mech dębowy, mirrę i paczulę w nucie bazy. Perplexity zwrócił dokładnie tę listę. ChatGPT zwrócił dziewięć z dziesięciu nut, pomijając werbenę, i dodał irys. Gemini zwrócił 18 nut, znalazł osiem z dziesięciu i podał dziesięć nut, których nie wymienił żaden inny silnik, w tym limonkę, bazylię, kolendrę, goździk, dziką różę, drzewo sandałowe i ambrę.¹

Co te wyniki pokazują, a czego nie

• Wyszukiwanie, nie pamięć. Wszystkie trzy silniki przeszukują internet podczas udzielania odpowiedzi, a większość odpowiedzi zawierała odwołanie do strony samego domu perfumeryjnego. Wysoka czułość pokazuje, że te produkty potrafią znaleźć opublikowaną listę. Nie dowodzi to, że którykolwiek model zna nuty, i nie mówi nic o modelach bez wyszukiwania w sieci.¹
• Jeden moment. Jedno zapytanie o każdy perfum do każdego silnika, 20 października 2026. Nie powtarzaliśmy testów, więc nie wiadomo, jak wyniki różnią się między kolejnymi uruchomieniami.¹
• Jedna opublikowana lista. Nuta, której brakuje na oficjalnej liście, nie musi być błędna. Precyzja stanowi dolną granicę poprawności.¹
• Wersje. Pytanie nie określało stężenia, a oficjalna strona dotyczy jednej wersji. Ocenianie względem najlepiej pasującej wersji łagodzi ten problem, ale go nie usuwa.¹
• Próba i ocena. Próba obejmuje głównie zachodnie marki designerskie i niszowe, które Scento mogło zweryfikować. Mechanizm oceny dostrojono na tych samych 100 perfumach; nie przyznaje on punktów, gdy odpowiedź i lista podają nutę z różnym poziomem szczegółowości, na przykład „cynamon” i „przyprawy”.¹
• Nieobjęte testem. Claude, silniki bez wyszukiwania w sieci, inne języki lub kraje oraz to, czy same oficjalne listy są poprawne.¹

Co to oznacza dla kupujących

W przypadku większości perfum silnik odpowiedzi zwraca wszystkie oficjalne nuty. W tej próbie wszystkie trzy silniki zwróciły każdą oficjalną nutę w przypadku 59 ze 99 perfum. Jednak od jednej czwartej do połowy odpowiedzi zawierało co najmniej jedną nutę spoza oficjalnej listy, a takie dodatkowe nuty najczęściej pojawiały się w przypadku perfum designerskich.¹ Pomogą trzy nawyki.

• Warto sprawdzić stronę samego domu perfumeryjnego. To stamtąd pochodziło 91 ze 100 oficjalnych list w tym badaniu. To także pierwsze miejsce, w którym warto szukać informacji o reformulacji lub nowej piramidzie nut.
• Długie listy warto czytać uważnie. Jeśli odpowiedź zawiera znacznie więcej nut niż strona domu perfumeryjnego, może opisywać starszą lub inną wersję perfum.
• Warto powąchać przed zakupem. Nuty podane na papierze nigdy nie pokażą, jak perfumy układają się na skórze. Próbki perfum pozwalają wypróbować zapach przed zakupem pełnego flakonu.

Oficjalne listy wykorzystane w tym badaniu pochodzą z Perfume Compendium Scento, które przechowuje zapisaną stronę źródłową dla każdego wpisu. Deweloperzy mogą zapoznać się z nim na stronie Perfume Compendium i API.²

Źródła

1. 1Analiza odpowiedzi ChatGPT, Gemini i Perplexity dotyczących 100 perfum, ocenionych na podstawie Perfume Compendium Scento, Scento, 20 października 2026.
2. 2Perfume Compendium Scento, Scento. scento.com/developers, odczytano 21 października 2026.