Głosowy asystent OpenAI GPT-4 przy kasach samoobsługowych.

OpenAI GPT-4 zintegrowany z kasami samoobsługowymi w sklepach detalicznych. Asystent głosowy pomaga klientom znaleźć produkty, sprawdzić promocje, rozwiązać problemy z kodami.

01 Wyzwanie i podejście

× Przed

Klient przy kasie zostaje sam z pytaniem.

Kasa samoobsługowa przenosi pracę kasjera na klienta, ale nie przenosi jego wiedzy o sklepie i asortymencie.
Trzy najczęstsze powody wzywania obsługi to nieznana lokalizacja produktu, pytanie o promocję i kod, który się nie skanuje.
Jeden pracownik pilnuje kilku stanowisk naraz, więc każda podniesiona ręka zatrzymuje całą strefę kas.
Klient przy kasie nie czyta instrukcji na ekranie: ma siatkę w ręce, kolejkę za plecami i kilka sekund cierpliwości.
Model językowy sam z siebie nie zna tej placówki, więc bez danych o asortymencie i promocjach odpowiadałby zmyśleniami.

→ Nasze podejście

Rozmowa zamiast kolejnego ekranu z instrukcją.

Zintegrowaliśmy OpenAI GPT-4 z oprogramowaniem kasy samoobsługowej i daliśmy klientowi interfejs głosowy zamiast kolejnego ekranu z instrukcją.
Mikrofon uruchamiany jest świadomie, przyciskiem, a nie nasłuchuje ciągle: to odpowiedź jednocześnie na hałas w hali i na kwestię prywatności.
Każde pytanie wzbogacamy o dane tej placówki: asortyment, dostępność, lokalizację w alejkach i aktualne promocje, więc model odpowiada z danych sklepu.
Odpowiedź jest czytana głosem i równolegle pokazywana na ekranie kasy: alejka, cena, następny krok.
Tematy spoza zakresu, czyli zwroty, reklamacje i problemy z płatnością, asystent od razu przekazuje pracownikowi, zamiast improwizować.

02 Stack technologiczny

Czym to zbudowaliśmy.

OpenAI GPT-4

Rozumienie pytania i generowanie odpowiedzi

Rozpoznawanie mowy

Zamiana wypowiedzi klienta na tekst w warunkach hałasu sklepowego

Synteza mowy

Odpowiedź czytana głosem przy stanowisku kasowym

Warstwa kontekstu

Asortyment, promocje i lokalizacja produktów podawane modelowi

Integracja z systemem kasowym

Ekran kasy, obsługa kodów i eskalacja do pracownika

03 Przebieg projektu

Jak to powstawało.

Analiza ścieżki klienta

Zebranie realnych powodów, dla których klient przy kasie samoobsługowej wzywa obsługę.

Pętla głosowa

Rozpoznanie mowy, odpowiedź modelu i synteza głosu w czasie, po którym człowiek jeszcze nie uznaje, że urządzenie się zawiesiło.

Podpięcie danych sklepu

Asortyment, promocje i mapa alejek jako kontekst dokładany do każdego zapytania.

Testy przy kasie i wdrożenie

Sprawdzenie działania w hałasie hali, ograniczenie zakresu tematów i uruchomienie na stanowiskach.

05 Podobne realizacje

Zobacz inne projekty.

Masz podobny problem?

Legacy kod, którego nie ma kto utrzymać? Migracja, której się boisz? Porozmawiajmy o Twoim projekcie.

Bezpłatny audyt sklepu →