Voice assistant built on OpenAI GPT-4 for self-service cash registers.

OpenAI GPT-4 integrated with self-service cash registers in retail stores. The voice assistant helps customers find products, check promotions, resolve code issues.

01 Challenge and approach

× Before

Klient przy kasie zostaje sam z pytaniem.

Kasa samoobsługowa przenosi pracę kasjera na klienta, ale nie przenosi jego wiedzy o sklepie i asortymencie.
Trzy najczęstsze powody wzywania obsługi to nieznana lokalizacja produktu, pytanie o promocję i kod, który się nie skanuje.
Jeden pracownik pilnuje kilku stanowisk naraz, więc każda podniesiona ręka zatrzymuje całą strefę kas.
Klient przy kasie nie czyta instrukcji na ekranie: ma siatkę w ręce, kolejkę za plecami i kilka sekund cierpliwości.
Model językowy sam z siebie nie zna tej placówki, więc bez danych o asortymencie i promocjach odpowiadałby zmyśleniami.

→ Our approach

Rozmowa zamiast kolejnego ekranu z instrukcją.

Zintegrowaliśmy OpenAI GPT-4 z oprogramowaniem kasy samoobsługowej i daliśmy klientowi interfejs głosowy zamiast kolejnego ekranu z instrukcją.
Mikrofon uruchamiany jest świadomie, przyciskiem, a nie nasłuchuje ciągle: to odpowiedź jednocześnie na hałas w hali i na kwestię prywatności.
Każde pytanie wzbogacamy o dane tej placówki: asortyment, dostępność, lokalizację w alejkach i aktualne promocje, więc model odpowiada z danych sklepu.
Odpowiedź jest czytana głosem i równolegle pokazywana na ekranie kasy: alejka, cena, następny krok.
Tematy spoza zakresu, czyli zwroty, reklamacje i problemy z płatnością, asystent od razu przekazuje pracownikowi, zamiast improwizować.

02 Technology stack

What we built it with.

OpenAI GPT-4

Rozumienie pytania i generowanie odpowiedzi

Rozpoznawanie mowy

Zamiana wypowiedzi klienta na tekst w warunkach hałasu sklepowego

Synteza mowy

Odpowiedź czytana głosem przy stanowisku kasowym

Warstwa kontekstu

Asortyment, promocje i lokalizacja produktów podawane modelowi

Integracja z systemem kasowym

Ekran kasy, obsługa kodów i eskalacja do pracownika

03 Project timeline

Jak to powstawało.

Analiza ścieżki klienta

Zebranie realnych powodów, dla których klient przy kasie samoobsługowej wzywa obsługę.

Pętla głosowa

Rozpoznanie mowy, odpowiedź modelu i synteza głosu w czasie, po którym człowiek jeszcze nie uznaje, że urządzenie się zawiesiło.

Podpięcie danych sklepu

Asortyment, promocje i mapa alejek jako kontekst dokładany do każdego zapytania.

Testy przy kasie i wdrożenie

Sprawdzenie działania w hałasie hali, ograniczenie zakresu tematów i uruchomienie na stanowiskach.

05 Similar case studies

See other projects.

Got a similar problem?

Legacy code with nobody left to maintain it? A migration you're dreading? Let's talk about your project.

Free store audit →