Orange wprowadzi do obsługi klienta nowego MAX-a opartego o AI

 

Orange Polska szykuje się do wdrożenia nowego voicebota opartego na modelu LLM Google Gemini. W tym roku zastąpi on eksploatowanego od 8 lat znacznie prostszego bota. Nowy MAX ma być bardziej intuicyjny i z większą elastycznością odpowiadać na pytania klientów. Dzięki umiejętności sięgania do dodatkowych źródeł danych, ma obsługiwać więcej spraw niż do tej pory. Dzięki temu skuteczność narzędzia ma rosnąć, a percepcja klientów ‒ i NPS ‒ poprawiać się. O wdrożeniu rozmawiamy z Anną Lewandowską z Orange Polska w ramach cyklu „Innowacje w telekomunikacji” jakie GSMONLINE.PL i TELKO.in realizują we współpracy z tym operatorem.

 

 

GSMONLINE.PL/TELKO.in: Jak dostanie na imię nowy MAX?

 

ANNA LEWANDOWSKA, dyrektorka Doświadczeń Klientów i Obsługi Rynku Konsumenckiego Orange Polska: Planujemy rebranding MAXA, ale nie mogę zdradzić na razie żadnych szczegółów.

 

Czy od strony technicznej to będzie to samo narzędzie, o którym mówiliście już wcześniej, że obsługuje w trybie tekstowym klientów marki Flex?

 

Voicebot LLM to nowość. MAXA w trybie tekstowym, opartym o LLM, rozwijaliśmy rzeczywiście zaczynając od Flexa, potem przeszliśmy do nju, a teraz wdrażamy na produktach podstawowych pod marką Orange. Na czacie mamy już 37 intencji obsługiwanych nowym LLM-em.

 

Czym są „intencje” w tym znaczeniu?

 

Przyczynami kontaktu ze strony klienta. Czat oparty na LLM stopniowo obejmuje cały zakres obsługi klientów Orange. Tutaj działa zarówno stara platforma regułowa, jak i nowa platforma LLM, w zależności od tematu kontaktu. Klienci Orange Flex korzystają z niej także w kanale głosowym, ale to jest jeszcze historyczna platforma ‒ nie ta nowo projektowana.

 

Czy kolejność wdrożenia nowego MAXA będzie taka sama jak wcześniej? Flex, nju, a potem reszta usług?

 

Jeśli chodzi o nowego, głosowego MAXA ‒ będzie inaczej. Zaczniemy od podstawowych produktów pod marką Orange.

 

Dlaczego tak?

 

Bo inwestujemy w te produkty. Osiem lat temu zaczynaliśmy od pierwszego głosowego MAXA właśnie na podstawowych produktach ‒ to jest nasz główny rynek. Trzeba dodać, że kanał głosowy nie jest szczególnie ważny dla klientów Flex. Dlatego wdrożenie dla usług Orange powinno dać lepsze efekty.

 

Co nowy MAX – oparty na LLM – ma dać nowego w doświadczeniu użytkownika?

 

Na czacie daje przede wszystkim większą efektywność ‒ klient może rozwiązać więcej spraw. Stary MAX to bot regułowy: działa w oparciu o zdefiniowane reguły i nie sięga do baz wiedzy. To jest trochę nieintuicyjne: MAX umie udzielić złożonej informacji, ale czasami nie radzi sobie z prostymi pytaniami. Nowy MAX bardzo mocno rozszerzy swoje możliwości ‒ zapytasz na przykład czy salon jest otwarty w nocy, albo dlaczego na ostatniej fakturze masz połączenie do Malezji i MAX takie pytanie obsłuży. Na głosie zmiana będzie jeszcze bardziej odczuwalna niż na czacie, bo modele LLM są kontekstowe ‒ łapią wątek, pamiętają, co już zostało powiedziane i mogą do tego nawiązać, układając rozmowę w bardziej naturalny sposób. Obecnie działający MAX nie pamięta kontekstu rozmowy i dla wielu klientów to jest trudne do zaakceptowania. Klient w jednej wypowiedzi może powiedzieć kilka rzeczy naraz ‒ stary MAX odpowie tylko na jedną z nich ‒ zgodnie z regułą. Powszechny dostęp do kontekstowo działających botów AI narzuca nowe standardy takiej komunikacji. Chcemy, aby nowy MAX od nich nie odstawał.

 

 

MAX ma być nie gorszy od ChataGPT?

 

Decyzja, że MAX przechodzi na platformę LLM podjęto już dawno i z uwagi na bardziej uniwersalne korzyści. Nie można jednak ukrywać, że w percepcji klientów MAX oparty na platformie regułowej może odstawać od innych botów AI. Teraz będzie „mądrzejszy”.  Stary MAX jest jak precyzyjny automat: deterministyczne drzewa określają zakres jego ruchów, poza które nie wyjdzie.

 

Co jest podstawowym celem wdrożenia LLM: lepsza percepcja kontaktu po stronie klientów, czy wyższa skuteczność załatwiania spraw?

 

I to, i to.

 

Ile wynosi skuteczność starego MAXA?

 

Przy zagadnieniach technicznych w usługach domowych (światłowód, telewizja) MAX obsługuje ponad 70 proc. spraw. W przypadku awarii diagnozuje bardzo precyzyjnie, czy to uszkodzenie sprzętu, czy sieci. Przyjmuje zgłoszenie, jeśli potrzeba, wysyła technika. Jeśli trzeba wymienić sprzęt ‒ informuje o tym. I ta ścieżka ma naprawdę dużą akceptację klientów: jeśli maszyna załatwia sprawę ‒ klient mówi „ok”. Jeśli nie załatwia ‒ to się irytuje bardziej niż na człowieka.

 

A czy ta wysoka skuteczność nie wynika z tego, że MAX w 70 proc. przypadków odpowiada, że w danym rejonie sieci jest awaria?

 

Nie. To, że jest awaria w rejonie odpowiada precyzyjnie w 100 proc. 70 proc. oznacza, że obsługuje zgłoszenia techniczne całościowo, np. „nie działa mi telewizja”, albo „nie działa mi internet”.  Natomiast przy fakturach jego skuteczność jest kilkakrotnie niższa.

 

Dlaczego przy fakturach jest tak niska skuteczność? Przecież to są konkretne informacje.

 

Właśnie dlatego, że jest deterministyczny ‒ nie korzysta z całej bazy informacji o kliencie, ma tylko zdefiniowane ścieżki. Nowy, LLM-owy MAX będzie skuteczniejszy, bo sięgnie do bazy wiedzy i bazy danych jednocześnie.

 

Z jakich baz będzie korzystał?

 

Z dwóch zagregowanych źródeł. Baza wiedzy – informacje o procesach, cenach, ofertach, jak funkcjonują procedury Orange: zarówno dla klientów, jak i dla pracowników. I baza danych – czyli rachunki, informacje o połączeniach, historia klienta itp.

 

Jak mają się zmienić kluczowe KPI po wdrożeniu LLM-a?

 

Kluczowe wskaźniki, to ilu naszych klientów jest zadowolonych, a ilu niezadowolonych. Spodziewamy się, że liczba tych drugich spadnie, a liczba tych pierwszych wzrośnie. To przekłada się na postrzeganie operatora i na transakcyjny NPS [Net Promoter Score ‒ red.], a to z kolei na wszystkie kluczowe relacje z klientem: jego chęć zakupu usługi, czy też skłonność do rezygnacji. Brak satysfakcji jest jeszcze ważniejszy, ponieważ silnie przekłada się na percepcyjny NPS, czyli co klienci sądzą o dostawcy nawet jeżeli nie mają z nim komercyjnych doświadczeń.

Drugim kluczowym KPI jest skuteczność ‒ jak trafnie bot odpowiada na pytania. Na początku każdego projektu bardzo ważna jest poprawność odpowiedzi: czy to co mówi jest zgodnie ze stanem faktycznym.

 

Jeżeli regułowy MAX obsługuje 70 proc. pytań, to LLM-owy ma obsługiwać jaki procent?

 

Ma odpowiadać na bardziej równomiernym poziomie ‒ na wysokim poziomie we wszystkich kategoriach pytań. Wspomniane 70 proc. to średnia ‒ w poszczególnych kategoriach poziom trafności może być wyższy i niższy.

Chcemy też, żeby nowy MAX odpowiadał logicznie. Żeby nie było sytuacji, że zadajesz proste pytanie, a on nie odpowiada. Dziś deterministyczny bot, gdy pytasz o coś spoza jego ścieżek ‒ na przykład „po ile są jajka” ‒ nie wie, co odpowiedzieć, bo nie przewidziano takiego pytania i może przypadkowo przypisać ścieżkę odpowiedzi. LLM-owy powie po prostu, że nie udzieli odpowiedzi na takie pytanie.

 

Czyli twarde KPI mają się utrzymać albo wyrównać, a główna korzyść będzie z większej przyjazności narzędzia?

 

Tak, z ilości intencji oraz ich skutecznego obsłużenia przez bota. Przede wszystkim chodzi jednak o to, żeby MAX był bardziej zrozumiały dla rozmówcy ‒ jeśli zadasz pytanie, dostajesz odpowiedź. Jeśli nie potrafi odpowiedzieć, mówi o tym i łączy do doradcy.

 

Jedno z głównych źródeł irytacji klientów na MAXA to proces weryfikacji. To się ma szansę zmienić po wdrożeniu LLM-a?

 

Nie zmieni się, bo musimy zweryfikować klienta. To wynika z przepisów prawa. Wdrażamy nowe narzędzia, jak weryfikacja dwuskładnikowa, żeby proces był łatwiejszy, jednak go nie unikniemy. Wiemy, że klienci tego nie lubią ‒ choć co ciekawe, w przypadku bankowości i poczucia ochrony pieniędzy, są bardziej tolerancyjni. A my nie możemy postępować inaczej. Dane rachunkowe, historia połączeń to informacje, które możemy udostępniać tylko osobom upoważnionym.

 

Czy z powodu wyższego poziomu zrozumienia i lepszej komunikatywności MAXA nie będzie skutku ubocznego w postaci wydłużenia czasu rozmów? Bo z nowym MAXEM fajnie się rozmawia…

 

Jeżeli nawet tak by było, to jest w porządku. Naszą strategią nie jest unikanie kontaktów z klientem. Strategią jest minimalizowanie błędów i usterek, które powodują potrzebę kontaktu. Jeśli klient potrzebuje się skontaktować i rozmawiać ‒ niech się kontaktuje i rozmawia. Gdzie chce i kiedy chce.

 

A to się nie przekłada na zużycie zasobów?

 

Zużycie zasobów informatycznych rośnie, ale jest na akceptowalnym poziomie.

 

 

Czy obserwujecie zjawisko, że klienci traktują MAXA jak surogat interakcji z człowiekiem?

 

Obserwujemy to zjawisko bardziej w stronę naszych doradców niż bota. Jeśli chodzi o nowego głosowego MAXA ‒ to on jeszcze nie działa, więc trudno ocenić. Na czacie nie ma takiego zjawiska.

 

A jeśli nowy MAX będzie wchodził lepiej w interakcję i klienci zaczną go traktować jak przyjaciela – jak do tego podejdziecie?

 

Jeśli kontakty będą tematycznie związane z usługami i naszą działalnością ‒ dlaczego nie? Jeśli wykraczałyby poza te granice, to nie chcielibyśmy, żeby MAX stał się towarzyską infolinią.

 

Kiedy nowy MAX będzie wdrożony?

 

W tym roku.

 

Na czym oparte jest to rozwiązanie?

 

To jest rozwiązanie kupione, wdrażane przez nas razem z zewnętrznym dostawcą. Model bazowy LLM to Gemini Google.

 

Czy to ma coś wspólnego z podobnym narzędziem pod nazwą Sosh, którego uruchomienie zapowiedziała Grupa Orange?

 

Nie. Nowy MAX to nasze narzędzie, które wdrażamy z lokalnym partnerem.

 

Czy mieliście pełną swobodę wyboru modelu LLM? W końcu Orange Polska łączy strategiczna współpraca z Google.

 

Mieliśmy swobodę wyboru. Kilka elementów złożyło się na to, na jaki model LLM ostatecznie się zdecydowaliśmy.

 

Czy skuteczność tego rozwiązania jest już potwierdzona, czy to jeszcze kwestia do zweryfikowania?

 

Strategiczna decyzja, że przesiadamy się na LLM, została podjęta. Nie wiemy jeszcze, kiedy całkowicie zrezygnujemy ze starych funkcjonalności MAXA. Będziemy szli w model hybrydowy ‒ wdrażamy nowe rozwiązanie, utrzymując jednocześnie to dotychczasowe (podobnie jak w przypadku chatbota). Dopiero z czasem podejmiemy decyzję, na ile nowy MAX jest gotowy, żeby zastąpić starego w zakresie samoobsługi. Klient tego nie poczuje, bo nie będzie wiedział, że to inny MAX.

 

Dlaczego musicie utrzymywać strukturę hybrydową?

 

Głównie dlatego, że po raz pierwszy wdrażamy LLM-owego voicebota i chcemy dysponować rozwiązaniem zapasowym. To bezpieczny scenariusz ‒ biznesowo i obsługowo.

 

Czy koszty eksploatacji platformy LLM-owej są wyższe niż regułowej?

 

Tak. Za takie rozwiązanie trzeba zapłacić trochę więcej. Przesiadamy się także na nowy ASR [Automatic Speech Recognition ‒ red.] do transkrypcji głosu na tekst. Ponadto w przypadku bota opartego na LLM będziemy w większym zakresie korzystać z chmury. Koszty przetwarzania są wyższe, ale saldo i tak będzie pozytywne.

 

Czy stary MAX spowodował redukcję zatrudnienia w centrach obsługi?

 

Rzeczywiście, dzisiaj mniej osób pracuje w call center, bo kilka lat temu przeszliśmy transformację. MAX nie był jednak głównym motorem, a bardziej cyfrowe narzędzia samoobsługi, czyli np. Mój Orange: aplikacja i serwis internetowy (większość użytkowników korzysta z aplikacji).

 

A LLM pogłębi redukcję zatrudnienia?

 

Utrzyma na aktualnym poziomie. W call center obsługowym Orange zależy nam na kontaktach z klientami. To nie jest już customer care tylko do obsługi reklamacji. Tam sprzedajemy również produkty.

 

A nowy MAX do sprzedaży się nie nadaje?

 

Docelowo ma pełnić także rolę sprzedażową.

 

Czemu docelowo?

 

Ponieważ priorytetem jest implementacja obsługowej funkcji MAXA, uzyskanie dobrej jakości i sprawdzenie, jak oceniają to klienci. Sprzedaż będziemy wdrażać później.

 

Czy boty w ogóle sprzedają coś na polskim rynku?

 

W Orange voicebot ani chatbot nie sprzedają i na razie nie będą. Całkowicie jest to w rękach ludzi, chociaż do samej inicjacji rozmowy sprzedażowej angażujemy także boty, aby oszczędzić czas konsultantów. Sprzedaż usług postrzegana jest jako rzecz wymagająca doradzenia klientowi. Ci klienci, którzy tego nie potrzebują i tak korzystają z serwisów cyfrowych. Bot w tej roli nie cieszyłby się wielką popularnością. Z tego, co wiem, na rynku detalicznym w Polsce nie ma botów, które sprzedają z sukcesem.

 

T-Mobile reklamuje, że klientom biznesowym zapewnia żywego doradcę a nie bota.

 

W Orange dużą część segmentu B2B obsługujemy przez konsultantów, ale nie prezentujemy tego w reklamach jako przewagi.

 

Czy obsługa ludzka stanie się premium?

 

To pytanie powtarza się bardzo często. W Orange, przynajmniej na razie, tak nie będzie. Obsługa przez konsultantów nie będzie miała charakteru premium, ponieważ w żadnym obszarze nie planujemy wyeliminować pracy konsultantów, ale jedynie wspomóc ich automatycznymi narzędziami.

 

Czyli wdrożenie nowego voicebota obejmie w Orange także obsługę firm?

 

Tak.

 

Czy za kilka lat będzie jeszcze obsługa ludzka?

 

Będzie. W call center i w salonach. Tak jak dzisiaj. Kanały cyfrowe będą się jednak wciąż rozwijały ‒ głównie Mój Orange.

 

Przy tym tempie rozwoju narzędzia AI, trudno się założyć, że za 5 lat człowiek będzie jeszcze potrzebny w call center. Jak pracownicy reagują na te zmiany?

 

Mierzymy nastroje, robiąc cyklicznie badania i wyniki są naprawdę zadowalające. 8 lat temu, kiedy wdrażaliśmy MAXA, byliśmy pierwsi w grupie w użyciu voicebotów na podstawowych produktach (Grupa Orange wdrażała automaty na czacie). Dla pracowników to była zaskakująca nowość, dla klientów nie mniejsza. Część pracowników automatycznie stawała wówczas po stronie klientów, którzy narzekali, że nie mogą porozumieć się z MAXEM. Ze strony pracowników dominowały jednak konstruktywne komentarze: co nie działa, co warto poprawić. Teraz pracownicy widzą, że centra obsługi wciąż istnieją. Nastąpiła zmiana zadań ‒ dzisiaj pracownicy łączą kompetencje obsługowe i sprzedażowe.

 

Jak oceniacie poziom akceptacji kontaktu z botem po stronie klientów – czy są różnice demograficzne?

 

Akceptacja rośnie. W ogólnych badaniach rynku ok. jedna czwarta respondentów nie akceptuje takich rozwiązań, pozostali są otwarci na korzystanie z narzędzi AI i z nich korzystają w życiu codziennym. Wśród 18-29 latków blisko 70 proc. już deklaruje korzystanie z narzędzi AI, a w grupie 60+ blisko 50 proc. To razem daje wysoki potencjał, który jeszcze jakiś czas temu nie przekraczał 30 proc. Dynamika wzrostu jest niezła. W Orange wskaźnik zadowolenia z kontaktu z botem jest dużo powyżej 50 proc., czyli dość wysoki, choć niższy niż z doradcą.

 

Czy ma być absolutnie jasne, że klient Orange rozmawia z botem, a nie człowiekiem?

 

Tak, absolutnie. Transparentność jest dla nas dużą wartością ‒ buduje lojalność i zaufanie. MAX przedstawia się: „Jestem MAX, głos sztucznej inteligencji”. Część klientów go personifikuje i myśli o nim jak o człowieku, ale to jest absolutnie niezamierzone.

 

Czy jest coś nieetycznego w tym, żeby bot udawał człowieka (czy też nie informował wprost, że jest botem)?

 

Uważamy, że transparentność jest wartością i buduje zaufanie do Orange. Nie mamy intencji sprawiać wrażenia, że bot to człowiek.

 

Czy MAX będzie miał swoją „osobowość”? Czy będzie można ją wybrać: np. płeć rozmówcy?

 

Nie ma takiej intencji. Idziemy w kierunku standardu ‒ wszędzie ten sam głos, to samo imię.

 

Czy halucynacje LLM-a to duży problem przy projektowaniu nowego MAXA?

 

Na pewno potrzebna jest ścisła kontrola. Buduje się mechanizmy ograniczające możliwość halucynowania.

 

Czy wasze wdrożenie może być wykorzystane w całej grupie Orange?

 

Kupiliśmy polskie rozwiązanie, ale nie ogranicza się do języka polskiego. W Grupie jest zasada mutualizacji wdrożeń. Oznacza to, że jeśli zostanie ocenione jako atrakcyjne dla innych krajów, będzie wykorzystane.

 

Dziękujemy za rozmowę.

 

rozmawiali Łukasz Dec i Wojciech Piechocki

[Tekst powstał w ramach cyklu „Innowacje w telekomunikacji” jakie GSMONLINE.PL i TELKO.in realizują we współpracy z Orange Polska]

 

To materiał sponsorowany - powstał na zlecenie firmy Orange Polska.