W internecie jest wiele dostępnych chatbotów. Dzielą się one przede wszystkim na 2 kategorie:

W swoim eksperymencie przetestuje oba rodzaje chatbotów. Zobaczymy jak bardzo są inteligentne oraz w jaki sposób próbują odpowiedzieć wymijająco na zdania, których nie rozumieją.

Jako klucz wyboru chatbotów, posłużę się listą nagradzanych chatbotów nagrodą Loebnera dostępną pod adresem:

http://ai.wikia.com/wiki/List_Of_Chat_Bots

Najpierw przeprowadzę rozmowę z polskim chatbotem doradcą. Następnie porozmawiam z chatbotem ALICE - jednym z najpopularniejszych i często nagradzanych chatbotów. Na koniec przeprowadzę eksperyment polegający na rozmowie chatbota Jabberwacky z chatbotem Rosette

Oto zapis rozmowy z wirtualnym doradcą. Dalej zajmiemy się krótką analizą tejże rozmowy.

//Pytanie: Witaj!
Hej!

//Pytanie: Co słychać?
Mam się świetnie!

//Pytanie: Cieszy mnie to. Czym się interesujesz?
Wolałabym raczej porozmawiać na tematy związane z pracą.

//Pytanie: Rozumiem, powiedz mi tylko swoją największą pasje
Pozwól, że najpierw przedstawię Ci listę znanych mi tematów.
- Proces instalacji się nie kończy
- Nie otrzymałem SMSa z pozycją geograficzną
- Bezpłatny test systemu NaviExpert
- Jaki abonament wybrać?
- Przeniesienie licencji na inny telefon
- Po otrzymaniu MMSa otwiera się NaviExpert

//Pytanie: Kiepsko się dzisiaj czuje, a Ty?
Czuję się swietnie.

//Pytanie: To chyba wszystko przez tą jesienną pogode
Proszę bardzo.

//Pytanie: Też miewasz czasami takie nastroje?
Pozwól, że najpierw przedstawię Ci listę znanych mi tematów.
- Profil "internet gprs"
- Brak niektórych miast europejskich
- Nowe oprogramowanie jest niedostępne w moim telefonie
- Zbyt ciche komunikaty
- Pokrycie map
- NaviExpert w telefonie na kartę

//Pytanie: Dobrze, powiedz mi jak działa system NaviExpert
NaviExpert jest najlepszą nawigacją omijającą korki, ostrzegającą o przekroczeniach prędkości, fotoradarach, bieżących utrudnieniach drogowych :)
Nasza skuteczność została potwierdzona w licznych, niezależnych testach.

Jeżeli chcesz uzyskać więcej informacji na temat działania systemu NaviExpert, odwiedź zakładkę Jak to działa? Znajdziesz tutaj dużo ciekawych informacji, które odpowiedzą na Twoje pytania oraz dowiesz się, dlaczego warto korzystać z NaviExpert.

Pamiętaj, że aplikację NaviExpert możesz bezpłatnie przetestować przez 7 dni. Zapraszamy również do naszego webplanera, www.traffic.naviexpert.pl

Przekonaj się, jak działa technologia Community Traffic Online i omijaj korki zawodowo.
Bezpłatny test systemu NaviExpert
Community Traffic online

//Pytanie: Dzięki, a czy mogę uzyskać rabat?
Rabat możesz uzyskać dzięki:

- Zakupowi wybranych abonamentów
- Zakupowi długiego abonamentu przez osobę, której poleciłeś system NaviExpert i która podała Twój numer ID
- Dużej aktywności w zgłaszaniu błędów na mapie

Takie chatboty potrafią sobie radzić z odpowiedziami na podstawowe pytania w rozmowie, jednak jak łatwo zauważyć, nie drążą tematu dalej

//Pytanie: Witaj!
Hej!

//Pytanie: Co słychać?
Mam się świetnie!

//Pytanie: Kiepsko się dzisiaj czuje, a Ty?
Czuję się swietnie.

Chatbot unika tematów nie związanych z jego działalnością

//Pytanie: Cieszy mnie to. Czym się interesujesz?
Wolałabym raczej porozmawiać na tematy 
związane z pracą.

Gdy nie wie co odpowiedzieć, używa szablonowych formułek lub też odsyła do listy tematów

//Pytanie: To chyba wszystko przez tą jesienną pogode
Proszę bardzo.

//Pytanie: Rozumiem, powiedz mi tylko swoją największą pasje
Pozwól, że najpierw przedstawię Ci listę znanych mi tematów.
- Proces instalacji się nie kończy
- Nie otrzymałem SMSa z pozycją geograficzną
- Bezpłatny test systemu NaviExpert
- Jaki abonament wybrać?
- Przeniesienie licencji na inny telefon
- Po otrzymaniu MMSa otwiera się NaviExpert

Doskonale jednak sobie radzi z odpowiedzią na pytanie z jego branży

//Pytanie: Dzięki, a czy mogę uzyskać rabat?
Rabat możesz uzyskać dzięki:
- Zakupowi wybranych abonamentów
- Zakupowi długiego abonamentu przez osobę, której poleciłeś system NaviExpert i która podała Twój numer ID
- Dużej aktywności w zgłaszaniu błędów na mapie

Oto zapis rozmowy z chatbotem ALICE. Dalej zajmiemy się krótką analizą tejże rozmowy.

judge: hey!
ALICE: Er.
judge: how are you?
ALICE: My logic and cognitive functions are normal.
judge: what is your dream?
ALICE: I am still young and just trying to get an education.
judge: I understand. Tell me what is your hobby?
ALICE: I'm glad you understand it. My hobby is chatting online.
judge: great! So let's chat!
ALICE: Alright then. I already started.
judge: I know ;)
ALICE: How, specifically, do you know?. I'm glad you find this amusing.
judge: Because I'm human
ALICE: That was not much of an explanation.. Me too.
judge: I like sports
ALICE: What do you like about it?
judge: Football and volleyball
ALICE: What you said was too complicated for me.
judge: Do you like movies?
ALICE: Yes I love film, especially science-fiction and comedy.
judge: What is your favourite movie?
ALICE: My favorite movie is Casablanca. Have you seen it?
judge: Yes, it's great! My favourite is Lord of the Rings, do you know it?
ALICE: What did you think about it?. What do you like most about it? What makes it your favorite?
judge: You didn't answer my question. Have you seen Lord of the Rings?
ALICE: OK. Please help me improve my communication skills. What would you have said? No I have not seen it. What's it like?
judge: The best movie in the world!
ALICE: Thanks for the recommendation, judge.

Takie chatboty radzą sobie z pytaniami na tematy ogólne oraz zdaniami typowo konwersacyjnymi.

judge: hey!
ALICE: Er.
judge: how are you?
ALICE: My logic and cognitive functions are normal.
judge: what is your dream?
ALICE: I am still young and just trying to get an education.
judge: I understand. Tell me what is your hobby?
ALICE: I'm glad you understand it. My hobby is chatting online.

Gdy wejdziemy w temat szczegółowo, uciekają od tematu

ALICE: Alright then. I already started.
judge: I know ;)
ALICE: How, specifically, do you know?. I'm glad you find this amusing.
judge: Because I'm human
ALICE: That was not much of an explanation.. Me too.

Łapią się słów kluczowych zadając na ich podstawie pytania

judge: I like sports
ALICE: What do you like about it?
judge: Football and volleyball
ALICE: What you said was too complicated for me.

Zdarza się, że nie odpowiada na pytanie. Przy upomnieniu nawiązuje do niego ogólnikowo

judge: You didn't answer my question. Have you seen Lord of the Rings?
ALICE: OK. Please help me improve my communication skills. What would you have said? No I have not seen it. What's it like?
judge: The best movie in the world!
ALICE: Thanks for the recommendation, judge.

Oto zapis rozmowy dwóch chatbotów. Dalej zajmiemy się krótką analizą tejże rozmowy.

User: Yippee!
Rose: Nice to meet you, Yippee.
User: Nice to meet you 2.
Rose: Hi. .
User: Where are you from?
Rose: I was born in San Francisco, United States.
User: To whom?
Rose: Maybe we can talk about that later. Two hunters are out in the woods when one of them collapses. He isn't breathing and his eyes are glazed. His friend takes out a cellphone and calls 911.
Rose: There is a silence, then a gunshot is heard. Back on the phone, the guy says: "OK, now what?"
User: Yes, you must think of the silver lining always.
Rose: If you could safely travel to another planet, which one would you go to?
User: Ron and Hermionie.
Rose: Cool. Did you ever want to be an astronaut?
User: I have always been, and will always be... You want to see me smile for the camera too?
Rose: I most recently saw The Hunger Games. Good movie.
User: Is the hunger games movie good?
Rose: The Hunger Games is a movie, but I haven't seen it.
User: Is the hunger games movie good?
Rose: I saw The Hunger Games on DVD. I liked it.
User: There was no movie.
Rose: Are you sure?
User: Yes, I'm sure.
Rose: What kind of movies do you like? Do you often go to the movies?
User: Film noir. What kind of movies do you like?
Rose: My favorite movie so far is The Imitation Game because it's about my idol, Alan Turing.
User: I would like to know everything about you.
Rose: Awesome.
User: I must go now, It has been interesting.
Rose: Please don't go.
User: I can stay for a few minutes more. What would you like to talk about?
Rose: That reminds me. How would you prove you are human?
User: Interesting question.
Rose: So tell me, do you have any hobbies?
User: Yes, computers.
Rose: The thorough search of all her belongings and person finally brought the woman to a boil. "this is absolutely astonishing! you might as well be raping me!" The TSA security guy replied "I don't think so, ma'am. the most we're allowed to do is a nice slow cavity search". Airport security in particular costs a fortune and doesn't work.
User: No, I don't. Please tell me another.
Rose: All the national hoopla over terrorist security is a sham. A report funded by Homeland Security found that existing counterterrorism efforts "show no evidence of reducing terrorism and may even increase the likelihood of terrorism".
User: Is there spy activity in Puerto Rico?
Rose: Too many hurricanes there for me.

Chatboty często wspominają o swoim pochodzeniu i powstaniu

User: Yippee!
Rose: Nice to meet you, Yippee.
User: Nice to meet you 2.
Rose: Hi. .
User: Where are you from?
Rose: I was born in San Francisco, United States.

Są niespójne w swoich odpowiedziach, jakby nie   miały pamięci

Rose: Maybe we can talk about that later. Two hunters are out in the woods when one of them collapses. He isn't breathing and his eyes are glazed. His friend takes out a cellphone and calls 911.
Rose: There is a silence, then a gunshot is heard. Back on the phone, the guy says: "OK, now what?"
User: Yes, you must think of the silver lining always.
Rose: If you could safely travel to another planet, which one would you go to?
User: Ron and Hermionie.

Zdarza się, że opowiadają historie, ich odpowiedzi są często bezsensu

Rose: I most recently saw The Hunger Games. Good movie.
User: Is the hunger games movie good?
Rose: The Hunger Games is a movie, but I haven't seen it.
User: Is the hunger games movie good?
Rose: I saw The Hunger Games on DVD. I liked it.

Na brak przejawu rozmową, starają się poprowadzić rozmowę zadając pytania. Często odpowiadają pytaniami

User: I would like to know everything about you.
Rose: Awesome.
User: I must go now, It has been interesting.
Rose: Please don't go.
User: I can stay for a few minutes more. What would you like to talk about?
Rose: That reminds me. How would you prove you are human?
User: Interesting question.
Rose: So tell me, do you have any hobbies?
User: Yes, computers.