Deskhero
Türkçe
Ücretsiz deneyin

← Back to articles

Hataları Gerçekten Azaltan Chatbot Güven Eşikleri Belirleyin

Hataları Gerçekten Azaltan Chatbot Güven Eşikleri Belirleyin

Belirsiz chatbot dönüşlerini güvenli bir şekilde yönlendirmek için güven eşiklerini kullanın. Pratik bir tasarımda üç bant bulunur: yüksek güven düzeyinde yanıt verin, orta düzeyde onaylayın veya netleştirin ve düşük düzeyde bir insana devredin. Sayısal eşikler modeliniz ve trafiğiniz için kalibre edilmelidir. 0.85 ve 0.5 gibi değerler politikayı açıklamak için kullanılabilir; ancak bunlar evrensel varsayılanlar değildir.

Oracle’ın niyet çözümleme belgelerinde kendi niyet modeli için başlangıç noktası olarak 0.70 kullanılır ve sonuçlar desteklediğinde daha yüksek değerlerin test edilmesi önerilir. Bu tavsiye platforma özeldir. Bir model, alan veya puan tanımı için işe yarayan eşik, başka bir model, alan ya da puan tanımı için yanlış olabilir.

Bir eşiği değiştirmeden önce, yakın tarihli görüşmelerden temsili bir değerlendirme seti oluşturun. Tahmin edilen her niyetin veya yanıtın doğru olup olmadığını etiketleyin, ardından bu sonuçları sistem tarafından kaydedilen puanlar ve eylemlerle karşılaştırın. Böylece yalnızca bir sağlayıcının varsayılanına güvenmek yerine, eşik seçmek için kanıta sahip olursunuz.

  • Yüksek bant (örnek: 0.85+): bot otomatik olarak yanıt verir, onay adımı yoktur.
  • Orta bant (örnek: 0.5 ile 0.85): bot işlem yapmadan önce onaylar veya netleştirir.
  • Düşük bant (örnek: 0.5’in altı): bot görüşmeyi bir insana devreder veya geri dönüş niyetini tetikler.

Uzman İpucu: Yaygın niyetleri, belirsiz ifadeleri ve bilinen başarısızlık durumlarını kapsayacak kadar yakın tarihli görüşmeyle başlayın. Dikkatle etiketlenmiş daha küçük bir set, güvenilmez etiketlere sahip büyük bir örneklemden daha kullanışlıdır.

Önemli Çıkarımlar

Üç bantlı bir politika, belirsiz dönüşlere bir onay yolu sunarak sessizce verilen yanlış yanıtları azaltabilir. Otomasyon ve doğruluk üzerindeki etkisi, kendi etiketlenmiş görüşmelerinizle ölçülmelidir.

Nokta Ayrıntılar
Üç bantla başlayın Yüksek, orta ve düşük düzeydeki eylemleri tanımlayın. 0.85 ve 0.5 değerlerini örnek olarak ele alın, ardından gerçek eşikleri kalibre edin.
Gerçek verilerle kalibre edin Doğruluk açısından temsili bir seti etiketleyin, ardından herhangi bir eşiğe güvenmeden önce puan bandına göre performansı inceleyin.
LLM’nin öz güvenine güvenmeyin RAG sistemlerinde modelin belirttiği kesinliğe güvenmek yerine erişim ve temellendirme sinyallerini değerlendirin.
Hem otomasyonu hem hataları izleyin Otomasyon oranını ve yanlış yanıt oranını birlikte takip edin; yalnızca birinin yükselmesi alarm işaretidir.
Temellendirilmiş, onaylanmış bilgiyi kullanın Deskhero’nun AI chat-bot’u yalnızca Kullanıcı tarafından onaylanmış herkese açık SSS içeriğinden yanıt verir ve güvenle yanıtlayamadığında görüşmeyi devreder.

İçindekiler

Chatbot Güven Eşiği Tam Olarak Nedir?

Güven puanı, niyet sınıflandırıcınızın veya erişim sisteminizin en iyi tahminine atadığı ve genellikle 0 ile 1 arasında bulunan sayıdır. Güven eşiği, botun bundan sonra ne yapacağına karar vermek için bu aralıkta belirlediğiniz sınırdır. Puan seçeneklerinizi sıralar; eşik ise bunun üzerine eklediğiniz politika kararıdır.

Güven puanının anlamı sisteme bağlıdır. Bazı sınıflandırıcılar, gözlemlenen doğrulukla kalibre edilebilen puanlar üretir. Diğer platformlar yalnızca sıralama veya benzerlik sinyalleri sunar. Sağlayıcı bu yorumu belgelemiyor ve değerlendirme verileriniz doğrulamıyorsa, 0.92 puanının doğru yanıt olma olasılığının %92 olduğu varsayımında bulunmayın.

Erişim destekli üretim (RAG) başka bir katman ekler. Erişilen materyal güncelliğini yitirmiş veya ilgisiz olsa bile üretilen yanıt kesinmiş gibi görünebilir. Erişim benzerliği, kaynak kalitesi, yanıt desteği ve model davranışı ayrı sinyallerdir. Bunları bir yönlendirme politikasında birleştirmeden önce her birini etiketlenmiş sonuçlarla test edin.

Uzman İpucu: Bir LLM’nin kendi bildirdiği kesinliği tek yönlendirme sinyali olarak kullanmayın. İlgili kaynak materyali zorunlu kılın ve erişim ya da temellendirme kontrollerinin verilerinizde gerçekten doğruluğu öngörüp öngörmediğini test edin.

Üç Güven Bandı Neden Tek Bir Eşikten Daha İyidir?

Tek bir eşik ikili bir seçimi zorunlu kılar: yanıt ver veya verme. Orta bant üçüncü bir seçenek ekler: kısa bir netleştirme sorusu sor. Bu, her belirsiz dönüşü doğrudan bir insana göndermeden sessiz başarısızlıkları azaltabilir.

Bant Tipik Aralık Bot Davranışı UX Örneği
Yüksek Örnek: 0.85 ve üzeri Otomatik yanıt, sürtünme yok Bot doğrudan yanıt verir: “Siparişiniz perşembe günü gönderilecek.”
Orta Örnek: 0.5 ile 0.85 Onayla veya netleştir “Siparişinizi takip etmeyi mi, yoksa iptal etmeyi mi kastediyorsunuz?”
Düşük Örnek: 0.5’in altı Geri dönüş veya devir “Sizi ekibimizden biriyle görüştüreyim.”

Chatbot güven bantlarını ve davranışlarını gösteren diyagram

Bu aralıklar, yönlendirme mantığını somutlaştıran örneklerdir. Bunları kendi platformunuzdan, puan tanımınızdan ve yanlış yanıtın maliyetinden türetilen değerlerle değiştirin.

Uygulamada gördüğünüzde gerekçe basittir. Diyelim ki tek eşik 0.70 olarak belirlendi; bu, bu çizginin hemen üzerindeki her puanın tam güvenle otomatik olarak yanıtlanması anlamına gelir, oysa 0.71 puanı 0.69’dan zar zor farklıdır. Orta bant, botun hiç belirsizliği yokmuş gibi davranmak yerine bir miktar belirsizliği kabul ettiği tampon bölge sağlar.

  • Onay akışlarını kısa tutun. Dokunulabilir seçenekler, başka bir açık uçlu istemden daha iyi şekilde belirsizliği azaltabilir.
  • Geri dönüş metni bozuk görünmeden hatayı kabul etmelidir: “Bunu doğru anladığımdan emin değilim, sizi bir görevlimizle görüştüreyim.”
  • Orta banttaki onayların belirsizliği çözüp çözmediğini veya yalnızca sürtünme ekleyip eklemediğini ölçün.

Paydaşların açıkça duyması gereken ödünleşim şudur: Eşiğinizi düşürmek otomasyon oranını artırır, ancak düşürülmüş çıtayı aşan her yanlış yanıt görünmez hâle gelir. Bot kendinden emin göründüğü için kimse bunu işaretlemez. Eşiği yükseltmek ise bunun tersini yapar; başarısızlıkları geri dönüşler olarak görünür kılar. Bu operasyonel açıdan daha kötü hissettirse de aslında daha güvenlidir, çünkü görünür bir başarısızlık kaydedilip düzeltilebilirken görünmez bir başarısızlık güveni sessizce aşındırır.

Botunuzun Güven Eşiklerini Nasıl Kalibre Edersiniz?

Sağlayıcı varsayılanları ve sektör bantları başlangıç noktalarıdır. Gerçek eşikleriniz kendi dökümlerinizden gelmelidir; çünkü chatbot doğruluk düzeyleri alana, niyet karmaşıklığına ve kullanıcı ifadelerinin ne kadar dağınık olduğuna göre büyük ölçüde değişir.

  1. Temsili bir test seti oluşturun. Yaygın niyetleri, belirsiz ifadeleri ve maliyetli başarısızlık durumlarını kapsayan gerçek soruları kullanın. Gerekli örneklem büyüklüğü trafiğe ve ihtiyaç duyduğunuz kesinliğe bağlıdır.
  2. Gerçek referans etiketlerini belirleyin. Her döküm için yalnızca botun kendinden emin görünüp görünmediğini değil, verilen yanıtın gerçekten doğru olup olmadığını işaretleyin.
  3. Sonuçları puanlarla eşleştirin. Etiketlenmiş her dönüş için güven puanını doğrulukla karşılaştırarak grafik üzerinde gösterin. Yanlış yanıtların kümelenmeye başladığı noktayı arıyorsunuz.
  4. Bant başına kesinlik ve duyarlılığı hesaplayın. Önerilen her bant için yanıtların gerçekte ne kadarının doğru olduğunu (kesinlik) ve doğru yanıtların ne kadarının gereksiz geri dönüş olmadan geçtiğini (duyarlılık) hesaplayın.
  5. Bir güvenilirlik diyagramı oluşturun. Tahminleri güven puanına göre gruplandırın ve tahmin edilen güveni gözlemlenen doğrulukla karşılaştırarak grafik üzerinde gösterin. İyi kalibre edilmiş bir bot, köşegene yakın bir çizgi üretir; kötü kalibre edilmiş bir bot ise bu çizgiden uzaklaşır.
  6. Mümkün olduğunda Beklenen Kalibrasyon Hatasını (ECE) hesaplayın. Bu tek sayı, tüm gruplarınız genelinde bildirilen güven ile gerçek doğruluk arasındaki farkı ölçer.
  7. Değişiklikleri geniş kapsamlı kullanıma sunmadan önce bir A/B testi gerçekleştirin. Trafiği segmente veya zaman aralığına göre bölün, ardından eski ve yeni eşikler arasındaki otomasyon oranını, yanlış yanıt oranını ve geri dönüş oranını karşılaştırın.

Bunu bir işlem hattı olarak düşünün: puan dağılımı bant eşiklerine dönüşür, bant eşikleri eylem sonuçlarını belirler ve eylem sonuçları, eşiklerin baştan doğru olup olmadığını kontrol etmek için gerçek referansla karşılaştırılarak ölçülür.

Metrik Size Ne Anlatır Araç/Yöntem
Bant başına kesinlik Otomatik yanıt verilen dönüşlerin gerçekte doğru olanlarının payı Manuel döküm etiketleme
Bant başına duyarlılık Gereksiz geri dönüşten kaçınan doğru yanıtların payı Manuel döküm etiketleme
Güvenilirlik diyagramı Bildirilen güvenin gözlemlenen doğrulukla eşleşip eşleşmediği Gruplandırılmış doğruluk grafiği
Beklenen Kalibrasyon Hatası Kalibrasyon farkını özetleyen tek puan Kalibrasyon analizi

2025 tarihli, RAG tabanlı bir teknik destek chatbot’unu inceleyen bir çalışma, “Combo” istem stratejisinin Beklenen Kalibrasyon Hatasını 23.33’ten 8.4’e düşürdüğünü, doğruluğun ise %69.33’ten %81.33’e yükseldiğini bildirdi; bu sonuçlar çalışmanın deneysel kurulumu kapsamında elde edilmiştir. Bu sonuç evrensel bir kıyaslama değildir, ancak istem ve sistem tasarımının eşik kadar kalibrasyonu da etkileyebileceğini gösterir.

Botunuzun güven eşiklerini nasıl kalibre edersiniz? genel bakış diyagramı

Eşikler Kötü Ayarlandığında Ne Yanlış Gider?

İki başarısızlık modu aynı kadranın zıt uçlarında yer alır ve her ikisi de belirtilerini çok iyi bilmeniz gereken kadar yaygındır.

  • Eşik çok düşük: bot zayıf eşleşmelerde otomatik yanıt verir. Akış belirsizliğe işaret etmediği için bazı yanlış yanıtlar bildirilmeyebilir.
  • Eşik çok yüksek: bot doğru şekilde yanıtlayabileceği soruları da üst makama aktarır; bu da gecikme ekler ve faydalı otomasyon oranını düşürür.
  • Düzeltme olaylarının artması: kullanıcılar giderek daha fazla yeniden ifade ediyor, düzeltme yapıyor veya açıkça “sorduğum bu değildi” diyorsa bu, orta bandınızın çok dar olduğuna ya da yüksek bant eşiğinizin fazla agresif olduğuna dair güçlü bir işarettir.
  • Geri dönüş oranı ile destek talebi hacmi arasındaki uyumsuzluk: geri dönüşler azalırken destek kuyruğunuz yine de büyüyorsa bot, soruları üst makama aktarmak yerine yanlış şekilde otomatik yanıtlıyor olabilir.
  • Geri bildirim işaretlerinin eşiğinizin yakınında kümelenmesi: olumsuz oy veya “yardımcı olmadı” sinyalleri eşik sınırınızın hemen çevresinde kümeleniyorsa bu sınır muhtemelen yanlış yerdedir.

Çözüm farklı bir eşik, daha geniş bir orta bant, daha iyi eğitim verileri veya daha güçlü erişim ve temellendirme kontrolleri olabilir. RAG destekli botlarda, akıcı bir yanıtı kanıt olarak görmek yerine erişilen materyalin yanıtı desteklediğini doğrulayın. Önerilen bir eşiği önce etiketlenmiş görüşmeler üzerinde çevrimdışı olarak değerlendirin. Ardından çevrimiçi bir test yaparsanız daha fazla trafiği açmadan önce güvenlik ve geri alma kriterlerini tanımlayın.

RAG ve LLM Chatbot’ları Güveni Nasıl Farklı Ele Almalıdır?

Üretken modeller güven yönlendirmesini karmaşıklaştırır; çünkü akıcı ve kendinden emin bir anlatım, yanıtın temellendirildiğini kanıtlamaz. Bu nedenle yararlı bir politika, erişim kalitesi, alıntı desteği, yanıt tutarlılığı ve varsa sınıflandırıcı puanı gibi sinyalleri birbirinden ayırır. Her sinyalin yine gerçek doğrulukla karşılaştırılarak doğrulanması gerekir.

Çok uzmanlıklı bir tıbbi değerlendirmede, 17 uzmanlık alanından 33 hekim 284 soruya verilen yanıtları puanladı. Medyan yanıt yüksek puan aldı; ancak ilk yanıtların 36’sı altı puanlı ölçekte en düşük iki doğruluk puanından birini aldı. Güçlü ortalama performans ile önemli başarısızlıkların bu şekilde bir arada bulunması, maliyetin yüksek olduğu alanlarda dikkatli doğrulamanın önemini destekler. Ayrı bir tüketici vakasında bir mahkeme, chatbot’u tarafından sağlanan hatalı geri ödeme bilgileri nedeniyle bir hava yolu şirketini sorumlu tuttu.

Üretimde geçerliliğini koruyan pratik yaklaşımlar:

  • Bilgi tabanının yetkili olduğu iş akışlarında olgusal yanıtlar için ilgili bir kaynak pasajı zorunlu kılın.
  • Dil modelinin kendisi ne iddia ederse etsin, boş veya zayıf bir erişim sonucunu otomatik olarak düşük güven olarak değerlendirin.
  • Modelin ceza almadan seçebileceği açık bir “Bilmiyorum” veya üst makama aktarma yolu oluşturun; çünkü her zaman yanıt üretmek üzere eğitilen modeller, üretmemeleri gerektiğinde bile yanıt üretir.
  • Bir inceleyenin kaynağın iddiayı destekleyip desteklemediğini kontrol edebilmesi için yanıtla birlikte kaynak bilgisini saklayın.

Uzman İpucu: Bir yanıtın onaylanmış bir bilgi tabanından gelmesi gerekiyorsa ve erişim sonucunda ilgili hiçbir şey bulunamıyorsa, modelden doğaçlama yapmasını istemek yerine netleştirmeye veya geri dönüşe yönlendirin.

Bir Eşiği Değiştirdikten Sonra Neleri İzlemelisiniz?

Eşik değişikliği yapıp unutacağınız tek seferlik bir düzenleme değildir. Bu, değişikliğin işe yarayıp yaramadığını veya işleri sessizce kötüleştirip kötüleştirmediğini gösteren belirli sinyalleri izlediğiniz bir takip döneminin başlangıcıdır.

  • Otomasyon oranı: insan müdahalesi olmadan çözülen görüşmelerin yüzdesi.
  • Yanlış yanıt oranı: bot tarafından bildirilmek yerine, bir döküm örneğinden manuel olarak etiketlenir.
  • Geri dönüş oranı: botun ne sıklıkla üst makama aktardığı veya devrettiği; zaman içinde ve niyete göre takip edilir.
  • 100 görüşme başına düzeltme: kullanıcıların ne sıklıkla yeniden ifade ettiği, düzeltme yaptığı veya bir yanıtı açıkça reddettiği.
  • Aktarım gecikmesi: devredilen bir görüşmenin insan yanıtına ulaşmasının ne kadar sürdüğü.
  • Kullanıcı memnuniyeti veya CSAT: ideal olarak banda göre segmentlere ayrılmalıdır; böylece orta bant onaylarının gerçekten olumlu karşılanıp karşılanmadığını görebilirsiniz.

Güven puanı dağılımını zaman içinde bantlara ayrılmış sonuç oranlarıyla birlikte gösteren bir pano oluşturun ve işaretlenmiş yanlış yanıtlar için her hafta manuel incelemeye alınacak sürekli bir örneklem bulundurun. İzlenecek en önemli korelasyon şudur: otomasyon oranı yükselirken yanlış yanıt oranı da yükseliyorsa, genel otomasyon sayısı bir başarı gibi görünse bile eşiğiniz yanlış yönde hareket etmiş demektir. Chatbot performans değerlendirmesi yalnızca her iki sayıyı yan yana izlediğinizde işe yarar; hiçbir zaman tek bir sayıyı diğerinden bağımsız izlemeyin.

Eşik Tabanlı Yönlendirme İçin Kopyalanabilir Politika Rehberleri

Burada doğrudan uyarlayabileceğiniz bir politika yapısının yanı sıra, her dağıtımdan sonra otomatik olarak çalışması gereken telemetri kontrolleri yer alıyor.

Yönlendirme mantığı için asgari sözde kod yapısı:

if confidence >= HIGH_CUTOFF:
    auto_answer(intent)
elif confidence >= MEDIUM_CUTOFF:
    present_confirmation(top_2_intents)
else:
    escalate_to_human()

Onay adımında metni kısa tutun: “[X] veya [Y] hakkında soru soruyor gibisiniz. Hangisini kastediyorsunuz?” Dokunulabilir iki seçenek, belirsiz bir eşleşmeyi tek dokunuşla netleştirmeye dönüştürebilir. Seçenekler uygun olmadığında açık metin yolunu kullanılabilir tutun.

Bir eşik değişikliğini tüm trafiğe açmadan önce çevrimdışı olarak doğrulayın ve platform destekliyorsa kontrollü bir test kullanın. Yanlış yanıt oranı, geri dönüş oranı ve kullanıcı geri bildirimi için geri alma kriterlerini önceden belirleyin. Düşük bant için bir insana devir akışı, görüşmeyi korumalı ve sonraki adımı netleştirmelidir.

Chatbot Platformunuzla Neleri Doğrulamalısınız?

Herhangi bir sağlayıcı platformunda üretim eşiğini etkinleştirmeden önce, platformun bu yaklaşımın dayandığı kontrolleri gerçekten sunup sunmadığını doğrulayın.

  • Yalnızca ikili bir “eşleşti/eşleşmedi” sonucu yerine, her dönüş için ham güven puanlarını okuyabiliyor musunuz?
  • Tüm bot için tek bir genel sayı kullanmak yerine, eşikleri niyet veya beceri başına ayarlayabiliyor musunuz?
  • RAG yapılandırmalarında erişim benzerliği puanına, üretim adımının çıktısından ayrı olarak erişebiliyor musunuz?
  • Platform, birbirine yakın puanlara sahip niyetlerin birinin sessizce seçilmesi yerine seçenek olarak sunulmasını sağlayan bir “güven kazanma marjı” ayarını destekliyor mu?
  • Güven meta verilerini çıkarmadan çevrimdışı etiketleme ve analiz için tüm dökümleri dışa aktarabiliyor musunuz?
  • Canlı kullanıcıları etkilemeden önce aday bir eşiği geçmiş trafik üzerinde çalıştırmanıza olanak tanıyan bir test modu var mı?

Oracle’ın niyet çözümlemeyi ayarlamaya ilişkin kendi belgeleri, bu ayarların olgun bir platformda nasıl göründüğüne dair yararlı bir referanstır; güven eşiği ve güven kazanma marjı, adlandırılmış ve ayarlanabilir kontroller olarak açıkça gösterilir. Bir sağlayıcı satın alma sürecinde bu soruları net biçimde yanıtlayamıyorsa bunu küçük bir eksiklik değil, bir uyarı işareti olarak değerlendirin. Göremediğiniz şeyi kalibre edemezsiniz ve puanlarını gizleyen bir platform sizden ona körü körüne güvenmenizi istiyor demektir.

Deskhero Belirsiz Chatbot Yanıtlarını Nasıl Ele Alır?

Deskhero ham chatbot güven puanlarını veya müşteri tarafından ayarlanabilir güven bantlarını sunmaz. Bunun yerine AI chat-bot’u çalışma alanının onaylanmış herkese açık SSS bölümünden yanıt verir ve güvenle yanıtlayamadığında iletişim formunu gösterir. SSS önerileri çözümlenmiş taleplerden ve taranan web sitesi içeriğinden oluşturulabilir; ancak chatbot’un bunları kullanabilmesi için bir Kullanıcının onay vermesi gerekir.

  • Müşteriye gösterilen chatbot yanıtları yalnızca Kullanıcı tarafından onaylanmış herkese açık SSS içeriğini kullanır.
  • Chatbot güvenle yanıtlayamadığında, ziyaretçinin ekiple iletişime geçebilmesi için bir form gösterir.
  • Her sohbet oturumu, dökümüyle birlikte bir talebe dönüşür ve otomatik eylemler etiketlenip kaydedilir.
  • Chatbot widget başına etkinleştirilir ve en az 100 onaylanmış herkese açık SSS maddesi gerektirir.

Uzman İpucu: Bir destek chatbot’unu geniş kapsamlı etkinleştirmeden önce, yaygın soruları ve bilinen uç durumları onaylanmış SSS’ye göre test edin. Eksik, belirsiz veya güncelliğini yitirmiş SSS girdilerini bulmak için hem yanıtlanan hem de devredilen sohbet taleplerini inceleyin.

Bu Rehberin Çoğu Tavsiyeden Daha Doğru Ele Aldığı Noktalar

Çevrimiçindeki güven eşiği tavsiyelerinin çoğu sayının kendisini ürün olarak ele alır: sihirli eşiği bulun, ayarlayın ve devam edin. Bu yaklaşım tersten kurulmuştur. Eşik, aslında daha önemli olan iki şeyin, temellendirme kalitenizin ve etiketleme disiplininizin sonucudur; bunlardan herhangi birinin bozuk olması durumunda hiçbir eşik sorunu çözemez.

Bu ayrım en çok üretken ve RAG chatbot’ları için önemlidir. Sınıflandırıcı puanı, erişim benzerliği puanı ve bir LLM’nin belirttiği kesinlik birbirinin yerine kullanılamaz. Bunlar farklı mekanizmalardan gelir ve doğrulukla çok farklı ilişkilere sahip olabilir.

Temellendirme ve eşik kalibrasyonu farklı sorunları çözer. İlgili kaynak materyali desteklenmeyen yanıtları azaltabilir; ancak modelin kaynağı doğru yorumlayacağını garanti etmez. Kalibre edilmiş bir yönlendirme politikası riskli otomasyonu azaltabilir; ancak güncelliğini yitirmiş veya eksik bilgiyi düzeltemez. Hem bilgi hattını hem de eylem eşiklerini doğrulayın, ardından incelemeyi hataların ve devirlerin kümelendiği puan aralıklarına odaklayın.

Deskhero’nun Temellendirilmiş AI Chatbot’unu Destek Ekibiniz İçin Çalıştırın

Özel bir güven yönlendirme hattı; model veya erişim puanlarına, döküm kaydına, değerlendirme verilerine ve insana devir akışına ihtiyaç duyar. Deskhero, AI chat-bot’u için yönetilen bir yaklaşım sunar: onaylanmış herkese açık SSS’den yanıt verir ve güvenle yanıtlayamadığında iletişim formunu gösterir.

Deskhero

Deskhero, Gmail, Google Workspace ve Microsoft 365 posta kutularını ortak bir yardım masasına bağlarken yanıtların şirket adresinizden gönderilmeye devam etmesini sağlar. E-posta, gömülü form veya AI chat-bot üzerinden gelen sorular talebe dönüşür. Deskhero, çözümlenmiş taleplerden ve taranan sayfalardan herkese açık SSS girdileri önerebilir. Bir Kullanıcı bir girdiyi onayladığında hem chatbot hem de AI otomatik yanıtları bunu kullanabilir. E-ticaret ekipleri için Shopify müşteri paneli, müşteri ve sipariş bağlamını talebin yanında gösterir.

30 günlük ücretsiz denemeyi başlatın; kredi kartı gerekmez. Destek hacminizin ne kadarını otomatikleştireceğinize karar vermeden önce kendi 30 ila 100 soruluk test setinizi bunun üzerinde çalıştırın.

Kaynaklar

SSS

Bir Chatbot İçin İyi Bir Güven Puanı Nedir?

Evrensel bir sayı yoktur. Üç bantlı bir politika örnek sınırlar olarak 0.85 ve 0.5 değerlerini kullanabilir; ancak bu değerler genel öneriler değildir. Oracle, kendi niyet modeli için başlangıç noktası olarak 0.7 değerini belgeler. Herhangi bir eşiği, gerçekten kullandığınız model ve platformdan alınan etiketlenmiş görüşmelere göre kalibre edin.

Güven Puanı Nasıl Hesaplanır?

Niyet sınıflandırıcısında puan modele özeldir ve genellikle modelin bir niyeti ne kadar güçlü biçimde tercih ettiğini gösterir. Platform bunu bu şekilde tanımlıyor ve kalibrasyon verileri de bu yorumu destekliyorsa puan olasılık olarak ele alınmalıdır. RAG sistemleri ayrıca her biri ayrı değerlendirme gerektiren erişim benzerliği, temellendirme veya yanıt doğrulama sinyalleri de sunabilir.

LLM Tabanlı Bir Chatbot’ta Güven Puanı Nedir?

Bir LLM’nin kendi bildirdiği güvenin doğruluğu öngördüğü varsayılmamalıdır. Bir RAG chatbot’u için erişim kalitesini ve yanıtın erişilen materyal tarafından desteklenip desteklenmediğini değerlendirin. Yanıt verip vermeyeceğinize veya geri dönüş yapıp yapmayacağınıza karar verirken yalnızca akıcı ifadelere ya da bildirilen kesinliğe değil, test edilmiş bu sinyallere güvenin.

Bir Chatbot’a Asla Neleri Söylememelisiniz?

Belirli bir platformun veri işleme ve saklama politikalarını doğrulamadığınız sürece hassas kişisel verileri, parolaları, finansal hesap numaralarını veya gizli işletme bilgilerini herhangi bir chatbot’la paylaşmaktan kaçının. Bu, görüşmeleri eğitim veya kalite incelemesi amacıyla kaydeden destek botları için daha da önemlidir.

Bir Chatbot’un Yanıtının Doğru Olduğunu Nasıl Doğrularsınız?

Gerçek görüşmelerden temsili bir örneklem kullanın, her yanıtın desteklenip desteklenmediğini ve doğru olup olmadığını etiketleyin, ardından bu sonuçları sistemin mevcut puanları ve yönlendirme eylemleriyle karşılaştırın. Deskhero, chatbot’un kaynak materyalini Kullanıcı tarafından onaylanmış herkese açık SSS içeriğiyle sınırlar; ancak ekipler yine de eksik veya güncelliğini yitirmiş bilgileri bulmak için yanıtları ve devirleri incelemelidir.