Deskhero
Čeština
Vyzkoušet zdarma

← Back to articles

AI s člověkem ve smyčce: Jak funguje a kdy ji použít

AI s člověkem ve smyčce: Jak funguje a kdy ji použít

AI s člověkem v rozhodovacím procesu (HITL) je návrhový vzor, který umisťuje lidský úsudek do konkrétních bodů v procesu trénování, rozhodování nebo provádění úloh AI systému. Je obzvlášť užitečný, když automatická akce může ovlivnit lidi nebo systémy, když je obtížné nebo nákladné napravit chyby nebo když organizace potřebuje jasně určit lidskou odpovědnost.

Tento článek vysvětluje, jak HITL funguje, kde pomáhá a co musí týmy navrhnout, než jej použijí v produkčním prostředí.

Obsah

Jak AI s člověkem v rozhodovacím procesu skutečně funguje?

Tento proces tvoří posloupnost kontrolních bodů, ve kterých člověk poskytuje informace, kontroluje výstup nebo schvaluje akci. Systém může na tento vstup čekat, případně jej shromažďovat pro pozdější vyhodnocení a vylepšení modelu.

Tým kontrolující lidské kontrolní body v AI systému

Lidé se běžně zapojují ve dvou fázích:

HITL ve fázi trénování zahrnuje označování nezpracovaných dat, vyhodnocování výstupů modelu a poskytování signálů preferencí. Jedním dobře známým příkladem je posilované učení z lidské zpětné vazby. Lidé řadí odpovědi modelu nebo je hodnotí a jejich posudky se během trénování používají jako signály. Dalším vzorem je aktivní učení: model identifikuje nejisté příklady, aby se lidé označující data mohli zaměřit na případy, které mohou poskytnout nejvíce užitečných informací.

HITL za běhu přidává kontrolu v době, kdy je nasazený systém v provozu. Systém se může před citlivou akcí, například odesláním zprávy nebo změnou záznamu, pozastavit a požádat člověka o schválení, úpravu nebo zamítnutí navrhované akce. Dokumentace HITL pro LangChain popisuje middleware, který může přerušit vybraná volání nástrojů, zachovat stav a pokračovat po rozhodnutí kontrolora.

Užitečná kontrola za běhu ukáže kontrolorovi, co systém plánuje udělat, nabídne strukturované možnosti, zaznamená rozhodnutí a pokračuje z uloženého stavu.

Praktický postup může zahrnovat:

  • Označení dat nebo výstupů modelu lidskými štítky
  • Trénování nebo vyhodnocení modelu pomocí zkontrolovaných příkladů
  • Nasazení modelu nebo AI pracovního postupu
  • Přerušení před vybranými vysoce rizikovými akcemi
  • Rozhodnutí, zda akci schválit, upravit, zamítnout nebo na ni jinak reagovat
  • Zachycení rozhodnutí jako strukturované provozní zpětné vazby

Synchronní kontrolní body pozastaví dotčený pracovní postup, dokud kontrolor nezasáhne. Asynchronní návrhy mohou umožnit pokračování nesouvisející práce, zatímco se na rozhodnutí čeká. V obou případech potřebují dlouho běžící pracovní postupy trvalý stav. Dokumentace runtime inference.sh je jedním z příkladů systému, který pro tento účel popisuje schvalovací kontrolní body a trvalé provádění.

Pravidla schvalování mohou být široká nebo selektivní. Tým může vyžadovat kontrolu při každém použití citlivého nástroje, nebo pouze tehdy, když částka, příjemce, skóre spolehlivosti či jiná podmínka překročí stanovený práh. Selektivní směrování může omezit zbytečné kontroly, aniž by odstranilo dohled nad akcemi, které jej potřebují.

Infografika znázorňující kroky procesu AI s člověkem v rozhodovacím procesu

Proč na HITL záleží: přesnost, bezpečnost a důvěra

Lidský dohled může AI pracovní postup prakticky vylepšit třemi způsoby.

Lepší zvládání okrajových případů. Modely mohou mít potíže s neobvyklými vstupy nebo měnícími se podmínkami. Kontrolor dokáže rozpoznat výjimku a opravit navrhovaný výsledek. Pokud je oprava správně zachycena a spravována, může později podpořit vyhodnocení nebo vylepšení modelu. Oprava model automaticky nezlepší; tým stále potřebuje promyšlený proces zpětné vazby.

Bezpečnější akce. AI systém, který může odesílat zprávy, aktualizovat záznamy nebo zpracovávat transakce, může při nesprávné interpretaci vstupu způsobit škodu. Kontrolní bod může toto riziko snížit tím, že vybrané akce zastaví ještě před jejich provedením. Databricks pojednává o lidské kontrole rozhodnutí s větším dopadem a o hodnotě směrování zpětné vazby zpět do systému.

Silnější odpovědnost. Dobře instrumentovaný HITL pracovní postup může zaznamenat, kdo akci zkontroloval, jak rozhodl a co se stalo následně. Tyto záznamy pomáhají při vyšetřování incidentů, kontrole kvality a zajišťování souladu s předpisy. Povrchní schvalovací krok nestačí. Kontrola musí mít dostatek kontextu, času a pravomocí ke změně výsledku.

Lidská zpětná vazba je nejpřínosnější, když se s ní zachází jako se spravovanými provozními daty. Týmy by měly definovat, jak se rozhodnutí ukládají, kdo k nim může přistupovat, jak dlouho se uchovávají a zda se použijí k vyhodnocení, opětovnému trénování, nebo k ničemu z toho.

Kde se HITL používá: příklady z reálného světa

Tento vzor se objevuje v mnoha odvětvích, ale odpovědnost kontrolora se mění podle oblasti.

Radiolog kontrolující AI označené lékařské snímky

Lékařské zobrazování. Lékař může zkontrolovat AI označený snímek, než výsledek použije při diagnostice nebo péči. Vhodná úroveň dohledu závisí na daném zařízení, jeho zamýšleném použití a příslušných klinických a regulačních požadavcích. Výstup AI by neměl být popisován jako náhrada kvalifikovaného lékařského úsudku.

Moderace obsahu. Klasifikátor může označit potenciálně závadný obsah a odeslat nejisté nebo citlivé případy lidskému kontrolorovi. Lidé řeší kontext a odvolání, zatímco automatizace pomáhá zvládat objem. Důsledné pokyny a kalibrace kontrolorů jsou důležité, protože rozhodnutí z kontrol mohou být později použita jako trénovací nebo hodnoticí data.

Zákaznická podpora. AI může připravit návrh odpovědi ke kontrole uživatelem. Systémy s oprávněním odesílat zprávy nebo měnit data účtu potřebují pro tyto akce další kontroly. Tým může vyžadovat schválení na základě typu akce, jejího dopadu a snadnosti jejího vrácení. Další informace najdete v článku Deskhero o AI v zákaznické podpoře.

Vyšetřování podvodů. Model může ohodnotit transakce a vybrané případy směrovat analytikovi. Analytik zohlední kontext, který nemusí být zastoupen ve vstupech modelu, a učiní rozhodnutí vyžadované zásadami organizace.

Procesy označování dat. Lidé označující data nebo odborníci z daného oboru opatřují obrázky, text či zvuk štítky pro řízené trénování a vyhodnocování. Kontroly kvality, jasné pokyny a měření shody jsou důležité, protože nekvalitní štítky mohou snížit kvalitu modelu.

Tip pro profesionály: Před volbou politiky kontroly zmapujte akce, které může systém provádět. Povinnou kontrolu zaměřte na akce s velkým dopadem, obtížně vratné akce nebo akce podléhající konkrétnímu požadavku na odpovědnost.

Jak navrhnout produkční HITL systém?

Produkční návrh HITL potřebuje víc než tlačítko pro kontrolu. Musí zohlednit trvalé ukládání stavu, směrování kontrolorů, časové limity, řízení přístupu a kvalitu zpětné vazby.

Trvalé provádění a uchování stavu

Přerušitelný pracovní postup by měl zachovat dostatek stavu pro bezpečné pokračování po rozhodnutí. Ukládání v paměti může stačit pro lokální test, ale je nespolehlivé, když kontrola může trvat hodiny nebo když se služba může restartovat. Pro používaný runtime zvolte podporované trvalé úložiště a před spuštěním otestujte obnovu po selháních.

Vzory schvalovacích kontrolních bodů

Typ kontrolního bodu Kdy jej použít Kompromis
Schválení jednotlivých nástrojů Vybrané citlivé akce Přesná kontrola; více konfigurace
Globální schválení Každá akce v přísně kontrolovaném pracovním postupu Jednoduchá politika; může vytvořit dlouhou frontu kontrol
Podmíněné schválení Kontrola podle částky, příjemce nebo rizikového signálu Selektivní; vyžaduje otestovanou logiku pravidel
Řazená fronta kontrol Několik navazujících rozhodnutí v jednom běhu Zachovává pořadí; může zvýšit latenci

Směrování a eskalace

Definujte, kdo kontroluje jednotlivé třídy rozhodnutí. Některé případy vyžadují odborníka na danou oblast, zatímco jiné může řešit vyškolený obecný kontrolor. Stanovte cílovou dobu reakce a bezpečný záložní postup pro zmeškané kontroly. V závislosti na riziku může pracovní postup zůstat pozastavený, eskalovat k jinému kontrolorovi nebo skončit bez provedení akce.

Auditní protokoly a rozhraní pro kontrolory

Rozhraní by mělo kontrolorům pomáhat činit informovaná rozhodnutí. Zobrazte navrhovanou akci, relevantní zdrojové informace, známou míru nejistoty a důsledky schválení. Strukturované volby mohou usnadnit pozdější analýzu, kontroloři by však měli mít také možnost vysvětlit úpravu nebo zamítnutí, pokud je tento kontext důležitý.

Tip pro profesionály: S rozhraním pro kontrolu zacházejte jako s bezpečnostním prvkem i nástrojem pro kvalitu dat. Zachycujte pouze informace, pro jejichž použití máte jasně definovaný důvod.

V případě předání konverzace z chatbota člověku zachovejte kontext konverzace, zaznamenejte důvod zastavení automatizace a odešlete výsledný požadavek příslušnému uživateli nebo do správné fronty.

HITL vs. Human-on-the-Loop vs. Human-over-the-Loop

Tyto pojmy se nepoužívají ve všech oborech jednotně. Následující rozlišení představuje praktický rámec, nikoli univerzální definice.

Pojem Obvyklé načasování Role člověka Blokuje obvykle provádění? Obvyklé použití
Human-in-the-loop (HITL) Před vybraným rozhodnutím nebo během něj Poskytuje vstup, schválení nebo opravu Často Rozhodnutí s vyšším rizikem a zpětná vazba pro trénování
Human-on-the-loop (HOTL) Během provozu Monitoruje a může zasáhnout Obvykle ne Aktivity s vyšším objemem a snadnější vratností
Human-over-the-loop Napříč životním cyklem systému Nastavuje zásady a prověřuje výsledky Ne Správa a dohled na úrovni systému

Pasivní monitorování se liší od kontrolního bodu, který vyžaduje schválení před provedením akce. Mnoho systémů kombinuje několik úrovní dohledu. Mohou vyžadovat přímé schválení citlivých zápisů, monitorovat výstupy s nižším rizikem a používat pravidelné kontroly správy pro zásady a výkon systému.

Stanford HAI popisuje perspektivu lidí v řídící roli, která zdůrazňuje smysluplnou lidskou kontrolu. Tento přístup přesouvá pozornost k pravomocím, auditovatelnosti a použitelným pracovním postupům kontroly namísto pouhého počítání, jak často člověk do procesu zasáhne.

Mezi otázky, které pomáhají zvolit přístup, patří:

  • Může akce někomu ublížit nebo vytvořit změnu, kterou je obtížné vrátit? Zvažte blokující lidské rozhodnutí.
  • Lze výsledek rychle monitorovat a opravit? Monitorování s možností eskalace může stačit.
  • Jde o regulované rozhodnutí nebo rozhodnutí s jasnou odpovědností? Propojte kontrolu se skutečným požadavkem a zdokumentujte, kdo za ni odpovídá.
  • Je aktivita málo riziková a dobře pochopená? Po otestování může být vhodná automatizace s monitorováním.

Jaké jsou skutečné výzvy provozování HITL ve velkém měřítku?

HITL přináší náklady a způsoby selhání, kterými je třeba se zabývat už během návrhu.

Škálovatelnost. Blokující schválení zvyšují latenci a vyžadují lidskou kapacitu. Pokud každá akce míří do stejné fronty, může se kontrola stát úzkým hrdlem. Směrování podle rizika může vyhradit nejintenzivnější kontrolu nejistým případům nebo případům s velkým dopadem.

Zkreslení a korelované chyby. Model trénovaný na lidských opravách může převzít lidská zkreslení. Kontrolor také může příliš snadno důvěřovat modelu, který působí sebejistě. Výzkum souladu a komplementarity v týmech člověka a AI zkoumá, kdy by měl model odpovídat lidským preferencím a kdy mohou odlišné silné stránky zlepšit výkon týmu. Rozmanitá kontrola, kalibrace a ověřování shody mohou pomoci odhalit systematické rozdíly.

Soukromí a správa dat. Kontroloři mohou vidět osobní, finanční, zdravotní nebo důvěrné informace. Omezte přístup pouze na to, co kontrolor potřebuje, chraňte data při přenosu i v klidovém stavu a před shromažďováním záznamů o kontrolách definujte zásady uchovávání a opětovného použití.

Únava a nekonzistentnost lidí. Opakované kontroly mohou vést k uspěchaným rozhodnutím a měnícím se standardům. Mezi užitečné kontroly patří:

  1. Nastavte pracovní zátěž odpovídající složitosti úkolu
  2. Provádějte kalibrační cvičení se stejnými vzorovými případy
  3. Měřte shodu, pokud má úkol obhajitelný referenční standard
  4. Střídejte práci, pokud tím nesnížíte odbornost v dané oblasti
  5. Monitorujte neobvyklé změny ve vzorcích schválení, úprav nebo zamítnutí

Náklady. Lidská kontrola spotřebovává čas a pozornost specialistů. Porovnejte tyto náklady s očekávanými náklady a pravděpodobností chyb, kterým má kontrola zabránit. Kontrolní bod, který prověřuje vše, může stát více a přitom poskytovat jen malou ochranu.

Praktický kontrolní seznam pro nasazení HITL systémů

Před nasazením HITL pracovního postupu projděte postupně tyto otázky.

  1. Posouzení rizik. Sepište akce, které může systém provádět. Klasifikujte je podle dopadu, vratnosti a požadavků na odpovědnost.
  2. Definice kontrolora. Určete, kdo smí jednotlivé akce kontrolovat a jaké informace a pravomoci potřebuje.
  3. Návrh rozhraní. Zobrazte dostatek kontextu pro skutečné rozhodnutí. Definujte postupy schválení, úpravy, zamítnutí a eskalace tam, kde se uplatňují.
  4. Strategie uchování stavu. Uložte stav potřebný pro bezpečné pokračování a otestujte restartování i duplicitní rozhodnutí.
  5. Plán zpětné vazby. Rozhodněte, zda jsou záznamy kontrol určeny pro audit, vyhodnocení, opětovné trénování nebo kombinaci těchto účelů. Nepředpokládejte, že se hodí pro každý účel.
  6. Správa. Určete odpovědnost za kvalitu kontrol, přístup, uchovávání, pravidla směrování a změny kontrol.

Užitečné metriky mohou zahrnovat:

  • Míra kontrol: podíl způsobilých akcí odeslaných ke kontrole
  • Čas do rozhodnutí: prodleva od přerušení do dokončení kontroly
  • Rozložení rozhodnutí: podíl schválených, upravených, zamítnutých nebo eskalovaných případů
  • Výsledky chyb: problémy zachycené kontrolou a problémy, které navzdory ní unikly
  • Shoda kontrolorů: konzistentnost u vzorkovaných případů, kde má porovnání smysl

Kontrolu omezujte až po prozkoumání skutečných výsledků. Pokud je určitá kategorie konzistentně schvalována, otestujte užší politiku pod dohledem. Pokud je určitá kategorie konzistentně zamítána, vylepšete model nebo dané akci zabraňte, místo abyste přidávali další kontrolory.

Co říká současný výzkum o budoucnosti HITL?

Současný výzkum se stále více ptá, jak učinit účast lidí užitečnější, nikoli pouze jak přidat více kontrol.

Výzkum sladěných a komplementárních modelů naznačuje, že silné týmy lidí a AI mohou potřebovat obojí. Model, který napodobuje lidský úsudek, může být předvídatelný, zatímco model s odlišnými silnými stránkami může odhalit něco, co člověk přehlédl. Správný návrh závisí na úkolu, dostupných důkazech a způsobu řešení neshod.

Přístup lidí v řídící roli také vybízí týmy k otázce, zda mají lidé skutečné pravomoci. Kontrolor, kterému chybí kontext, čas nebo možnost akci zastavit, není účinným bezpečnostním prvkem, i když pracovní postup zaznamená schválení.

Mezi vzory, které stojí za vyhodnocení, patří:

  • Schválení založená na přerušení pro vybrané akce s trvalým prováděním
  • Strukturované formuláře kontroly, které zachycují rozhodnutí a užitečné důvody
  • Směrování podle rizika, které kombinuje signály modelu s důsledky akce
  • Testování komplementarity, které měří, zda člověk a model společně překonávají výkon každého z nich samostatně

Užitečným experimentem je seskupit výsledky kontrol podle typu akce a pásma rizika. Sledujte míru schválení, úprav, zamítnutí, incidentů a latence. Výsledek může ukázat, kde kontrola zachytává skutečně významné problémy a kde pouze přidává prodlevu.

Tip pro profesionály: Neoptimalizujte pouze na míru schválení. Vysoká míra schválení může znamenat spolehlivou kategorii, nedostatečnou kontrolu nebo kontrolní bod zaměřený na nesprávnou práci. Porovnávejte schválení s chybami a následnými výsledky.

Hlavní závěry

AI s člověkem v rozhodovacím procesu je nejpřínosnější, když je lidské rozhodnutí spojeno s jasným rizikem, podpořeno užitečným kontextem a zaznamenáno pro konkrétně definovaný účel.

Princip Podrobnosti
HITL může podporovat trénování i kontrolu za běhu Lidský vstup může označovat data, vyhodnocovat výstupy nebo kontrolovat vybrané akce.
Směrování podle rizika pomáhá řídit náklady Blokující kontrolu zaměřte na akce, jejichž dopad ospravedlňuje prodlevu a úsilí.
Trvalý stav podporuje spolehlivá přerušení Produkční pracovní postup by měl přežít restarty a dlouhé prodlevy při kontrole.
Na skutečných pravomocích záleží Kontroloři potřebují kontext, čas a možnost výsledek změnit nebo zastavit.
Deskhero udržuje funkce automatické podpory pod kontrolou Jeho chatbot a automatické odpovědi AI využívají schválený veřejný obsah FAQ, jsou volitelné a nezodpovězené dotazy předávají lidem.

V čem se většina týmů ohledně HITL mýlí

Kontrolní krok může působit odpovědně, i když poskytuje jen malou ochranu. Pokud kontrolorům chybí kontext, schvalují ze zvyku nebo nemohou systém zpochybnit, vytvořila organizace frontu namísto smysluplného dohledu.

Kontrolní bod by měl být spojen s konkrétním účelem. Pokud má zabránit škodlivým akcím, měřte, co zachytí a co jím přesto projde. Pokud budou kontrolní data použita ke zlepšení modelu, zaznamenejte, proč byl výstup upraven, a posuďte, zda jsou štítky pro tento účel dostatečně konzistentní.

Týmy by také měly rozlišovat mezi omezením zbytečných kontrol a oslabením lidských pravomocí. Vyspělé systémy mohou automatizovat dobře pochopené kategorie s nízkým rizikem a zároveň lidem poskytnout lepší nástroje a jasnější pravomoc eskalace u rozhodnutí, která zůstávají.

HITL je proto stejně tak organizační schopností jako technickou funkcí. To, zda tento proces funguje, určují personální zajištění, zásady, školení, návrh rozhraní a správa dat.

Deskhero staví lidský dohled do středu AI podpory

Deskhero uplatňuje několik principů lidského dohledu v zákaznické podpoře. Dokáže připravit návrhy odpovědí ke kontrole uživateli. Jeho chatbot a automatické odpovědi AI určené zákazníkům odpovídají pouze ze schválených veřejných FAQ v pracovním prostoru. Obě automatické funkce jsou volitelné a automatické akce jsou označeny a zaznamenány.

Deskhero

Deskhero navrhuje položky FAQ z vyřešených tiketů a načtených webových stránek. Uživatel každý návrh zkontroluje, upraví, schválí nebo odmítne, než se stane veřejným. Chatbot vyžaduje alespoň 100 schválených veřejných položek FAQ. Pokud nedokáže odpovědět, přepne na formulář, aby člověk mohl pokračovat v konverzaci e-mailem.

Pro ecommerce týmy používá integrace se Shopify přístup pouze pro čtení, aby zobrazila informace o zákazníkovi a objednávce přímo v tiketu. Deskhero také nabízí obousměrné propojení schránek pro Gmail, Google Workspace a Microsoft 365, takže týmy mohou dál používat svou stávající e-mailovou adresu.

30denní bezplatnou zkušební verzi můžete začít používat bez platební karty.

Užitečné zdroje

Tyto zdroje poskytují pokyny k implementaci a kontext výzkumu. Přesnou verzi používaného frameworku ověřte v jeho dokumentaci.

Zdroj Co pokrývá
Dokumentace HITL pro LangChain Přerušení, rozhodnutí při kontrole, trvalé ukládání a konfigurace schvalování podle nástroje
Dokumentace HITL pro inference.sh Schvalovací kontrolní body a trvalé provádění za běhu
Databricks o systémech s člověkem v rozhodovacím procesu Lidská zpětná vazba, směrování a provozní návrh
IBM: Co je human-in-the-loop? Definice, běžná použití a aspekty důležité pro podniky
Stanford HAI: Co je human-in-the-loop? Lidský dohled a přístup lidí v řídící roli
Stanford HAI: Lidé v rozhodovacím procesu – návrh interaktivních AI systémů Návrh interaktivní AI a spolupráce lidí s AI
AAAI: Sladit, když chtějí, doplňovat, když potřebují Soulad, komplementarita a výkon týmů člověka a AI
Harvard Data Science Review: Datová věda a inženýrství s člověkem v rozhodovacím procesu Role lidí v datové vědě, inženýrství a dohledu
PMC: Přístupy s člověkem v rozhodovacím procesu v klinické AI Klinické aplikace a lidský dohled

Časté dotazy

Co znamená human-in-the-loop v AI?

AI s člověkem v rozhodovacím procesu umisťuje lidský vstup do konkrétního bodu procesu AI. Člověk může označit data, vyhodnotit výstup, opravit výsledek nebo schválit akci před jejím provedením.

Jaký je rozdíl mezi human-in-the-loop a human-on-the-loop?

V běžném použití vyžaduje HITL lidský vstup u vybraného rozhodnutí a často dotčený pracovní postup pozastaví. Human-on-the-loop obvykle označuje systém, který pracuje, zatímco jej člověk monitoruje a může zasáhnout. Terminologie se liší, proto by popis systému měl uvádět skutečnou kontrolu a nespoléhat pouze na samotné označení.

Co znamená human-in-the-loop u AI agentů?

U AI systémů, které mohou provádět akce, HITL často znamená pozastavení před vybranou akcí, zobrazení návrhu a relevantního kontextu kontrolorovi a pokračování až po povoleném rozhodnutí. Pracovní postup by měl zachovat stav a zaznamenat volbu kontrolora.

Co znamená human-on-the-loop v AI?

Human-on-the-loop obecně znamená, že AI systém pracuje, zatímco člověk monitoruje výsledky a může jej zastavit, opravit nebo přepsat jeho rozhodnutí. Obvykle nevyžaduje schválení před každou akcí.

Jak Deskhero implementuje AI s člověkem v rozhodovacím procesu pro týmy podpory?

Deskhero připravuje návrhy odpovědí ke kontrole uživatelem. Jeho chatbot a automatické odpovědi AI jsou volitelné a odpovídají pouze ze schválených veřejných FAQ. Automatické akce jsou označeny a zaznamenány a nezodpovězené dotazy z chatu se přepnou na formulář pro následnou komunikaci člověka e-mailem.