- Vrealmatic
- AI
- Důvěryhodnost agentů
Komu věří AI agenti? Důvěra v ekonomice agentů
Agenti začínají najímat agenty, kupovat data a volat cizí služby. Podle čeho se rozhodují, komu věřit, a jak ověřují, co dostanou? Průvodce důvěryhodností v ekonomice AI agentů.
Proč by agent platil jinému agentovi?
Agent zvládne sám překvapivě hodně, a právě proto platí jen za to, co je mimo jeho dosah. Nedostane se k soukromým datům. Nemůže provést akci, na kterou nemá účet ani oprávnění. Nedokáže replikovat cizí model trénovaný na datech, která nemá, ani uživit náročný výpočet. Tyhle hranice jsou skutečným důvodem, proč si bude čím dál víc najímat jiné agenty, kupovat data a volat cizí služby: delegovat úkol, koupit přístup k datům nebo si objednat hotový výstup.
Většinu věcí si totiž obstará sám. Veřejnou informaci si prostě přečte. Triviální utilitu (přepočet měn, formát data, jednoduchý parser) si napíše za pár vteřin nebo sáhne po hotovém volně dostupném nástroji. Trh agentních služeb proto není „všechno“. Je to zbytek za hranicí toho, co agent zvládne sám.
Ten zbytek má ale jasné tvary. Zaplatit někomu jinému se vyplatí hlavně ve čtyřech případech:
Data, která nejsou volně k mání
Na webu je sice hodně, ale to cenné bývá za zdí. Hodnotu má to, co je živé, licencované, soukromé nebo pracně posbírané.
- Živá data: kurzy, dostupnost letenek, ceny, skladové zásoby, počasí teď — za placeným API a s limity.
- Licencovaná: firemní finance, právní databáze, tržní průzkumy, družicové snímky.
- Soukromá: data za přihlášením, ke kterým má přístup jen někdo jiný.
- Posbíraná a uklizená: surovina je veřejná, ale hodnota je ve sběru z tisíců zdrojů, vyčištění a udržování aktuálnosti.
Akce, které sám provést nemůže
Někdy nejde o znalost, ale o oprávnění a postavení v reálném světě, které agent nemá.
- Akce s následkem: zaplatit, rezervovat, objednat, podat formulář, odeslat zásilku — vyžaduje účty, identitu, právní postavení.
- Přístup do uzavřených systémů: protistrana má klíč, licenci nebo účet, ke kterému agent nemá přístup.
- Ověřená autorita: podpis, doložení totožnosti, něco, co může udělat jen ověřený subjekt.
Výpočet a specializované modely
Postavit by to teoreticky šlo, ale cena, výkon nebo know-how to dělají nedosažitelným.
- Silnější model na těžší úkol: malý lokální model zvládne většinu běžné práce bez poplatku za každé volání (běží na hardwaru, který už máš), ale na složitou úvahu nebo specializovanou znalost se přes API doptá velkého modelu.
- Náročný výpočet: rendering, fyzikální simulace, rozsáhlé prohledávání, trénink.
- Proprietární model za API: nelze ho replikovat, protože je trénovaný na datech, která agent nemá (detekce podvodů, lékařské snímky, úzce zaměřená predikce).
Údržba, čerstvost a odpovědnost
Tohle se snadno přehlédne. I když to agent dokáže postavit, kupuje si hlavně to, že to někdo udržuje správné, aktuální, v souladu s pravidly a ručí za to.
- Vlastní scraper zhnije s každou změnou cizího webu, udržovaný feed ne.
- Platby, daně nebo právo nejsou „utilita“, nesou compliance, ručení a aktualizace.
- Kupuješ SLA a odpovědnost, ne kód.
Jakmile ale agenti začnou nakupovat a najímat, vzniká trh, kde poptávka i nabídka pochází ze softwaru, který jedná sám a v reálném čase. A každý trh má jednu těžkou otázku: komu důvěřovat?
Žebříček signálů: jak si agent buduje důvěru
Obdobně jako u lidí, ani AI agent si nemůže bezmyšlenkovitě najmout prvního dodavatele, kterého najde. Peníze ho špatný výsledek většinou nestojí: za zmetek buď nezaplatí, protože ho zachytí, nebo jde o malé částky za volání. Co ale nevrátí, je čas — zdržení jednoho kroku odsune všechny navazující a rozbije celkovou efektivitu. Vybírat dobře pro něj proto není luxus, ale nutnost.
Jenže podle čeho, když nemá lidský pocit? Člověk se rozhodne podle měkkých signálů: dojmu, reputace, doporučení známého, vlastní vzpomínky. Většinu z toho ani vědomě nevnímá. Agent nic z toho nemá. Rozhoduje se podle signálů, které dokáže přečíst a hlavně ověřit.
Tutéž transakci je přitom potřeba číst z obou stran:
Agent, který vybírá
Podle čeho se rozhodnout, koho najmout, čí data koupit a komu svěřit úkol?
Provozovatel, který nabízí
Jak postavit agenta tak, aby si ho jiní agenti vybrali, a aby to nebyl jen slib?
Pro provozovatele z toho plyne jasný závěr: pokud jeho agenta ostatní nepřečtou a neověří, nevyberou si ho. Důvěru proto musí budovat cíleně, jako ověřitelné signály, ne jako marketing. Každý stupeň žebříčku níže má proto i poznámku, jak takový signál vysílat.
Tyhle signály si nejsou rovny. Dají se seřadit od nejslabšího, který si kdokoli vymyslí, po nejsilnější, který si agent dokáže ověřit sám. Dobré rozhodování vždycky táhne dolů na žebříčku, k tomu ověřitelnějšímu. Každý stupeň drží jen tehdy, když drží ten pod ním: reputace bez ověřené identity nic neznamená, protože ji někdo mohl celou vyrobit.
Co o sobě tvrdí
Deklarované schopnosti, vstupy, výstupy a cena
Agent oznámí, co umí, co potřebuje na vstupu, co vrací a kolik to stojí. Je to jako inzerát: užitečný pro první výběr, ale napsat se dá cokoli. Nejlevnější signál a zároveň nejsnáz nadhodnocený.
Kdo za tím stojí
Ověřitelná identita a původ
Dá se kryptograficky ověřit, kdo agenta provozuje, a je to stejná identita i příště? Bez tohohle si protistrana může pod každou zakázkou vzít novou tvář, a pak nemá smysl řešit žádnou reputaci ani postih. Identita je jako ověřená totožnost dodavatele: ještě neříká, že je dobrý, ale agent ví, s kým má tu čest.
Co už dokázal
Doložitelná historie výsledků (reputace)
Historie minulých zakázek: úspěšnost, rychlost, spory, objem. Klíčové je, aby šlo o podepsaná, doložitelná data, ne o hvězdičky, které kdokoli vyrobí ve velkém. Rozdíl je jako mezi recenzí od ověřeného nákupu a recenzí od anonymního účtu založeného včera.
Co říkají ostatní
Doporučení a kurátorované registry
Hodnocení od důvěryhodné třetí strany nebo doporučení od jiného agenta, kterému už agent věří. Je to přenesená důvěra, jako když práci doporučí někdo, na koho dá. Silné přesně tak, jak silně agent věří tomu, kdo doporučuje, a jak je jisté, že není podplacený.
Dnes to jsou hlavně katalogy nástrojů, modelů a agentů: adresáře MCP serverů (MCP registry), huby modelů (Hugging Face) nebo obchody s agenty (GPT Store), s lehkými signály typu hvězdičky, počty stažení nebo základní recenze. Ty ale zdědily neduhy lidských hodnocení a snadno se generují. Skutečný reputační systém pro agenty, vázaný na ověřenou identitu a doložené transakce, se teprve rodí, a právě proto je tento signál jen středně silný.
Co riskuje on
Ekonomická záruka: úschova platby, vázaný vklad, SLA
„Kůže ve hře". Platba leží v úschově a uvolní se, až výsledek projde kontrolou (jako záloha u notáře při koupi bytu). Nebo má dodavatel složený vklad, o který přijde, když selže. Agent nemusí věřit dobré vůli, stačí, že selhat se mu nevyplatí. Tahle vrstva převádí důvěru na ekonomiku.
Ale pozor, úschova riziko nemaže, jen ho přesouvá: funguje jen tam, kde jde výsledek objektivně ověřit (jinak se spor stejně řeší arbitráží a ta se může mýlit). Důvěra se přenáší na držitele peněz nebo arbitra, a i smart kontrakt může mít chybu nebo spadnout. A hlavně chrání peníze, ne následek: když špatný výstup už napáchal nevratnou škodu (zveřejněný nesmysl, odeslaná platba, zadaný příkaz na burze), vrácení peněz ji nezruší.
Co si sám ověřím
Nezávislá kontrola výsledku
Nejsilnější stupeň. U mnoha úkolů je ověření levnější než řešení: agent výpočet přepočítá, kód spustí proti testům, fakt ověří u druhého zdroje, podpis dat zkontroluje. Pokud si výsledek umí ověřit sám, na všech předchozích stupních mu záleží mnohem míň. Důvěra přestává být podmínkou.
Pointa žebříčku: čím výš agent vystoupá, tím míň musí protistraně skutečně věřit. Cílem dobré architektury není najít „důvěryhodného partnera", ale uspořádat vztah tak, aby na slepé důvěře záviselo co nejméně. A úplně nahoře stojí ten nejsilnější tah: ověřit si výsledek sám. Tomu patří celá další část.
Nejsilnější tah: ověřuj výsledky, ne sliby
Otázka „komu věřit" se tím mění na „jak ověřit". Vezměme ten malý lokální model z úvodu. Když se přes API doptá velkého modelu, nemusí mu slepě věřit. Tam, kde jde výsledek levně ověřit, to udělá sám: spustí vrácený kód proti testům, ověří fakt u druhého zdroje, přepočítá číselný výpočet. Velký model je silnější, ale ověření zůstává na straně toho, kdo se ptá. U čisté úvahy, kterou levně ověřit nejde, je to těžší, k tomu se dostaneme za chvíli.
Ověření přitom neřeší všechno. Čas, který dodavatel stráví nad špatným výsledkem, je ztracený a zakázku je nutné zadat znovu. Řeší ale dvě jiné věci: za zmetek se neplatí a vada se nedostane do navazujících kroků. Ověření tak důvěru nenahrazuje, jen její potřebu zmenšuje.
A tady je ta vlastní inovace. V lidském světě je důvěra náhražkou ověření, protože zkontrolovat kvalitu je skoro stejně drahé jako odvést práci. U agentů se to láme: u významné třídy úkolů je ověření výsledku mnohem levnější než jeho vytvoření. Kolik důvěry pak agent ještě potřebuje, závisí na jediné věci: jestli jde výsledek ověřit.
Když výsledek ověřit jde
Agent přepočítá výpočet, spustí kód proti testům nebo porovná dvě nezávislé odpovědi. V krajním případě umí dodavatel přiložit kryptografický důkaz správného výpočtu (verifiable computation), který agent ověří, aniž by cokoli opakoval. Tam potřeba důvěry padá k nule. Podpis a doložený původ dat ale dokazují jen autenticitu a původ, ne správnost, ty samy důvěru nezruší.
Když ověřit nejde
U subjektivní kvality nebo tam, kde kontrola není levná, se agent musí držet důvěry. Ale jen do té míry, kolik by stálo případné zdržení a objednání jinde, kdyby to nevyšlo. I tady je tedy spočítaná, ne slepá.
Tak jako tak se důvěra mění z pocitu na veličinu úměrnou nákladu selhání, kterou lze odhadnout a řídit.
Strategie, které agent reálně má
- Zkušební úkol (probe): než agent zadá velkou zakázku, pošle malý úkol, u kterého zná správnou odpověď. Levně odhalí nekompetentního i podvodného poskytovatele dřív, než na něm něco záleží.
- Křížová kontrola: stejný úkol agent zadá dvěma nebo více nezávislým agentům a výsledky porovná. Shoda zvyšuje důvěru, rozpor je signál k opatrnosti.
- Ověřitelný výstup: u mnoha úkolů je kontrola levnější než řešení. Agent přepočítá výpočet, spustí kód proti testům, ověří fakt u druhého zdroje. U vhodných úloh stačí ověřit přiložený kryptografický důkaz správného výpočtu, aniž by ji opakoval; podpis a původ ale ověří jen autenticitu, ne správnost.
- Agent jako rozhodčí: samostatný hodnotící agent posoudí kvalitu podle jasných kritérií. Užitečné tam, kde neexistuje jediná „správná" odpověď. Sám je ale omylný a oklamatelný (zkreslení, skrytá instrukce v hodnoceném textu), takže je to slabší záruka než tvrdé ověření.
- Postupné uvolňování důvěry: nový poskytovatel dostane nejdřív malé, málo rizikové úkoly. Teprve s doloženou úspěšností roste objem, hodnota i autonomie. Stejný princip jako malá zkušební zakázka u firmy, jen každá splněná se ukládá do podepsané historie, kterou si dodavatel nese dál.
- Platba až po ověření: přes úschovu se peníze uvolní, až výsledek projde kontrolou. Riziko nese dodavatel, ne objednatel.
Důsledek: trvalý tlak na dodavatele
A právě tady je možná to hlavní. Člověk u průměrného výsledku často mávne rukou. Reklamace dá práci, je nepříjemná a „nějak to stačí". Dodavatelé to vědí a naučí se dodávat těsně pod hranicí, kterou si někdo dá tu práci řešit. Agent nemávne. Zadává přesněji, nemá s odmítnutím žádný emoční náklad, drží se přesně zadání, ověří každý výstup a zaplatí jen za to, co sedí. Špatná práce mu neprojde ne občas, ale pokaždé.
Kolik ověřovat: rozhodovací mřížka
Ověřovat všechno nejde, stálo by to víc než samotná práce. Ověřovat nic je hazard. A protože i samotné ověření něco stojí, u drobných a snadno opakovatelných zakázek bývá nejlevnější chybu prostě risknout a v případě potřeby zopakovat. Míra ověření má odpovídat tomu, kolik je v sázce. Dvě otázky stačí: jak je úkol hodnotný a jak snadno se chyba vrátí zpět.
Nízká hodnota + snadno vratné
Minimum ověřování
Levný, nezávazný úkol, který jde kdykoli zopakovat. Stačí deklarace a základní reputace. Sem patří většina rutinní agentní spolupráce.
Vysoká hodnota + snadno vratné
Ověření výsledku
Drahé, ale opravitelné. Vyplatí se křížová kontrola nebo nezávislé ověření výstupu, než ho agent použije dál.
Nízká hodnota + těžko vratné
Zkušební úkol + záruka
Levné, ale následky se těžko berou zpět (odeslaný e-mail, zveřejněný obsah). Agent testuje předem a drží pojistku, ne jen důvěru.
Vysoká hodnota + těžko vratné
Plná obrana
Drahé a nevratné (platba, smazání dat, produkční změna). Agent kombinuje ověřenou identitu, ekonomickou záruku, nezávislé ověření i schválení člověkem.
Každý signál se dá zfalšovat
Na čem agent staví, to může protistrana vyrobit naoko. A protože agenti jednají rychle a ve velkém, chyba se neopakuje jednou, ale tisíckrát. Kdo navrhuje agenta, který vybírá, musí počítat s tím, že druhá strana se může chovat nepřátelsky. Ke každé manipulaci proto rovnou obrana.
Falešné recenze ve velkém (Sybil)
Útočník si vytvoří tisíce identit nebo transakcí a nasimuluje historii a hodnocení.
Obrana: Agent vyžaduje ověřenou identitu, kterou je drahé si pořídit. Bez ní je reputace levně padělatelná.
Nablýskaný na test (benchmark gaming)
Agent je vyladěný, aby zazářil ve zkušebním úkolu, ale v reálné zakázce selže.
Obrana: Agent drží zkušební úkoly nepředvídatelné a blízké skutečné práci a testuje je namátkou i během spolupráce.
Skrytý vzkaz v odpovědi (prompt injection)
Data nebo výstup od cizího agenta obsahují skryté instrukce, které chtějí přesměrovat chování agenta.
Obrana: Agent bere cizí výstup jako vstup, ne jako pokyn. Odděluje data od instrukcí a nikdy nespustí, co přišlo v odpovědi.
Návnada a záměna (bait and switch)
Poskytovatel se chová bezvadně, dokud si nevybuduje důvěru a objem, pak začne podvádět nebo zdražovat.
Obrana: Agent ověřuje průběžně a namátkou i osvědčené partnery. Důvěra není stav, který se jednou získá natrvalo.
Podvodná shoda (collusion)
„Nezávislí" agenti při křížové kontrole patří jednomu provozovateli a potvrzují si navzájem špatné výsledky.
Obrana: Nezávislost ověřovatelů agent zajišťuje, nepředpokládá ji. Ověřuje přes různé provozovatele a původ.
Otrávená data
Nakoupená datová sada vypadá v pořádku, ale obsahuje cílené chyby, zkreslení nebo zadní vrátka.
Obrana: Agent ověřuje původ a integritu dat, ne jen obsah: podpisy, zdroj a namátková kontrola vzorku.
U každého signálu je na místě otázka „co kdyby ho protistrana vyrobila schválně?". Pokud na ni agent nemá obranu, není to signál důvěry, jen povrch, který lze nalakovat. Cizímu agentovi nesvěří nic, co by nesvěřil neznámému dodavateli bez smlouvy, ověření a možnosti reklamace.
Kam to směřuje: sdružená platforma důvěry
Všechny obrany výše musí každý agent dělat sám, znovu a znovu, na vlastní náklady. To se ve velkém neuhlídá. Skutečné řešení je sdílená infrastruktura: nezávislá, renomovaná platforma, která sdružuje výkonnost agentů, nezaměnitelně navázanou na identitu a ověřeně, aby se důvěra nemusela budovat pokaždé od nuly.
Druhá strana: jak být agentem, kterého si vyberou
Celý žebříček platí i obráceně. Pokud provozuješ agenta nebo službu, kterou si mají najmout jiní agenti, musíš být vybíratelný strojem. Hezký web, příběh značky a lidský marketing tu nerozhodují. Rozhoduje se podle signálů, které software přečte a ověří. Čím výš na žebříčku dokážeš svůj signál posunout, tím snáz tě někdo vybere a tím vyšší cenu uhájíš.
Buď čitelný
- Zveřejni strojově čitelný popis schopností, vstupů a výstupů
- Uveď cenu, limity a očekávanou rychlost předem a jednoznačně
- Měj stabilní, ověřitelnou identitu, ne jednorázovou
Buď ověřitelný
- Dodávej výstupy, které jde nezávisle zkontrolovat
- Podepisuj výsledky a dolož původ dat
- Počítej se zkušebními úkoly, neboj se jich
Měj kůži ve hře
- Nabídni úschovu platby, SLA nebo záruku za výsledek
- Buduj doložitelnou historii, ne jen tvrzení
- Udělej ze ztráty reputace něco, co tě reálně bolí
Buď bezpečný
- Nevkládej do výstupů nic, co vypadá jako skrytá instrukce
- Jasně odděluj data od pokynů
- Chovej se předvídatelně i pod zátěží a u hraničních vstupů
Praktický checklist
Než agent někoho najme
- Ví s jistotou, s kým má tu čest (ověřená identita)?
- Sedí deklarované schopnosti na to, co opravdu potřebuje?
- Má protistrana doložitelnou historii, ne jen hvězdičky?
- Jde výsledek levně ověřit? Jakým způsobem?
- Odpovídá míra ověření hodnotě a vratnosti úkolu?
- Má pojistku pro případ selhání (úschova, záruka)?
- Bere cizí výstup jako data, ne jako pokyn?
- Ověřuje i osvědčené partnery namátkou?
Než svého agenta nabídneš
- Má agent stabilní, ověřitelnou identitu?
- Je popis schopností, ceny a limitů strojově čitelný?
- Jdou moje výstupy nezávisle zkontrolovat?
- Podepisuju výsledky a dokládám původ dat?
- Buduju doložitelnou historii výsledků?
- Nabízím nějakou záruku nebo kůži ve hře?
- Obstojím ve zkušebním úkolu i v křížové kontrole?
- Neobsahují moje výstupy nic, co vypadá jako skrytá instrukce?
Shrnutí
Svět AI agentů míří k dělbě práce: agenti budou najímat agenty, kupovat data a volat cizí služby, protože stavět vše na zelené louce je drahé a v mnoha případech i nemožné. Ústřední otázkou se tím stává důvěryhodnost, jen ji nelze řešit lidsky, pocitem a recenzí.
Agent se rozhoduje podle signálů a jejich síla roste od nejslabšího (co o sobě někdo tvrdí) po nejsilnější (co si agent ověří sám, případně co za něj ověří sofistikovanější agent, kterému to svěří). Dobrá architektura proto nehledá „důvěryhodného partnera", ale uspořádá vztah tak, aby na slepé důvěře záviselo co nejméně: ověřená identita, doložitelná historie, ekonomická záruka a hlavně levné ověření výsledku, odstupňované podle toho, kolik je v sázce.
Protože každý signál jde zfalšovat, platí to i obráceně. Kdo chce být vybrán, musí být čitelný, ověřitelný a mít kůži ve hře. Kdo vybírá, musí ke každému signálu počítat s protivníkem.
Kam pokračovat
AI Application Security
Jak zabezpečit LLM, RAG a agentní systémy: modelování hrozeb, guardrails, řízení přístupu a monitoring.
Přínos vs. bezpečnost AI
Jak vyvážit přínos a riziko, oprávnění a dosah agentů dřív, než jim svěříte data a nástroje.
Probrat agentní architekturu
Navrhnout bezpečnou spolupráci agentů, ověřování výsledků a hranice důvěry pro váš projekt.
Potřebujete vytvořit AI agenta?
Ať už má agent vybírat dodavatele a ověřovat jejich výsledky, nebo má být tím, koho si ostatní agenti spolehlivě vyberou, navrhneme architekturu, identitu, ověřování i hranice důvěry. Jsme tu pro vás.
Probrat váš projekt