Presnosť AI
Ako často ľudia opravujú výstup AI a čo z toho vyplýva pre nastavenie.
Otázka „píše nám AI parametre správne?" má tu číselnú odpoveď. Meria sa na vašich vlastných dátach: aplikácia zoberie, čo AI kedysi vyextrahovala, porovná to s hodnotami, ktoré sú dnes v produktoch od ľudí alebo z feedu, a spočíta zhodu. Nové volania AI sa pritom nerobia — vyhodnotenie nič nestojí.
Prvky na obrazovke
- Spustiť vyhodnotenie — Retrospektívny beh nad doterajšími logmi. Beží na pozadí a nespotrebuje tokeny.
- Presnosť extrakcie — Podiel predikcií, ktoré sa zhodli so správnou hodnotou. Hlavné číslo obrazovky.
- Cieľ 92 % — Pevná latka. Pod ňou sa oplatí zasiahnuť do nastavení, nie čakať.
- Validačná sada — Koľko extrakcií malo vôbec s čím sa porovnať. Malá sada znamená neisté číslo.
- Živá telemetria — Iná metrika: koľko AI zápisov niekto ručne prepísal. Meria realitu, nie retrospektívu.
- Presnosť podľa modelu — Rovnaká úloha, rôzne modely. Toto je podklad na rozhodnutie, ktorý model používať.
- História sa nemaže — Behy prežijú 60-dňové prerezávanie logov. Vývoj presnosti v čase teda zostáva.
- Typ behu — Retrospektíva = jednorazové prehratie histórie. Priebežný zber = jeden beh, ktorý sa dopĺňa.
- Správne/skórované — Menovateľ je dôležitejší než percento. 142/153 je iná istota než 9 585/10 240.
Odkiaľ sa berie „správna hodnota"
Vyhodnotenie potrebuje s čím porovnávať. Berie to z toho, čo už v systéme je:
| Zdroj | Čo to je | Váha |
|---|---|---|
| Ručná hodnota | Parameter, ktorý vyplnil alebo opravil človek. | Najvyššia — človek videl produkt. |
| Hodnota z feedu | Parameter, ktorý prišiel priamo od dodávateľa. | Nižšia než ručná, ale spoľahlivá. |
| Overená hodnota | Explicitne potvrdená referenčná hodnota. | Najvyššia zo všetkých — prebije obe predošlé. |
Tri metriky, ktoré si netreba pomýliť
| Metrika | Čo meria | Kedy sa jej držať |
|---|---|---|
| Presnosť extrakcie | Zhoda predikcie so známou správnou hodnotou. | Pri rozhodovaní o modeli a promptoch. |
| Validačná sada | Veľkosť vzorky, na ktorej sa presnosť počítala. | Vždy — bez nej je percento nečitateľné. |
| Živá telemetria | Podiel AI zápisov, ktoré niekto následne prepísal ručne. | Keď chcete vedieť, čo si o AI myslí tím. |
Detail behu
Kliknutím na riadok v histórii sa otvorí Detail vyhodnotenia so zoznamom nezhôd: parameter, čo predikovala AI a aká je správna hodnota (zobrazí sa najviac 100). Toto je najrýchlejšia cesta k odpovedi, prečo je presnosť nízka — nezhody sa takmer vždy zhlukujú okolo pár parametrov.
Spustite vyhodnotenie
Tlačidlom vpravo hore. Beh prebieha na pozadí, obrazovku môžete opustiť.
Otvorte detail dokončeného behu
V histórii kliknite na riadok. Uvidíte súhrn a zoznam nezhôd.
Nájdite opakujúci sa parameter
Ak sa v nezhodách stále vracia ten istý parameter, problém nie je v modeli.
Zasiahnite tam, kde problém vzniká
Doplňte hodnoty do slovníka v definícii parametra, upresnite mapovanie hodnôt, alebo parameter vylúčte z automatického vypĺňania.
Spotrebuje vyhodnotenie tokeny?
Nie. Prehráva už existujúce logy — nevolá AI. Preto ho možno spúšťať aj opakovane.
Aký je rozdiel medzi retrospektívou a priebežným zberom?
Retrospektíva je jednorazový beh nad zvoleným obdobím. Priebežný zber je jeden beh na firmu, ktorý sa postupne dopĺňa o nové dáta — preto má v histórii najväčšie čísla.
Presnosť klesla po zmene modelu — mám sa vrátiť?
Najprv sa pozrite na Presnosť podľa modelu: porovnáva rovnakú úlohu naprieč modelmi. Ak je rozdiel v rámci jedného percenta pri malých vzorkách, nie je to dôvod na zmenu.
Obrazovka hlási, že extrakcia nie je nakonfigurovaná.
Firma nemá AI poskytovateľa. Nastavte ho v nastaveniach AI — bez neho nie je čo merať.