AI izmaksas aug: kāpēc izvēlēties uzdevumam piemērotu modeli

Kas notika

Pēc Bloomberg ziņām, juridiskā AI uzņēmuma Harvey bruto peļņas marža līdz jūnijam nokritās no apmēram +50% līdz -50%, jo tokenu patēriņš pieauga 20 reizes. Augustā Harvey palaida savu modeli uz Moonshot atvērtā modeļa Kimi K3 bāzes, un marža atkal kļuva pozitīva. Bloomberg kā citus jaunuzņēmumus, kas iet to pašu ceļu, minēja arī Abridge un Ramp.

Financial Times ziņo, ka atvērtie modeļi tagad veic 40% no AT&T AI darba. Lielāko daļu AI tēriņu joprojām saņem lielo laboratoriju slēgtie modeļi, taču lielie pircēji modeli tagad uztver kā ko tādu, ko var nomainīt, ja cena nav pareiza. Mainās arī pārdevēju puse: pēc The Information ziņām, Anthropic pārtrauc korporatīvās atlaides (parasti ap 15%), kad klients izlieto līgumā paredzēto apjomu, un tad jāpārrunā līgums vai jāmaksā pilna cena.

Ko tas nozīmē Latvijas uzņēmumiem

Lielākā daļa Latvijas uzņēmumu AI neizmanto tādā apjomā kā Harvey vai AT&T. Tomēr princips ir tas pats, un mazam uzņēmumam tas ir pat svarīgāks, jo katrs lieks izdevumu postenis jūtams uzreiz.

AI izmaksas parasti neaug lēcienveidīgi. Tās aug klusi: vispirms viens darbinieks sāk lietot AI e-pastu atbildēm, tad pievieno dokumentu apstrādi, tad automatizē klientu pieprasījumus. Ja visi šie darbi iet caur vienu, dārgāko pieejamo modeli, rēķins pieaug līdz ar katru jaunu procesu. Harvey gadījums labi parāda, ka pat veiksmīgs produkts var kļūt nerentabls, ja patēriņš pieaug straujāk nekā ieņēmumi.

Vienlaikus tirgus kļūst lētāks un daudzveidīgāks. Anthropic 7. oktobrī laida klajā Claude Haiku 5.5, kas, pēc uzņēmuma teiktā, vairumam pieprasījumu maksā aptuveni desmito daļu no Haiku 4.5 cenas, vidēji ap 75% mazāk. Tas paredzēts liela apjoma darbiem, piemēram, klientu atbalstam, kopsavilkumiem un datu meklēšanai. Mistral 6. oktobrī publiskoja Large 4 priekšskatījumu, un pēc atvērto svaru publiskošanas oktobra beigās uzņēmumi to varēs darbināt savos serveros un paturēt sensitīvos datus pie sevis. Uzņēmumiem, kuriem svarīgi, kur glabājas klientu dati, tā ir būtiska iespēja.

Mūsu skatījumā mācība mazam uzņēmumam ir tāda pati kā lielajiem: gudrākais ceļš ir uzdevumam piemērots modelis, nevis vienmēr dārgākais.

Kā to izmantot praksē

Sadaliet uzdevumus pēc sarežģītības

Lielākā daļa ikdienas AI darbu ir rutīna. Tiem pietiek ar lētu, ātru modeli:

• e-pastu šķirošana - vai tas ir pasūtījums, sūdzība, rēķins vai jautājums;
• datu izvilkšana no dokumentiem - rēķina numurs, summa, datums, piegādātājs;
• biežākās klientu atbildes - darba laiks, piegādes nosacījumi, pasūtījuma statuss;
• īsi kopsavilkumi - garas sarakstes vai sapulces piezīmju galvenie punkti.

Dārgo modeli ir vērts atstāt sarežģītiem uzdevumiem: līgumu analīzei, nestandarta klientu situācijām, vairāku dokumentu salīdzināšanai vai tekstiem, kur svarīga katra nianse.

Piemērs: pirms un pēc

Pirms. Uzņēmumā, kur pieteikumi nāk pa e-pastu, katra vēstule tiek nosūtīta jaudīgākajam modelim. Tas nolasa vēstuli, nosaka tēmu, izvelk kontaktinformāciju un sagatavo atbildes melnrakstu. Rezultāts ir labs, bet katra vienkārša vēstule maksā tikpat, cik sarežģīta.

Pēc. Lēts modelis vispirms nosaka vēstules tipu un izvelk pamatdatus. Standarta jautājumiem tas pats sagatavo atbildi no apstiprinātām veidnēm. Tikai tad, ja vēstule ir neskaidra, satur sūdzību vai prasa izvērtējumu, to apstrādā dārgākais modelis. Kvalitāte paliek tur, kur tā vajadzīga, bet vairums pieprasījumu tiek apstrādāti ar mazākām izmaksām.

Būvējiet tā, lai modeli var nomainīt

AT&T piemērs rāda, ka lielie pircēji modeli uztver kā nomaināmu daļu. Arī mazam uzņēmumam risinājums jābūvē tā, lai modeļa nomaiņa nenozīmētu visas sistēmas pārbūvi. Praksē tas nozīmē:

• savienojums ar AI modeli ir atsevišķs slānis, nevis izkaisīts pa visu sistēmu;
• instrukcijas (prompti) un veidnes glabājas vienuviet un nav piesaistītas viena piegādātāja īpatnībām;
• ir neliela testa kopa ar reāliem piemēriem, lai jaunu modeli var pārbaudīt pirms pārslēgšanās.

Šāda pieeja ļauj izmantot jaunus, lētākus modeļus, tiklīdz tie parādās, un nepaliek atkarībā no viena pārdevēja cenu politikas. The Information ziņa par atlaidēm atgādina, ka nosacījumi var mainīties arī līguma laikā.

Sekojiet izmaksām par uzdevumu

Abonementa cena pati par sevi maz pasaka. Daudz noderīgāk ir zināt, cik maksā viena apstrādāta vēstule, viens nolasīts rēķins vai viena klienta saruna. Kad šie skaitļi ir redzami, kļūst skaidrs, kuri procesi ir dārgi, kur lēts modelis būtu pietiekams un kur tiešām vajadzīgs jaudīgākais.

Ar ko sākt

Nav jāpārbūvē viss uzreiz. Pietiek ar dažiem soļiem:

1. Sarakstiet visus procesus, kuros jau izmantojat AI, un atzīmējiet, kurš modelis katrā tiek lietots.
2. Novērtējiet sarežģītību. Kuri uzdevumi ir atkārtojami un vienkārši, kuri prasa spriestspēju un rūpīgu izvērtējumu?
3. Izvēlieties vienu rutīnas procesu un izmēģiniet to ar lētāku modeli, salīdzinot rezultātus ar līdzšinējiem.
4. Sāciet uzskaitīt izmaksas par uzdevumu, lai lēmumi balstītos uz datiem, nevis sajūtām.
5. Pārbaudiet arhitektūru. Ja modeļa nomaiņa prasītu lielu pārstrādi, tas ir pirmais, ko vērts sakārtot.

Ja vēlaties saprast, kur jūsu uzņēmumā AI izmaksas var samazināt, nezaudējot kvalitāti, sazinieties ar AI-Lab Space. Kopā izvērtēsim jūsu procesus, ieteiksim katram uzdevumam piemērotu modeli un palīdzēsim izveidot risinājumu, kuru var pielāgot, mainoties tirgum.