Startap AIUC prikupio 40 miliona dolara za bezbednosne audite AI agenata

Startap Artificial Intelligence Underwriting Company (AIUC) prikupio je 40 miliona dolara u Series A rundi finansiranja kako bi razvio nezavisni sistem evaluacije i sertifikacije autonomnih AI agenata. Kompaniju su osnovali Rune Kvist, jedan od ranih inženjera kompanije Anthropic, i Rajiv Dattani, bivši operativni direktor istraživačke organizacije METR. Cilj platforme jeste uspostavljanje bezbednosnog standarda za softverske agente, po uzoru na ulogu koju SOC 2 sertifikacija ima u tradicionalnoj sajber bezbednosti

Finansiranje i klijenti

Novu rundu predvodili su fondovi Ribbit Capital i First Harmonic. AIUC je prethodno prikupio 15 miliona dolara u seed fazi, u kojoj su učestvovali NFDG (fond Nata Friedmana), Emergence, Terrain i suosnivač Anthropica Ben Mann, čime je ukupan prikupljeni kapital dostigao 55 miliona dolara.

Sistem već koristi nekoliko poznatih tehnoloških kompanija koje razvijaju proizvode zasnovane na agentima:

• Cursor (AI razvojno okruženje)
• Lovable (platforma za generisanje softvera)
• Harvey (pravni AI asistent)
• ElevenLabs (glasovni AI modeli)

Kako funkcioniše audit i standard AIUC-1?

AIUC kombinuje novi bezbednosni standard nazvan AIUC-1 sa automatizovanom uslugom testiranja. Šta tačno treba testirati ne određuje sam startap samostalno, već konzorcijum od oko 250 lidera u oblasti bezbednosti i upravljanja rizikom iz kompanija koje kupuju i primenjuju AI sisteme.

Tokom evaluacije, svaki AI agent prolazi kroz rigorozan proces provere:

• Agent se izlaže seriji od oko 5.000 ciljanih testova koji simuliraju pokušaje probijanja zaštite (jailbreak), curenje poverljivih podataka i sklonost halucinacijama.
• AIUC koristi sopstvene AI agente za pokretanje simulacija i analizu ponašanja testiranog modela.
• Ljudski stručnjaci na kraju verifikuju rezultate i sastavljaju izveštaj od oko 100 stranica koji precizno dokumentuje bezbednosne granice i slabosti sistema.

„Banke, bolnice, vlade i vojske više ne odbijaju uvođenje veštačke inteligencije zato što model nije dovoljno pametan. Odbijaju ga zato što su preuzele obaveze prema sopstvenim klijentima o tome šta sistem sme, a šta ne sme da radi, a to trenutno niko ne može da garantuje“, izjavio je suosnivač Rune Kvist.

Širi kontekst

Ovakav pristup proistekao je iz rada organizacije METR (Model Evaluation and Threat Research), koja je razvijala slične okvire za evaluaciju vodećih frontier modela. METR je, između ostalog, bio jedna od eksternih organizacija koje je OpenAI angažovao tokom istrage bezbednosnog incidenta na platformi Hugging Face.

Potreba za nezavisnim auditom sve je prisutnija u industriji. Izvršni direktor Anthropica Dario Amodei nedavno je pozvao na kontrolisani razvoj („pace the frontier“) uz stalno prisustvo nezavisnih eksternih evaluatora, direktno navodeći METR kao primer organizacije sposobne za takav nadzor. AIUC taj model evaluacije sada prenosi sa istraživačkog nivoa na komercijalno tržište poslovnih aplikacija.