Credal punta a connettere i dati aziendali agli LLM ‘in sicurezza’

Credal.ai, una startup sostenuta da Y Combinator che offre alle aziende un modo per connettere i propri dati interni a modelli di intelligenza artificiale ospitati nel cloud che generano testo, ha raccolto 4,8 milioni di dollari in un round iniziale guidato da Spark Capital.

Credal è stata fondata da Jack Fischer e Ranavin Thambapillaid, che in precedenza avevano lavorato presso Palantir e si univano grazie a un interesse reciproco per la sicurezza e la conformità. Fischer è un ex Googler, mentre Ravin ha imparato a programmare da solo dopo aver studiato filosofia, politica ed economia a Oxford.

“Ci siamo resi conto che, con il nostro background nella sicurezza dei dati aziendali e nell’intelligenza artificiale di Palantir, eravamo in una posizione unica da cui costruire una piattaforma dati AI di cui le aziende potessero davvero fidarsi”, ha dichiarato Fischer a TechCrunch in un’intervista via e-mail.

Fischer e Thambapillaid inizialmente avevano deciso di costruire quello che descrivono come un “assistente decisionale” per le imprese che utilizzassero modelli linguistici di grandi dimensioni (LLM) – modelli sulla falsariga di ChatGPT – per leggere documenti e fornire consigli su strategie, C- Decisioni a livello di suite. Ma alla fine il progetto si è trasformato in qualcosa di più ampio: uno strumento per connettere dati da fonti di dati interne a LLM esterni.

Poiché la piattaforma esiste oggi, Credal può essere utilizzata per creare chatbot di conoscenza generale o specifici del dominio, basati sull’intelligenza artificiale, per una vasta gamma di casi d’uso. Ad esempio, un’azienda potrebbe utilizzare Credal per creare un bot che risponda alle domande di sicurezza sul software concesso in licenza dall’azienda, attingendo alla documentazione più recente.

Credal non serve LLM in sé. Piuttosto, si trova tra gli utenti che inviano richieste (ad esempio “Qual è l’ultima versione di questo software?”) e un’API di un fornitore LLM di terze parti come OpenAI o Anthropic, agendo come un “copilota” che può essere distribuito in sistemi esistenti. app come Slack.

Credal tenta di indirizzare automaticamente le richieste al LLM “più appropriato” se un’azienda ne utilizza più di uno, in base a fattori quali la sensibilità dei dati inviati, i costi, la politica aziendale e le capacità tecniche di un modello. In alcuni casi, impiega più di un LLM per svolgere un’attività, ad esempio utilizzando Claude e GPT-4 di Anthropic per strutturare i documenti aziendali.

Molte piattaforme offrono modi per connettere i dati aziendali ai LLM: vedi Unstructured, Deasie e LlamaIndex. E OpenAI sta espandendo il suo framework di plugin integrato. Ma l’interpretazione unica di Credal al riguardo è una forte enfasi sulla conformità e sulla sicurezza, almeno nel modo in cui la racconta Fischer.

Credal tenta di redigere, anonimizzare e avvisare automaticamente quando i dati sensibili stanno per essere inviati fuori rete, ad esempio a un LLM ospitato su un cloud pubblico. Inoltre fornisce registri che mostrano quali dati sono stati condivisi con quali LLM.

Dati inviati a Credal È conservati per impostazione predefinita e conservati per 30 giorni dopo la scadenza dell’account, il che potrebbe mettere in pausa alcune aziende. Ma gli amministratori Potere cambialo e scegli di cancellare i dati in qualsiasi momento, sottolinea Fischer.

Fischer sostiene inoltre che Credal è uno dei pochi fornitori di questo tipo ad essere registrato nel Data Privacy Framework, il recente accordo USA-UE che regola il trasferimento dei dati personali tra i due paesi. Ciò le ha permesso di aggiudicarsi contratti con imprese europee quotate in borsa e regolamentate come Wise, afferma Fischer.

“I dipartimenti IT delle aziende vogliono visibilità e controllo su come viene utilizzata l’intelligenza artificiale all’interno della loro organizzazione”, ha aggiunto. “Credal li dà [this transparency] in un formato standard tra più fornitori LLM, fornendo controlli dei dati dettagliati su chi può accedere a quali modelli, quali dati possono essere utilizzati da ciascun utente e per quali scopi… A differenza di altri sistemi di “AI sui tuoi dati”, Credal rispecchia automaticamente le autorizzazioni dei sistemi di origine a cui si connette, quindi quando un utente pone una domanda, l’IA risponde solo da documenti aziendali che sono entrambi rilevanti E accessibile a quell’utente.”

Dal lancio in aprile, Fischer afferma che Credal ha gestito oltre un quarto di milione di chiamate LLM e ha importato circa 100.000 documenti aziendali. L’azienda ha attualmente 11 clienti, molti dei quali hanno firmato contratti a “sei cifre”, secondo Fischer.

Con il capitale ricavato dal seed round, Credal prevede di espandere il proprio organico (che attualmente ammonta a cinque dipendenti) e di “espandere il prodotto per coprire più fonti di dati ed eseguire un recupero di dati più sofisticato”, afferma Fischer.

“Il settore dell’intelligenza artificiale al momento sta soffrendo di un relativo squilibrio tra l’enorme entusiasmo e il numero ancora relativamente piccolo di aziende che utilizzano i LLM per creare valore nel mondo reale”, ha affermato Fischer. “Credal sta risolvendo questo problema integrandosi profondamente con un piccolo numero di imprese straordinarie e risolvendo effettivamente i loro problemi end-to-end.”