OpenAI heeft tools geïntroduceerd waarmee ontwikkelaars AI-modellen nog beter kunnen verfijnen dan voorheen. Bovenop de eerdere opties via de fine-tuning API biedt het bedrijf nu meer mogelijkheden. Deze tools moeten de complexiteit van dit proces versimpelen en daarmee de foutmarges van fine-tuneprocessen beperken.
De tools worden toegevoegd aan de bestaande fine-tuning API. Met deze API kunnen ontwikkelaars de verschillende LLM’s, zoals GPT 3.5 Turbo, van OpenAI voorzien van extra gegevens waar het model niet op getraind was. Op basis van deze data is het vervolgens mogelijk meer gerichte vragen aan de LLM’s te stellen, meer efficiëntie bewerkstellingen en kosten beperken.
Features voor stapsgewijs fine-tuningproces
Het uitvoeren van deze processen via de fine-tune API is een complex stapsgewijs proces, samengevat als ‘epochs’. Dit is extreem foutgevoelig. In een epoch analyseert het LLM de dataset waarmee het wordt gefine-tuned op zijn minst één keer. Wanneer hierbij een fout wordt gemaakt, kan een LLM mogelijk niet op de juiste wijze de gegeven data opnemen en is het daardoor in de functionaliteit beperkt.
De nieuwe toolset voor de fine-tuning API van OpenAI moet helpen om deze fouten te voorkomen. Missers in de epochs komen vaak pas voor na de eerste trainingssessie. Hiervoor is het nu mogelijk een kopie van het AI-model op te slaan na een geslaagde sessie. Wanneer in een volgende fase zich een fout voordoet, kunnen ontwikkelaars altijd weer terug naar de laatste correcte versie. Aangezien AI-fine-tuning veel rekenkracht kost, kan deze toevoeging aanzienlijke kostenbesparingen opleveren.
Daarnaast heeft OpenAI nieuwe features toegevoegd voor het vergelijken van verschillende versies van een gefine-tunede LLM. Daardoor is het eenvoudiger om de hyperparameters van LLM’s aan te passen, dat bepaalt hoe willekeurig of voorspelbaar een model is. Daarom biedt de nieuwe feature meer nauwkeurigheid; daarnaast toont het dashboard hierbij meer technische gegevens.
Verder is het nu mogelijk data naar AI-ontwikkelingstools van andere leveranciers te streamen, zoals voor het modelontwikkelplatform Weights and Biases.
LLM’s op onderdelen aanpassen
Naast de nieuwe features voor de fine-tune API, heeft OpenAI ook voor bedrijven die meer geavanceerde mogelijkheden nodig hebben voor het optimaliseren van de LLM’s een nieuwe tool gepresenteerd.
Met Assisted Fine-Tuning kunnen ontwikkelaars de mogelijkheden van een LLM uitbreiden door additionele hyperparameters toe te voegen. Tevens kunnen gebruikers van deze tool alleen bepaalde onderdelen van het LLM fine-tunen zonder dat zij dit voor de gehele codebase moeten doen. Dit gebeurt met behulp van PEFT, ofwel Parameter-Efficient Fine-Tuning. Het is een techniek die wederom veel kosten helpt besparen door enkel de benodigde berekeningen te doen.