Bedrijven willen enorm graag AI-modellen uit de experimentele fase halen en naar productieomgevingen brengen. Hier komen uitdagingen bij kijken, zoals toegenomen hardwarekosten, privacyzorgen en een gebrek aan vertrouwen in het delen van data met SaaS-gebaseerde modellen. Red Hat ziet de noodzaak voor verandering op dit gebied, want anders raken bedrijven achterop in de snel veranderende AI-wereld. Enter een AI-platform dat on-premises of in de cloud kan draaien.
Eigenlijk zal een doorsnee bedrijf om AI succesvol in te zetten een reeks IT-moderniseringen moeten doorvoeren. Natuurlijk zal per organisatie verschillen wat allemaal moet gebeuren, maar volgens Red Hat komt het vaak op een aantal zaken neer. Voor de hand liggend zijn het moderniseren van bestaande applicatie- en dataomgevingen, barrières tussen bestaande systemen en storageplatformen wegnemen en besluiten waar verschillende workloads moeten draaien. Wat gaat naar de cloud, wat naar het datacenter en wat moet draaien aan de rand van het netwerk? Of wordt er voor een combinatie gekozen?
Om daar verder op in te gaan, kondigt Red Hat tijdens de keynote ‘The cloud is hybrid. So is AI.’ op Red Hat Summit in Denver updates aan. Ze hebben als doel de flexibiliteit in de hybride cloud te verbeteren, foundation modellen te versterken met bedrijfsdata en een variëteit aan hardware- en software accelerators mogelijk te maken. In dit artikel bespreken we wat Red Hat allemaal gaat doen met OpenShift.
Red Hat OpenShift AI 2.9
De versterking die op productniveau er met name uitspringt, is de introductie van Red Hat OpenShift AI 2.9. Dit is de oplossing die Red Hat omschrijft als een open hybride AI- en machine learning-platform dat gebouwd is op Red Hat Openshift. De nieuwste versie van dit platform helpt data scientists bij het ontwikkelen van modellen via project workspaces en aanvullende workbench images. Zij krijgen meer opties om ontwikkelomgevingen en toolkits te gebruiken die zij wensen. Voorbeelden die Red Hat noemt zijn Visual Studio Code en RStudio.
Voor de ondersteuning van meer locaties, komt Red Hat OpenShift AI 2.9 met ‘model serving at the edge’. Dit breidt de deployment van modellen uit naar remote locatie door single-node OpenShift te gebruiken. Het biedt inferencing-mogelijkheden in omgevingen met beperkte resources of air-gapped netwerktoegang. Daarbovenop komt iets wat Red Hat als versterkte model serving omschrijft. Het komt neer op het kunnen gebruiken van meerdere modelservers voor ondersteuning van voorspellende analyses en generatieve AI. Deze analytics-vormen zijn door de uitbreiding beide op een enkel platform te draaien voor meerdere gebruikstoepassingen.
Red Hat gaat ook gedistribueerde workloads verder ondersteunen met behulp van het Ray-framework. Ray maakt gebruik van meerdere cluster nodes voor snellere en efficiëntere dataverwerking en modeltraining. Het framework voor het accelereren van AI-workloads vertrouwt op KubeRay voor het beheren van de workloads op Kubernetes. Daarnaast gebruikt het CodeFlare, een framework binnen Red Hat OpenShift AI om gedistribueerde workloads mogelijk te maken. Red Hat belooft dat de centrale beheermogelijkheden ervoor zorgen dat nodes optimaal benut worden en het herverdelen van resources ondersteunen.
Tip: Red Hat past Enterprise Linux aan voor AI
De hardwarebasis
Met bovenstaande features zit er behoorlijke vernieuwing in het vat om als bedrijf in het cloud- en AI-tijdperk mee te kunnen. Red Hat heeft echter ook wat verder gekeken dan zijn eigen product, door ook partners te betrekken in het verhaal. Tijdens de keynote worden dan ook de nodige nieuwe samenwerkingen aangekondigd met belangrijke spelers. Wat hierin opvalt is dat naast Nvidia – een partij die tegenwoordig op iedere techconferentie aanwezig is met een hernieuwd partnership – ook de andere grote chipspelers Intel en AMD van de partij zijn.
Als we eerst kijken naar wat Red Hat nu met Nvidia gaat doen, dan gaat het om een aankomende ondersteuning van Nvidia NIM microservices op Red Hat OpenShift AI. Nvidia NIM is een set inference microservices behorend bij het AI Enterprise-softwareplatform van het chipbedrijf, waarmee organisaties de levering van generatieve AI-applicaties kunnen versnellen. De nieuwe samenwerking belooft een gestroomlijnd pad naar integratie om Nvidia NIM in een gemeenschappelijke workflow naast andere AI-implementaties te implementeren. Daarnaast kunnen bedrijven rekenen op geïntegreerde schaling en monitoring voor Nvidia NIM-implementaties in coördinatie met andere AI-modelimplementaties in hybride cloud omgevingen.
Met de tweede genoemde chipfabrikant heeft Red Hat een samenwerking gesloten om de levering van AI-oplossingen te faciliteren op Intel AI-producten. De partijen gaan er samen voor zorgen dat de Intel-hardware gecertificeerd wordt voor Red Hat OpenShift AI, om de interoperabiliteit te verzekeren en de juiste AI-mogelijkheden te kunnen bieden. Hieronder vallen Intel Gaudi AI-accelerators, Xeon-processors, Core Ultra- en Core-processors en Intel Arc GPU’s. Alle chips moeten in te zetten zijn voor modelontwikkeling, training, beheer en monitoring.
Tot slot is AMD nog een partij waar Red Hat meer mee wil doen om bedrijven in hybride AI/cloud-scenario’s te ondersteunen. De AMD GPU Operators op Red Hat OpenShift AI zullen daar een centrale rol innemen, waarmee bedrijven de processing-kracht en performance moeten krijgen voor AI-workloads in de hybride cloud. Volgens Red Hat resulteert dit het stroomlijnen van AI-workflows en het overbruggen van bestaande en potentiële gaten in de GPU-keten.
Verhaal gaat verder na onderstaand kader
Red Hat OpenShift bij Ortec Finance
Hoewel we het in dit artikel hoofdzakelijk over het Red Hat OpenShift AI hebben, is het origineel Red Hat Openshift al langere tijd geschikt voor AI. Dat laat Ortec Finance uit Rotterdam zien. Deze partij levert softwareoplossingen voor pensioenfondsen, verzekeraars, vermogensbeheerders en adviesbedrijven. Bij Ortec Finance wilde men graag meer op cloud-native applicaties inzetten. Ze bouwden daarvoor het Ortec Finance Cloud Application Platform, kortweg ORCA.
In eerste instantie vormde Red Hat OpenShift het fundament voor ORCA, maar tijdens het testen van de eerste versie werd duidelijk dat een volledig beheerd platform nodig was. Dit leidde tot de implementatie van Azure Red Hat OpenShift. De ontwikkelaars kregen hiermee een ruimere keuze aan geïntegreerde en vooraf gevalideerde tools. En voor de solution engineers en klanten van Ortec Finance betekende het snellere implementatie van software en applicaties op meerdere Kubernetes-clusters beheren.
Met behulp van Azure Red Hat OpenShift kan Ortec Finance sneller software van hogere kwaliteit leveren. De doorlooptijden zijn bijvoorbeeld teruggebracht van dagen naar minuten door de optie om te releasen op afstand.
Ortec Finance blijkt wel wat te zien in het toepassen van meer AI. Zo bouwde het de afgelopen twee jaar machine learning modellen voor woningtaxaties op Azure Red Hat OpenShift, om institutionele klanten te ondersteunen bij efficiënte taxatieprocessen. Momenteel is het Rotterdams bedrijf bezig Red Hat OpenShift AI te implementeren. Het wil hiermee het onderhoud en de eigen code voor het leveren van AI-modellen in software vervangen. Daarvoor biedt Red Hat OpenShift AI een omgeving die dataverzameling en -voorbereiding, modeltraining en -finetuning, modellevering en -monitoring mogelijk maakt.
Retrieval Augmented Generation
In de AI-wereld kunnen techleveranciers wat dat betreft niet zonder elkaar. Daar zijn veel leveranciers elkaar de laatste tijd aan het vinden. Waar alle partijen de afgelopen maanden ook veel aandacht aan besteden als het gaat om AI, is het verbeteren van de accuraatheid en betrouwbaarheid van modellen. Vooral bij generatieve AI bleken daar tekortkomingen. Retrieval Augmented Generation, kortweg RAG, wordt gezien als een uitkomst. Door deze techniek is het mogelijk nieuwe informatie toe te voegen waaruit een model kan putten, zodat de output verbetert. Met RAG wordt het eenvoudiger om LLM’s in bedrijfsapplicaties te integreren.
Lees ook ons artikel waarin we uitleggen wat RAG is en hoe het werkt.
Ook bij Red Hat is men bezig meer te doen met RAG. Tijdens de Red Hat Summit kondigt het bedrijf daarvoor een versterkte samenwerking met Elastic aan. Hierdoor wordt Elasticsearch de voorkeurs vector database voor Red Hat OpenShift AI. Dit is met name nuttig voor ontwikkelaars die de Elasticsearch Relevance Engine gebruiken, die over vector search en transformer models beschikt. De ontwikkelaar kan zo search-opties bouwen met daarin bedrijfsdata en meer betrouwbare generatieve AI naar software brengen.
Red Hat laat met de samenwerking rond RAG, maar ook met de nieuwe mogelijkheden voor Red Hat OpenShift AI en de hernieuwde samenwerkingen met chipfabrikanten zien dat het werk maakt van AI. De open source-speler wil precies daar zijn waar bedrijven zijn in hun AI-adoptie. Op die manier kan iedere organisatie het potentieel van AI benutten.