Uitgevoerde marktverkenning AI/ML software platform voor MKB

 

Inleiding

AI/ML toepassing heeft de afgelopen jaren een grote vlucht genomen. Dat heeft zich vooral in de Enterprise/Corporate wereld afgespeeld of bij specialistische startups/scaleups. Het algemene en brede MKB heeft tot nu toe beperkt geïnvesteerd in de mogelijkheden die AI/ML kan bieden, b.v. in het kader van de digitale transformatie. De afgelopen 2 jaren zijn er verschillende initiatieven gestart om daar wat aan te veranderen. Wij werken regelmatig als R&D partner voor slimme producten en diensten met het MKB. AI/ML krijgt daarin een steeds prominentere rol. Daarom is de vraag ontstaan of er al AI/ML software platforms zijn die effectief bruikbaar zijn voor het MKB.

Afgelopen maand hebben we daarom een marktverkenning uitgevoerd naar een integraal AI/ML platform. Centrale vraag voor die marktoriëntatie was: is er een voor het MKB geschikt AI/ML software platform op de markt, voor snelle applicatieontwikkeling van Computer Vision toepassingen?

Dit verslag geeft de resultaten van die marktoriëntatie weer die we hebben uitgevoerd. Het resultaat kan gebruikt worden voor een eigen (verdere) oriëntatie en/of selectie. Of om een beeld te krijgen van onze competentie en ons in te schakelen voor een casus die u graag wilt laten beoordelen met één van de hieronder genoemde oplossingen, of een andere.

Er is een marktverkenning gemaakt die gebaseerd is op eerdere inzichten en ervaringen. Zo’n 4 jaar geleden hebben we een vergelijkbaar onderzoek verricht, dat is aangevuld met eigen nieuwe inzichten en vakontwikkelingen. In die tijd namen we deel aan het IBM Startup programma en hebben we IBM Watson vergeleken met een aantal andere spelers.

In onderstaande overzicht missen ook vendoren zoals Microsoft Azure ML en AWS. Ik heb met deze verkenning niet de pretentie om volledig te zijn. We hebben een preselectie gemaakt van vendoren die wat dichter bij ons staan o.a. uit de eerdere verkenning.

Kenmerken van AI/ML ontwikkel platform

Het gaat om een end2end platform voor ontwikkeling van ML modellen en applicaties met images en video als input en gericht op het algemene en ook brede Computer Vision toepassingsgebied. Daarmee zijn er ook verschillende andere toepassingsgebieden en mediasoorten nadrukkelijk buiten beschouwing gelaten, zoals: text, geluid, spraak, etc.

Voor de gekozen inzetmogelijkheid is de volgende kern functionaliteit noodzakelijk:

  • Data preparatie
  • Labeling van data handmatig en/of (semi) geautomatiseerd
  • Model learning
  • Model deployment
    • Applicatie integratie zowel Cloud based (API)
    • Edge Computing voor lokale real time inference en Internet onafhankelijkheid tijdens run time

Idealiter zijn de volgende eigenschappen ook aanwezig:

  • Het (business) functiedoel moet resultaat bepalend kunnen zijn i.p.v. specialistische AI/ML kennis van alle verschillende ML modellen die mogelijk geschikt zijn voor het functiedoel
    • Zie onderstaande afbeelding als voorbeeld van functiedoelen

ai ml automl

  • API, Python voorkeur en CPU en NVIDIA GPU hardware support
    • met Intel OpenVINO als mogelijk extra alternatief
  • AutoML heeft een zekere voorkeur met de mogelijkheid om zelf ook custom modellen te kunnen creëren in een later stadium om bredere inzet mogelijk te maken dan CV alleen!

Waarom voorkeur voor AutoML?

AutoML is één van de wat meer recentere ontwikkelingen in ML. AutoML levert een belangrijke bijdrage aan de verlangde eigenschap van deze marktoriëntatie:

“Het (business) functiedoel moet resultaat bepalend kunnen zijn i.p.v. specialistische AI/ML kennis van alle verschillende ML modellen die mogelijk geschikt zijn voor het functiedoel”

Op de Web-site https://www.automl.org, is er dit over te lezen:

“AutoML …

… provides methods and processes to

  • make machine learning more accessible
  • improve efficiency of machine learning systems
  • accelerate research and AI application development

Machine learning (ML) has achieved considerable successes in recent years and an ever-growing number of disciplines rely on it. However, this success crucially relies on human machine learning experts to perform manual tasks. As the complexity of these tasks is often beyond non-ML-experts, the rapid growth of machine learning applications has created a demand for off-the-shelf machine learning methods that can be used easily and without expert knowledge. We call the resulting research area that targets progressive automation of machine learning AutoML.”

Dit alles past prachtig bij de vraagstelling van deze marktoriëntatie. En zoals verderop ook blijkt zijn er 2 oplossingen beschouwd, die het concept van AutoML hebben omarmd.

Werkwijze van marktoriëntatie

De volgende werkwijze is toegepast.

  • Oriëntatie en voorkeursselectie voor een latere proef implementatie in de vorm van een PoC waarvoor maximaal 100 uren budget is van een ervaren business/ICT consultant
  • Door toepassing ervan praktische ervaringen en meer kennis opdoen
  • Evalueren en zo nodig de eerder gemaakte voorkeur herzien

Gedurende deze marktoriëntatie is voor de beschouwde platforms die geen shoot out hadden op prijsstelling (zie ook verderop), een beknopte proef applicatie ontwikkeld. Er is dus niet alleen gekeken naar specificaties op een Web-site, maar ook daadwerkelijk een praktijkresultaat beoordeeld.

Globale voorkeurscriteria

  • 3 hoofd criteria
    1. Betaalbaar voor MKB om te starten met ontwikkeling en deployment (prijsniveau max. €250 / maand)
    2. Is de geschiktheid van de oplossing voldoende?
    3. Laat de leverancier voldoende vertrouwen zien om nu direct toepassingswaarde te bieden, maar ook blijvend te investeren in relatie en technologie als MKB-er?
  • Zonder een gepubliceerde en heldere prijsstelling is er een shoot out van de vendor/de service
  • Deze opstelling is gebaseerd op onze ervaring met product/markt combinatie voor het MKB. In onze ervaring richten alle vendoren zonder gepubliceerde prijsstelling zich direct of indirect op het Enterprise/Corporate segment. Daarmee zijn zij niet het meest interessant voor het MKB.
  • De beschouwing – zie verderop – van alle producten/leveranciers is direct na het eerste criterium gestopt; het wordt immers als een shoot out opgevat!

Overzicht van beschouwde platforms

Er is uitsluitend naar commerciële aanbieders gekeken, ondanks dat er ook interessante (commercial) Open Source producten zijn zoals b.v. auto.gluon.ai. De reden hiervoor is de specifieke MKB doelgroep die met weinig materiekennis, toch AI/ML succesvol wil gaan toepassen in een beperkte tijd en met beperkte AI/ML expertise. Daarvoor zijn naar mijn mening de Open Source platforms op dit moment niet geschikt.

Er wordt bewust niet gesproken over beoordeeld, maar beschouwd. Om een volledige en evenwichtige beoordeling te doen is meer tijd en kennis nodig. Wat in de beperkte opzet van zo’n 60 uren van deze activiteit niet voorhanden was.

  • cnvrg.io
  • Google Vertex AI
  • IBM Watson
  • Chooch.ai
  • Always.ai
  • Viso.ai
  • Clarifai
  • Roboflow
  • Nyckel
  • Edge Impulse

Niet zozeer als end2end AI/ML platforms, maar als aanvullende en/of deeloplossingen, is er ook gekeken naar:

  • NVIDIA Triton Inference Server
  • v7labs
  • Superannotate
  • Labelbox

Deze vallen verder buiten beschouwing; neem s.v.p. contact op als je er meer over wilt weten.

Tot slot is het goed om te melden dat de klassieke Machnie Vision leveranciers zoals MVtec met  Halcon, Adaptive Vision en Matrox ook AI/ML modules aanbieden. Die zijn specialistisch en worden tot nu toe niet opgevat als een end2end AI/ML platform met hiervoor gedefinieerde eigenschappen. Daarom zijn deze buiten beschouwing gelaten.

end2end AI/ML platforms beschouwingen

Product / leverancier Betaalbaar voor MKB? Geschiktheid van de oplossing? Leverancier voldoende vertrouwen? Opmerking
cnvrg.io Nee, shoot out op prijsstelling  
Google Vertex AI Ja Ja Ja Ietwat complexe prijsstelling, hoge kosten voor een managed Cloud API en nog wel de nodige Python integratie noodzakelijk. Client REST API integratie is betrekkelijk eenvoudig.
IBM Watson Ja Ja Nee IBM komt niet langer meer interessant over voor MKB
Chooch.ai Nee, shoot out op prijsstelling  
Always.ai Nee, shoot out op prijsstelling  
Viso.ai Nee, shoot out op prijsstelling  
Clarifai Ja Ja Ja Edge Computing deel is nog niet algemeen beschikbaar waardoor dit onderdeel niet beoordeeld is.
Roboflow Nee, shoot out op prijsstelling  
Nyckel Ja Ja ? Door de kleinschalige en jonge startup status van Nyckel is moeilijk te beoordelen of er als MKB geïnvesteerd moet gaan worden. Dat doet niets af aan hun product dat er interessant uitziet en een hele lage instap drempel heeft!
Edge Impulse Nee, shoot out op prijsstelling  

 

Alleen de groen gemarkeerde vendoren/producten voldoen (geheel of volledig) aan de gestelde criteria. Het globale resultaat van de beschouwing in volgorde van voorkeur:

  1. Google Vertex AI
  2. Clarifai
  3. Nyckel

De snelheid waarmee een proefapplicatie kon worden ontwikkeld (een Image classifier met een eigen getraind model), ziet er als volgt uit met de snelste eerst:

  1. Nyckel
  2. Google Vertex AI (in AutoML modus)
  3. Clarifai

Met de gegeven voorkeur criteria:

  1. Betaalbaar voor MKB om te starten met ontwikkeling en deployment (prijsniveau max. €250 / maand)
  2. Is de geschiktheid van de oplossing voldoende?
  3. Laat de leverancier voldoende vertrouwen zien om nu direct toepassingswaarde te bieden, maar ook blijvend te investeren in relatie en technologie als MKB-er?

is de uiteindelijke rangschikking van voorkeur geworden voor onze toepassing:

  1. Google Vertex AI, met kanttekeningen o.a. vanwege de ietwat complexe prijsstelling en nog te onderzoeken optionele aanvulling van Labelbox en NVIDIA Triton Server voor Edge Computing optimalisatie
  2. Clarifai, heeft z’n Edge Computing deel nog niet algemeen beschikbaar maar verder voldoet het deels aan het ideaal profiel en wordt daarom verder gevolgd
  3. Nyckel, een Y-Combinator startup voor AutoML as a Service, simpel, krachtig, betaalbaar, alleen nu geen geen Edge Computing mogelijk, met nog onzekerheid over bestaansbasis in het stevige krachtenveld van grote(re) AI/ML leveranciers.

Tot slot

Onze eerste AI/ML applicatie voor het MKB, wordt ontwikkeld m.b.v. Google Vertex AI. Aanvullend gaan we nog onderzoeken welke waarde Labelbox biedt voor data preparatie en op welke manier we zelf Edge Computing kunnen realiseren via het exporteren van Tensor Flow saved model. Daarover over enkele maanden meer.

Dit verslag geeft de resultaten van een marktoriëntatie die we hebben uitgevoerd in December 2021. Neem s.v.p. contact op als je er meer over wilt weten of een AI/ML vraagstuk met ons wilt bespreken.

Interessant?

 

Like it?

Share it!