Maskininlärning kan föra med sig stora vinster – som att effektivisera försäljningen, spåra bedrägerier, möjliggöra nya finansiella modeller eller att förutse underhållet av utrustningen.

Men dikeskörningar kan få den mest glödande entusiasm att falna. Vår amerikanska systertidning Infoworld har låtit företag dela med sig av de misstag som de gjort på vägen, här är några av dem.

Första läxan: Undvik att utgå från felaktiga antaganden

Project PSA som bygger mjukvara för automatisering som stöttar konsultbolag använde maskininlärning för att förbättra bemanningsplaneringen.

Det är viktigt för konsultföretag att deras specialiserade konsulter använder sin kompetens på ett effektivt sätt och det är projektledarens uppgift att bedöma hur deras projekt behöver bemannas.

I efterhand tittar de på hur mycket tid som konsulterna i verkligheten använt i varje enskilt projekt för att fakturera sina kunder för den.

Men om man lägger in båda dessa saker i ett enda automatiseringsverktyg så blir det möjligt att jämföra hur väl olika projektledare lyckas pricka in sin planering.

Projector PSA började bygga modeller på ett av sina kundföretag som hade hundratals projektledare. Man jämförde variationen – hur många timmar som arbetades jämfört med hur många arbetstimmar som planerades. Men man jämförde också föränderligheten ­– hur konsekvent planeringen var över tid.

Alltså – om prognosen en vecka var för hög men nästa vecka var för låg så innebar det hög föränderlighet. Men man ville också se om det över tid tog ut varandra så att det i genomsnitt blev lite skillnad, en låg variation.

Ingångspremissen var att det var bra om båda värdena – variation och föränderlighet – var låga och algoritmen byggdes efter det. Algoritmen kategoriserade projektledarna i grupper som ”hamstrare” och ”optimister” och övades upp med data från ett stickprov av projektledarna på företaget.

När algoritmen sedan skulle klassificera resten av projektledarna baserat på vad den lärt sig klassades några av företagets mest erfarna projektledare som de sämsta – eftersom de hade hög variation och föränderlighet i sin bemanningsplanering.

Men sanningen var att det var de projektledarna som fått ta hand om projekt som redan hade problem för att rädda dem.

En annan projektledare rankades högt för att hon låg nästan exakt rätt i sin planering, noll variation och föränderlighet. Där visade det sig att hon skickade ut det antal timmar som hon planerat in till sitt team med en underförstådd förväntan att de skulle rapportera in de timmarna som de timmar de hade jobbat. Det innebar att hon alltid låg exakt på budget men samtidigt uppmuntrade sitt team att agera på ett sätt som inte var bra för företaget.

– Misstagen orsakades inte av maskininlärningsalgoritmerna utan snarare av de antaganden vi tränat dem efter. De härstammade också från att vi initialt endast förlitade oss på data utan att ha tillräcklig förståelse för den verklighet som uppgifterna representerade, säger Steve Chong, operativ chef på Projector PSA.

Andra läxan: Håll koll på maskininlärningen

Det brasilianska företaget Major Trato, som sysslar med finansiella tjänster, började använda sig av maskininlärning som stöd på sin hr-avdelning.

En del i projektet var att låta personer som sökte jobb på företaget svara på ett antal frågor i livechattar och samtal där man använde chattbottar som man utvecklade internt.

Två viktiga saker gick fel. Det ena var att jobbkandidaterna ombads fylla i helt fel formulär som inte passade deras profiler. Det andra var att intervjuerna gjordes vid tillfällen då de överlappade med interna möten på hr-avdelningen vilket innebar att bottarna inte övervakades.

Under de första veckorna höll några från hr-teamet koll på konversationerna för att kunna gå in och rätta bottarna när det behövdes. Men sedan gjorde man misstaget att tro att problemen var lösta och släppte övervakningen av dem.

Resultatet av att inte bottarna finjusterades blev att runt 10 procent av de data som samlades in inte var korrekt. Och även om det förbättras över tid till att nå 99 procent korrekta data så är läxan tydlig – släpp inte bottarna utan övervaka dem i ett par månader minst.

Tredje läxan: Se upp för dålig datamärkning

Två systerföretag i Ryssland – Ashmanov Neural Networks och Sova, Smart Open Virtual Assistant – utvecklar maskininlärningstjänster för sina företagskunder. De inkluderar videoanalys, nlp – programmering i naturligt språk och neurala nätverk.

Ett av de största problemen de två företagen haft är kopplat till dåliga data.

– Det är nästan omöjligt att tillhandahålla datamärkning av hög kvalitet, säger Stanislav Ashmanov, vd för de båda företagen.

Orsakerna till det är att de som sysslar med märkningen är stressade och det dessutom är det oerhört svårt att föra vidare uppgifterna så att alla förstår dem på samma sätt framhåller han.

Datainsamling är en annan utmaning, det kan ta flera månader. Och data från publika källor, som på internet exempelvis, återspeglar inte alltid verkligheten på ett adekvat sätt. Det kan handla om att bilder som tagits i en studio eller i ett labb är helt annorlunda än bilder tagna ute på gatan eller på en fabrik. Det leder till att det neurala nätverket lyckas dåligt.

En gång testade de två företagen att träna ett neuralt nätverk i att identifiera glasögon i selfies som lagts ut på nätet. De samlade ett antal foton från sociala medier men det neurala nätverket misslyckades eftersom det tolkade mörka ringar under ögonen som glasögon.

En annan uppgift var att markera bilar i två satellitbilder över en stad, lära det neurala nätverket att känna igen dem och uppskatta antalet. Men i det fallet tolkades avsatser på tak som bilar eftersom de var små och fyrkantiga.

I grunden handlar det om sådant som att arbeta noggrant med marginalfall, skapa heuristik – som arbetar efter erfarenheter – och att förbättra bearbetningen av preliminära data konstaterar Sergey Ashmanov.

Fjärde läxan: Överskatta inte förmågan

Amerikanska Casepoint arbetar med teknik för juridikbranschen och använder maskininlärning för att klassificera dokument och för prediktiv analys.

Men även om det är effektivt att använda sig av maskininlärning för klassificering så fungerar det inte alltid utan problem. En svaghet som företaget har märkt är att det finns en övertro på maskininlärningens förmåga att klara mer intrikata klassificeringar.

Bland jurister i USA är det vanligt att den ena parten frågar efter dokument som är relaterade till ett visst ämne och den andra parten då använder sig av maskininlärningens klassificering för att snabbt hitta de dokument som är relevanta. Det fungerar så bra att juridiska ombud börjat använda sig rutinmässigt av tekniken för att plocka fram dokument.

– Framgången leder till att man blint vill använda maskininlärningsklassificeringar av dokument för mer subtila och nyanserade klassificeringar – som att identifiera vilka dokument som är belagda med tystnadsplikt, säger David Carns, strategichef på Casepoint.

Visst kan man med maskininlärning identifiera och kategorisera dokument som bör omfattas av tystnadsplikt men jurister bör inte lita till att låta maskininlärningen göra bedömningen helt och hållet.

Läs också: 
Det här är AI och så funkar det
Hur mycket AI är lagom? Försäkringskassan utforskar möjligheter och risker
Svenska Furhat tar nästa kliv – nu börjar den sociala roboten säljas