Här är Sveriges bästa mediebevakare

Nu är det klart. Det första stora testet av Sveriges mediebevakare. Redan i september 2013 började jakten. Och nu, efter ett drygt halvår och generöst med tid för alla att vara med, är vi i mål. Vi har utsett Sveriges bästa mediebevakare.

Bakgrund

Organisationen Ung Cancer ville ha en mediebevakare, men var osäkra på vilken som var bäst. Jag har länge velat göra en jämförelse mellan de olika och jag såg nu det här som ett bra tillfälle att både hjälpa Ung Cancer, mig själv och omvärlden till insikt. Vem är Sveriges bästa mediebevakare? Deltagarna skulle vara baserade i Sverige, ha en svensk representant och ha fokus på den svenska marknaden och språket. Jag och Ung Cancers redaktör Ingrid Lord identifierade de största aktörerna och  var noga med att låta alla aktörer vara överens om villkoren för testet och gav generöst med tid (fyra månader) för att alla skulle känna sig bekväma och hinna förankra allt. Resultatet blev att alla de stora aktörerna var med i testet:

Retriever
Aitellu
Newsmachine
Opoint (bytte under testets gång namn från Infopaq)
Meltwater
Talkwalker
Lissly
Connycom 

Endast två av de tillfrågade backade ur, Notified (som hänvisade till tidsbrist – trots totalt fyra månaders förberedelse) och Cision (vars huvudprodukt inte är omvärldsbevakning).

Kriterierna för testet

Resultat

I graferna nedan är träffarna uppdelade i olika kategorier, enligt följande:

Forum – alla typer av svenska forum, exempelvis Flashback eller familjeliv. 
Nyheter – nyhetssajter, tidningar, tv, radio, pressmeddelanden. 
Microblog –  allra mest Twitter
Bild – både rörligt och stillbild från allra mest Instagram, men också Flickr och Youtube.
Social network – communities som Facebook och Google plus.
Blogg – alla bloggplattformar, här ryms också kommentarer.

Fuck Cancer

Fuck cancer är ett kampanjord som förknippas med Ung Cancer – inte minst på grund av organisationens populära armband. Samtidigt är det ett ord som används flitigt internationellt. Därför var det ett bra ord att använda för att se hur de olika verktygen kunde hålla isär språken i träffarna. Vi tillät i testet alla sorters ändelser på Fuck cancer och även ordet ihopskrivet.

Det är jämnt här mellan fyra verktyg. Opoint landar på 3054 träffar, Lissly på 2838, Connycom 2763 och Retriever på 2774. Opoint ligger något högre, mest beroende på fler antal bildträffar. Men bland bildträffarna i Opoint finns också dubbelträffar vid en närmare granskning. I övrigt skiljer inte mycket åt dessa aktörer. Meltwater och Talkwalker indexerar inte träffar från Instagram, varför de halkar efter. Varför Aitellu och Newsmatcher spelar i egen liga förklaras här:

Eftersom Fuck cancer genererar så många träffar har vi inte gjort en koll på samtliga, utan gjort stickprov. Det kan tyckas futtigt, men ger ändå en grov fingervisning. Det går här alltså inte att utse någon vinnare eller förlorare, men här går det att få en förståelse varför Aitellu och Newsmachine har så enormt många fler träffar än de andra: det handlar felträffar. Varken Newsmachine eller Aitellus verktyg klarar av språkfiltrering. Därför får vi i Newsmachines fall med alla engelska träffar från Twitter, och i Aitellus fall alla engelska träffar från Instagram.

I övrigt nollar både Lissly och Connycom i stickprovet och Opoint levererar sämst – även om det bara är totalt 8 av 100.

Cancer
Cancer är ett stort ord att omvärldsbevaka. Vi ville ha med det för att testa verktygens kapacitet och se hur skillnaderna blir på riktigt stor skala. Det visade sig ganska snabbt att det verkligen kastade om. Vi tillät alla ändelser av ordet cancer räknas som träffar och vi tillät det också vara mitt i ett ord, som till exempel lungcancer. Vi ville helt enkelt veta allt som skrevs i Sverige om ordet.

Än en gång lever Aitellu och Newsmachine i en egen värld på grund av bristen i språkfiltrering. I övrigt är det bara Retriever, Talkwalker, Opoint och Meltwater som lyckats få med orden där ”cancer” är en del av ordet.  Det är därför dessa verktyg rycker ifrån övriga. Här är det också tydligt hur framförallt Opoint och Retriver är bättre än övriga på nyheter.

Den här mätningen var svajigast, cancer är ett svårt ord att bevaka. Meltwater tar hem flest träffar, allra mest på grund av Twitter och Facebook. Lissly och Connycom har sämst antal nyhetsträffar på sökordet.

När det handlar om sådana extremt höga sökvolymer som cancer ger blir 100 stickprov en droppe i havet. Även om det säger en del när det gäller Aitellu och Newsmachine – och att Lissly och Retriever får nära noll – säger det inte mycket om övriga sökverktyg. I Connycoms fall är det Twitter som är återkommande fel. I Opoint och Talkwalker handlar det främst om nyheter.

Julia Mjörnstedt
Ung Cancers generalsekreterare Julia Mjörnstedt är aktiv i både debatt och sociala medier. Ett bra sökord att ha med för att se hur det fungerar att filtrera ut en person och få överblick över var och hur hon omnämns. Vi tillät olika ändelser på namnet, men tillät inte träffar där namnet skrevs ihop. Förnamn och efternamn måste båda finnas med.

Detta är ett av två sökord i testet där vi granskat alla inkomna träffar.

Meltwater kammar hem flest träffar, följt av Talkwalker. Det är mest beroende på att verktygen är duktigare än de andra på att gallra fram Facebookträffar. Däremot handlar nästan alla dessa träffar om vidaredelningar av en Facebookstatus med Julia namn i.
Retriever och Opoint delar förstaplatsen om flest nyheter. Här blir det tydligt hur avgörande det kan vara att, som dessa verktyg, ha koll på tradtionella medier.

Vi har alltså i denna del av testet gått igenom träff för träff för att säkerställa att de är relevanta, varför felträffarna nu blir särskilt intressanta. Meltwater har inga felträffar, liksom Newsmachine. Talkwalker fick med Flickr-träffar utanför sökperioden, varför deras felresultat blir särskilt högt.

Ung Cancer
Den sista och viktigast mätpunkten. Hur och var samtalar man om och med Ung Cancer? Vi tillät nästan alla olika varianter av orden ”Ung Cancer” för att kunna täcka in så mycket som möjligt.

Flest träffar fick Lissly, men sedan är det jämnt. Retriever, Connycom, Opoint, Meltwater. Meltwater har – igen – flest Facebookstatusar indexerade och hade antagligen varit vinnare på sökordet om testet hade gjorts efter att de börjat indexera Instagram. Lissly indexerade flest bild- och twitterträffar.

Vinnaren Lissly hamnar högt upp här, men mest beroende på att de råkat få med ”lUngcancer” i sitt resultat. Opoint fick annars överlägset flest felträffar, mestadels olika bloggträffar, en kategori som de annars skördade fler träffar på än sina konkurrenter. Talkwalker har igen problem med datummärkningen på träffar och indexerade både bloggposter och bilder utanför sökperioden.

Kostnad

Vi bad om en kostnadsuppskattning för vad det skulle kosta att bevaka orden ovan (plus orden ”kolla pungen” och ”alkohol +cancer”), inklusive den support vi fått för att komma igång och andra eventuella kostnader. Många var noga med att påpeka att deras pris ofta är individuellt och att de också ger rabatt till ideella organisationer. Vi bad ändå om att, för testets skull, inte särbehandlas utan ge oss priset det skulle kosta för ett vanligt företag. I de fall vi fick ett månadspris valde vi att räkna upp det till ett årspris.

Här krävs en del förklaring. Retriever och Opoint är de aktörer som i Sverige är tveklöst bäst på traditionell mediebevakning. De bevakar radio, tv och har avtal med många av Sveriges tidningar som gör att man kan få pressklipp och pdf:er på hur det ser ut i tidningen. En slags genväg in bakom alla tidningars betalväggar och prenumerationsmodeller. Det gör också att det blir dyrt. I Opoints fall finns en kostnad som bygger på att ju fler träffar i traditionella medier som radio, tv, print – desto dyrare blir det. Här står sökordet ”cancer” för 80 procent av kostnaden.

I Connycoms fall ingår inte den månadsrapport som vi fick av dem. Det är en fördjupande analys av all den data de samlar in och som man kan beställa separat. Den ligger på 15 000 kronor per rapport.

Flera aktörer har sagt att de ger olika typer av rabatt till ideella organisationer.

Recension verktygen

Aitellu
Sedan testet drog igång har vi haft tre olika kontaktpersoner. Detta har medfört att det har varit rörigt att förstå verktyget och att flera nya sökprofiler har tillkommit, vilket har varit förvirrande. Verktyget har flera fördelar, bland annat att det går att få en tydlig översikt av vilka plattformer som är avsändare. Men verktyget ger en hög andel felträffar. Inte minst på Instagram och Facebook. Vår tredje kontaktperson upptäckte att en del av våra sökprofiler kunde ha gjorts bättre från början och genomförde en del ändringar, vilka vi har – för jämförelsens skull – lagt till i efterhand. Ett minus är att vid sökning på större volymer under en specifik, avgränsad period kommer endast avsändaren upp, inte träffen, vilket innebär att man manuellt måste klicka sig in på varje träff för att se om den är relevant.

Retriever
Det är svårt att slå Retriever när det gäller koll på de traditionella medierna. Det är också svårt att vara utan verktyget om man faktiskt vill ha bäst koll på vad framförallt pressen skriver om vissa sökord. Här får man tydliga pdf:er på hela uppslag för varje träff som hämtas in. Samt kan fritextsöka i alla medier. Det är enkelt att få överblick av träffar i verktyget och tack vare kortare presentationer av varje text, där sökordet syns, går det snabbt att avgöra om en artikel är relevant eller inte. Det är ett minus att verktyget endast hittade två träffar på sociala medier till sökordet Julia Mjörnstedt och att inga twitterträffar kom upp på sökordet Cancer. Detta åtgärdades dock efter testperioden och vi har inkluderat dessa i testet för jämförelsens skull. Det är också ett minus att sociala- och traditionella medier är så tydligt uppdelat. Man måste växla mellan de båda och här krävs så många steg och inställingar att det är lätt att ge upp. Även om grafer försöker göra resultatet tydligt finns mycket kvar att göra när det gäller navigering. Dessutom: Verktyget är näst dyrast i testet.

Meltwater
Testets kanske snabbaste och bästa service. Ett minus att det krävs två olika inlogg för att komma åt tjänstens sociala- och traditionella mediesök. Detta ska dock åtgärdas till sommaren. Minus också att Instagram inte finns med bland källor, även detta kommer ändras. Verktyget är träffsäkert, bäst när det gäller Facebook och var en av de med lägst antal felträffar i testet. Däremot ger träffarna inte en särskilt tydlig överblick i varje artikel och tjänsten är relativt dyr.

Newsmachine
Billigast i klassen och det märks också i produkten. Kan inte riktigt matcha de övriga aktörerna. Trubbigt gränssnitt som saknade bevakning av flera plattformar och framförallt inte klarade av språkfiltrering på Twitter och Instagram. Antingen blev det för många träffar, eller för få. Newsmachine har nu hunnit byta ut sitt verktyg och gränssnitt för sociala medier mot en effektivare variant, enligt de själva.

Opoint
Gamla Infopaq bytte under testets gång namn till Opoint. Verktyget använder Silverbakk som underleverantör för sin sociala medier-bevakning. Snyggt verktyg med ett svåranvänt gränssnitt. Svårt att förstå sig på och använda alla funktioner och också ett ganska långsam verktyg. Har god traditionell medie-bevakning, men visar bara själva artikeln med träff i tidningsuppslaget. På en tidningssida med en notis om Ung Cancer visas alltså bara själva notisen på en i övrigt blank tidningssida. Detta på grund av avtal. Bäst, tillsammans med Meltwater, på att fånga upp Facebookträffar. Dyrast.

Connycom
Satsar hårt på förädlingen. Antagligen den som poängterat det hårdast under testet, hur lite data är värt om man inte gör något av det. Själva verktyget är ganska klumpigt där varje sökord har en egen portalsida med olika funktioner. Connycoms styrka är då istället att uttyda vad kunden kan dra för slutsatser av datan. Deras analysrapport om vår testmånad var kanske det som imponerade mest. En genomgång av all data, vad de utläst om målgruppen och konkreta förslag på hur man både kan gå vidare och bli mer framgångsrik. Rapporten kostar 15 000 kronor och ingår inte i grundpriset.  Arbetar på att skapa en ny, bättre sajt – vilket i så fall blir ytterst välkommet.

Lissly
Testets bästa sajt och gränssnitt. Enkelt, intuitivt och härligt. En inloggning, en startsida, enkla knappar att bocka i, enkelt att lägga in nya sökord. En enkel meny för att fördjupa sig vidare och enkelt att välja specifika datum eller få överblick över de senaste trenderna. Trots att det är ett verktyg som vem som helst kan förstå och använda känns det inte mindre avancerat än dess konkurrenter. Bara enklare att förstå vad man ska med alla funktioner till. Och så är den snabb. Vi saknar däremot en bra Facebookbevakning samt traditionella medie-bevakning.

Talkwalker
Internationell aktör som nu satsar på den svenska marknaden.  Det innebär också att de inte helt hunnit – eller kan? – fininställa allt för Sverige än. Språkfiltrering fungerar relativt bra, men datum sämre. Flera ”gamla” träffar som var irrelevanta för testet. Stort minus att de saknar Instagrambevakning. Annars enkelt gränssnitt, där det mesta – som hos Lissly – kan skötas från en förstasida. Relativt dyrt verktyg. Märklig kuriosa är att verktyget utöver nyheter också bevakar vad som skrivs på webbshoppar i produktbeskrivningarna.

Analys

Att utse Sveriges bäste mediebevakare krävde långt mycket mer arbete än vi kunnat ana. Och det har också gett en inblick i en bransch som är under kraftig förändring och frammarsch. Från att ha handlat om att bara fånga in så många träffar som möjligt handlar det idag mer om vad man ska göra med all information. Här finns en möjlighet för verktyget att hitta nya affärer – erbjuda relevanta webblösningar som kan skräddarsys utifrån all den information som finns om deras presumtiva kunder.
Fortfarande handlar dock verktygen mycket om att ge en statistisk överblick av senaste nytt och möjligheten att klicka dig fram till vad som sagts. Kanske hade man hoppats på ännu smartare verktyg som ännu tydligare hade visat vilka som var de viktigaste statusarna, bloggposterna under en bevakningsperiod, för att lättare kunna prioritera läsningen.

Generellt sätt är vi förvånade över hur svåranvända många verktyg var. Eller hur uppdelade. Att man fortfarande kräver olika inlogg till olika delar av sajten, eller hur otydliga gränssnitten var. Här framstår verkligen Lissly som fristad i jämförelse, med sitt enkla och tydliga gränssnitt.

Den andra insikten är hur viktiga de traditionella medierna ändå är för omvärldsbevakningen. Och hur svårslagen Retriever då är, främst på grund av sina avtal med tidningar.

Och om användargränssnitt, förädling och kvalitativ bevakning är det som vägt tyngst är det just Retriver och Lissly som det står mellan.

Retriever var förvånansvärt starka i sin totala omvärldsbevakning och levererade toppresultat i alla våra undersökningar. De hade heller inte särskilt många felträffar. Väg det tillsammans med dess unika position när det gäller bevakning av traditionella medier och de borde vara svårslagna.
Men det förhållandevis höga priset och det svåra gränssnittet tar ner det. Rejält. Och visst: Smakar det så kostar det, men här blir nästa steg avgörande – vad kan man göra med datan? Och Retriever är inte helt lätt att använda. Det är säkert till viss del en vanefråga, men verktyget känns gammeldags, daterat. Det är många rullgardinsmenyer och fält som ska klickas i innan man får fram de specifika siffror man vill ha. Grafer finns, länkar är klickbara, men det är ändå inte intuitivt.

Därför blir vår testvinnare: Lissly

För ingen annan på marknaden levererar en tjänst som är lika intuitiv. Para det med ett av testets bästa träffresultat på våra viktigaste sökord och ett av testets bästa priser och vinnaren blir självklar. Vi skulle önska bättre Facebookbevakning, men tror att en leverantör som skapat en så framåtlutad tjänst också kommer vara den som bäst lyckas hänga på i till exempel Facebooks nyckfulla utveckling och skapa en bättre bevakning även där. Vi har inte hittat en tjänst som känns mer gedigen i detaljerna och som ger oss mer valuta för pengarna, varför Lissly är Sveriges bästa mediebevakare.

I redaktionen:
Emanuel Karlsten
Ingrid Lord, redaktör Ung Cancer

Här kan du se alla siffror som ligger som underlag för testet.