Här är Sveriges bästa mediebevakare

av Emanuel Karlsten den april 8, 2014

i Medier och internet

Nu är det klart. Det första stora testet av Sveriges mediebevakare. Redan i september 2013 började jakten. Och nu, efter ett drygt halvår och generöst med tid för alla att vara med, är vi i mål. Vi har utsett Sveriges bästa mediebevakare.

Bakgrund

Organisationen Ung Cancer ville ha en mediebevakare, men var osäkra på vilken som var bäst. Jag har länge velat göra en jämförelse mellan de olika och jag såg nu det här som ett bra tillfälle att både hjälpa Ung Cancer, mig själv och omvärlden till insikt. Vem är Sveriges bästa mediebevakare? Deltagarna skulle vara baserade i Sverige, ha en svensk representant och ha fokus på den svenska marknaden och språket. Jag och Ung Cancers redaktör Ingrid Lord identifierade de största aktörerna och  var noga med att låta alla aktörer vara överens om villkoren för testet och gav generöst med tid (fyra månader) för att alla skulle känna sig bekväma och hinna förankra allt. Resultatet blev att alla de stora aktörerna var med i testet:

Retriever
Aitellu
Newsmachine
Opoint (bytte under testets gång namn från Infopaq)
Meltwater
Talkwalker
Lissly
Connycom 

Endast två av de tillfrågade backade ur, Notified (som hänvisade till tidsbrist – trots totalt fyra månaders förberedelse) och Cision (vars huvudprodukt inte är omvärldsbevakning).

Kriterierna för testet

Efter överläggning med alla mediebevakare kom vi överens om att följande tre punkter skulle bedömas:
1) Kvantitet
Enligt en lista på sökord skulle vi mäta kvantiteten på det som kommer in. För att också avgöra om det var relevanta träffar skulle vi använda stickprovskontroller. Det skulle göras 100 tester per sökord för att säkerställa att det inte var dubletter, fel språk eller bom. Utöver stickprov skulle det också det också göras en relativ mätning. Om ett verktyg visar många fler träffar på ett sökord än ett annat verktyg ska det granskas och jämföras för att säkerställa att det inte blir irrelevanta träffar.
2) Kvalitet
På några sökord skulle vi göra en kvalitativ undersökning. Här skulle varje träff att granskas för att säkerställa att det är rätt och relevant. På så sätt skulle vi få en säkerställd siffra att mäta resultatet på.
3) Förädlingen
En sista, viktig och väldigt subjektiv mätning blir hur vi kunde uppfatta verktygets möjlighet att förädla datan. Data är en sak, men det är när det sätts i perspektiv och blir till nytta för oss som den blir verkligt värdefull. Här skulle vi bedöma allt från bemötande och användarvänlighet till vilka insikter vi kunde få om vårt varumärke via verktyget.
Vi valde till sist sex sökord att göra mätningen på. Två av dessa, ”alkohol + cancer” och ”kolla pungen”, valdes bort till slutsammanställningen då dessa inte gav något ytterligare värde inför bedömningen.
Sökorden vi mätte på var Ung Cancer, Fuck cancer, Julia Mjörnstedt, Cancer.
Alla träffar skulle vara på svenska, eller komma från svenska konton. Vi tillät retweets och vi tillät även verktygen att räkna in träffar från Ung Cancer själva. Alla övriga träffar räknades som irrelevanta.
Sökperioden pågick under en månad, mellan 9 december 2013 och 8 januari 2014.

Resultat

I graferna nedan är träffarna uppdelade i olika kategorier, enligt följande:

Forum – alla typer av svenska forum, exempelvis Flashback eller familjeliv. 
Nyheter – nyhetssajter, tidningar, tv, radio, pressmeddelanden. 
Microblog –  allra mest Twitter
Bild – både rörligt och stillbild från allra mest Instagram, men också Flickr och Youtube.
Social network – communities som Facebook och Google plus.
Blogg – alla bloggplattformar, här ryms också kommentarer.

Fuck Cancer

Fuck cancer är ett kampanjord som förknippas med Ung Cancer – inte minst på grund av organisationens populära armband. Samtidigt är det ett ord som används flitigt internationellt. Därför var det ett bra ord att använda för att se hur de olika verktygen kunde hålla isär språken i träffarna. Vi tillät i testet alla sorters ändelser på Fuck cancer och även ordet ihopskrivet.

fuckcancertraff

Det är jämnt här mellan fyra verktyg. Opoint landar på 3054 träffar, Lissly på 2838, Connycom 2763 och Retriever på 2774. Opoint ligger något högre, mest beroende på fler antal bildträffar. Men bland bildträffarna i Opoint finns också dubbelträffar vid en närmare granskning. I övrigt skiljer inte mycket åt dessa aktörer. Meltwater och Talkwalker indexerar inte träffar från Instagram, varför de halkar efter. Varför Aitellu och Newsmatcher spelar i egen liga förklaras här:

fuckcancerfel

Eftersom Fuck cancer genererar så många träffar har vi inte gjort en koll på samtliga, utan gjort stickprov. Det kan tyckas futtigt, men ger ändå en grov fingervisning. Det går här alltså inte att utse någon vinnare eller förlorare, men här går det att få en förståelse varför Aitellu och Newsmachine har så enormt många fler träffar än de andra: det handlar felträffar. Varken Newsmachine eller Aitellus verktyg klarar av språkfiltrering. Därför får vi i Newsmachines fall med alla engelska träffar från Twitter, och i Aitellus fall alla engelska träffar från Instagram.

I övrigt nollar både Lissly och Connycom i stickprovet och Opoint levererar sämst – även om det bara är totalt 8 av 100.


Cancer
Cancer är ett stort ord att omvärldsbevaka. Vi ville ha med det för att testa verktygens kapacitet och se hur skillnaderna blir på riktigt stor skala. Det visade sig ganska snabbt att det verkligen kastade om. Vi tillät alla ändelser av ordet cancer räknas som träffar och vi tillät det också vara mitt i ett ord, som till exempel lungcancer. Vi ville helt enkelt veta allt som skrevs i Sverige om ordet.

cancerreal2

Än en gång lever Aitellu och Newsmachine i en egen värld på grund av bristen i språkfiltrering. I övrigt är det bara Retriever, Talkwalker, Opoint och Meltwater som lyckats få med orden där ”cancer” är en del av ordet.  Det är därför dessa verktyg rycker ifrån övriga. Här är det också tydligt hur framförallt Opoint och Retriver är bättre än övriga på nyheter.

Den här mätningen var svajigast, cancer är ett svårt ord att bevaka. Meltwater tar hem flest träffar, allra mest på grund av Twitter och Facebook. Lissly och Connycom har sämst antal nyhetsträffar på sökordet.

cancerfel

När det handlar om sådana extremt höga sökvolymer som cancer ger blir 100 stickprov en droppe i havet. Även om det säger en del när det gäller Aitellu och Newsmachine – och att Lissly och Retriever får nära noll – säger det inte mycket om övriga sökverktyg. I Connycoms fall är det Twitter som är återkommande fel. I Opoint och Talkwalker handlar det främst om nyheter.


Julia Mjörnstedt
Ung Cancers generalsekreterare Julia Mjörnstedt är aktiv i både debatt och sociala medier. Ett bra sökord att ha med för att se hur det fungerar att filtrera ut en person och få överblick över var och hur hon omnämns. Vi tillät olika ändelser på namnet, men tillät inte träffar där namnet skrevs ihop. Förnamn och efternamn måste båda finnas med.

Detta är ett av två sökord i testet där vi granskat alla inkomna träffar.

juliarealfinal

Meltwater kammar hem flest träffar, följt av Talkwalker. Det är mest beroende på att verktygen är duktigare än de andra på att gallra fram Facebookträffar. Däremot handlar nästan alla dessa träffar om vidaredelningar av en Facebookstatus med Julia namn i.
Retriever och Opoint delar förstaplatsen om flest nyheter. Här blir det tydligt hur avgörande det kan vara att, som dessa verktyg, ha koll på tradtionella medier.

feljulia

Vi har alltså i denna del av testet gått igenom träff för träff för att säkerställa att de är relevanta, varför felträffarna nu blir särskilt intressanta. Meltwater har inga felträffar, liksom Newsmachine. Talkwalker fick med Flickr-träffar utanför sökperioden, varför deras felresultat blir särskilt högt.


Ung Cancer
Den sista och viktigast mätpunkten. Hur och var samtalar man om och med Ung Cancer? Vi tillät nästan alla olika varianter av orden ”Ung Cancer” för att kunna täcka in så mycket som möjligt.

traffuc

Flest träffar fick Lissly, men sedan är det jämnt. Retriever, Connycom, Opoint, Meltwater. Meltwater har – igen – flest Facebookstatusar indexerade och hade antagligen varit vinnare på sökordet om testet hade gjorts efter att de börjat indexera Instagram. Lissly indexerade flest bild- och twitterträffar.

feluc

Vinnaren Lissly hamnar högt upp här, men mest beroende på att de råkat få med ”lUngcancer” i sitt resultat. Opoint fick annars överlägset flest felträffar, mestadels olika bloggträffar, en kategori som de annars skördade fler träffar på än sina konkurrenter. Talkwalker har igen problem med datummärkningen på träffar och indexerade både bloggposter och bilder utanför sökperioden.

Kostnad

Vi bad om en kostnadsuppskattning för vad det skulle kosta att bevaka orden ovan (plus orden ”kolla pungen” och ”alkohol +cancer”), inklusive den support vi fått för att komma igång och andra eventuella kostnader. Många var noga med att påpeka att deras pris ofta är individuellt och att de också ger rabatt till ideella organisationer. Vi bad ändå om att, för testets skull, inte särbehandlas utan ge oss priset det skulle kosta för ett vanligt företag. I de fall vi fick ett månadspris valde vi att räkna upp det till ett årspris.

pris

Här krävs en del förklaring. Retriever och Opoint är de aktörer som i Sverige är tveklöst bäst på traditionell mediebevakning. De bevakar radio, tv och har avtal med många av Sveriges tidningar som gör att man kan få pressklipp och pdf:er på hur det ser ut i tidningen. En slags genväg in bakom alla tidningars betalväggar och prenumerationsmodeller. Det gör också att det blir dyrt. I Opoints fall finns en kostnad som bygger på att ju fler träffar i traditionella medier som radio, tv, print – desto dyrare blir det. Här står sökordet ”cancer” för 80 procent av kostnaden.

I Connycoms fall ingår inte den månadsrapport som vi fick av dem. Det är en fördjupande analys av all den data de samlar in och som man kan beställa separat. Den ligger på 15 000 kronor per rapport.

Flera aktörer har sagt att de ger olika typer av rabatt till ideella organisationer.

Recension verktygen

Aitellu
Sedan testet drog igång har vi haft tre olika kontaktpersoner. Detta har medfört att det har varit rörigt att förstå verktyget och att flera nya sökprofiler har tillkommit, vilket har varit förvirrande. Verktyget har flera fördelar, bland annat att det går att få en tydlig översikt av vilka plattformer som är avsändare. Men verktyget ger en hög andel felträffar. Inte minst på Instagram och Facebook. Vår tredje kontaktperson upptäckte att en del av våra sökprofiler kunde ha gjorts bättre från början och genomförde en del ändringar, vilka vi har – för jämförelsens skull – lagt till i efterhand. Ett minus är att vid sökning på större volymer under en specifik, avgränsad period kommer endast avsändaren upp, inte träffen, vilket innebär att man manuellt måste klicka sig in på varje träff för att se om den är relevant.

Retriever
Det är svårt att slå Retriever när det gäller koll på de traditionella medierna. Det är också svårt att vara utan verktyget om man faktiskt vill ha bäst koll på vad framförallt pressen skriver om vissa sökord. Här får man tydliga pdf:er på hela uppslag för varje träff som hämtas in. Samt kan fritextsöka i alla medier. Det är enkelt att få överblick av träffar i verktyget och tack vare kortare presentationer av varje text, där sökordet syns, går det snabbt att avgöra om en artikel är relevant eller inte. Det är ett minus att verktyget endast hittade två träffar på sociala medier till sökordet Julia Mjörnstedt och att inga twitterträffar kom upp på sökordet Cancer. Detta åtgärdades dock efter testperioden och vi har inkluderat dessa i testet för jämförelsens skull. Det är också ett minus att sociala- och traditionella medier är så tydligt uppdelat. Man måste växla mellan de båda och här krävs så många steg och inställingar att det är lätt att ge upp. Även om grafer försöker göra resultatet tydligt finns mycket kvar att göra när det gäller navigering. Dessutom: Verktyget är näst dyrast i testet.

Meltwater
Testets kanske snabbaste och bästa service. Ett minus att det krävs två olika inlogg för att komma åt tjänstens sociala- och traditionella mediesök. Detta ska dock åtgärdas till sommaren. Minus också att Instagram inte finns med bland källor, även detta kommer ändras. Verktyget är träffsäkert, bäst när det gäller Facebook och var en av de med lägst antal felträffar i testet. Däremot ger träffarna inte en särskilt tydlig överblick i varje artikel och tjänsten är relativt dyr.

Newsmachine
Billigast i klassen och det märks också i produkten. Kan inte riktigt matcha de övriga aktörerna. Trubbigt gränssnitt som saknade bevakning av flera plattformar och framförallt inte klarade av språkfiltrering på Twitter och Instagram. Antingen blev det för många träffar, eller för få. Newsmachine har nu hunnit byta ut sitt verktyg och gränssnitt för sociala medier mot en effektivare variant, enligt de själva.

Opoint
Gamla Infopaq bytte under testets gång namn till Opoint. Verktyget använder Silverbakk som underleverantör för sin sociala medier-bevakning. Snyggt verktyg med ett svåranvänt gränssnitt. Svårt att förstå sig på och använda alla funktioner och också ett ganska långsam verktyg. Har god traditionell medie-bevakning, men visar bara själva artikeln med träff i tidningsuppslaget. På en tidningssida med en notis om Ung Cancer visas alltså bara själva notisen på en i övrigt blank tidningssida. Detta på grund av avtal. Bäst, tillsammans med Meltwater, på att fånga upp Facebookträffar. Dyrast.

Connycom
Satsar hårt på förädlingen. Antagligen den som poängterat det hårdast under testet, hur lite data är värt om man inte gör något av det. Själva verktyget är ganska klumpigt där varje sökord har en egen portalsida med olika funktioner. Connycoms styrka är då istället att uttyda vad kunden kan dra för slutsatser av datan. Deras analysrapport om vår testmånad var kanske det som imponerade mest. En genomgång av all data, vad de utläst om målgruppen och konkreta förslag på hur man både kan gå vidare och bli mer framgångsrik. Rapporten kostar 15 000 kronor och ingår inte i grundpriset.  Arbetar på att skapa en ny, bättre sajt – vilket i så fall blir ytterst välkommet.

Lissly
Testets bästa sajt och gränssnitt. Enkelt, intuitivt och härligt. En inloggning, en startsida, enkla knappar att bocka i, enkelt att lägga in nya sökord. En enkel meny för att fördjupa sig vidare och enkelt att välja specifika datum eller få överblick över de senaste trenderna. Trots att det är ett verktyg som vem som helst kan förstå och använda känns det inte mindre avancerat än dess konkurrenter. Bara enklare att förstå vad man ska med alla funktioner till. Och så är den snabb. Vi saknar däremot en bra Facebookbevakning samt traditionella medie-bevakning.

Talkwalker
Internationell aktör som nu satsar på den svenska marknaden.  Det innebär också att de inte helt hunnit – eller kan? – fininställa allt för Sverige än. Språkfiltrering fungerar relativt bra, men datum sämre. Flera ”gamla” träffar som var irrelevanta för testet. Stort minus att de saknar Instagrambevakning. Annars enkelt gränssnitt, där det mesta – som hos Lissly – kan skötas från en förstasida. Relativt dyrt verktyg. Märklig kuriosa är att verktyget utöver nyheter också bevakar vad som skrivs på webbshoppar i produktbeskrivningarna.

Analys

Att utse Sveriges bäste mediebevakare krävde långt mycket mer arbete än vi kunnat ana. Och det har också gett en inblick i en bransch som är under kraftig förändring och frammarsch. Från att ha handlat om att bara fånga in så många träffar som möjligt handlar det idag mer om vad man ska göra med all information. Här finns en möjlighet för verktyget att hitta nya affärer – erbjuda relevanta webblösningar som kan skräddarsys utifrån all den information som finns om deras presumtiva kunder.
Fortfarande handlar dock verktygen mycket om att ge en statistisk överblick av senaste nytt och möjligheten att klicka dig fram till vad som sagts. Kanske hade man hoppats på ännu smartare verktyg som ännu tydligare hade visat vilka som var de viktigaste statusarna, bloggposterna under en bevakningsperiod, för att lättare kunna prioritera läsningen.

Generellt sätt är vi förvånade över hur svåranvända många verktyg var. Eller hur uppdelade. Att man fortfarande kräver olika inlogg till olika delar av sajten, eller hur otydliga gränssnitten var. Här framstår verkligen Lissly som fristad i jämförelse, med sitt enkla och tydliga gränssnitt.

Den andra insikten är hur viktiga de traditionella medierna ändå är för omvärldsbevakningen. Och hur svårslagen Retriever då är, främst på grund av sina avtal med tidningar.

Och om användargränssnitt, förädling och kvalitativ bevakning är det som vägt tyngst är det just Retriver och Lissly som det står mellan.

Retriever var förvånansvärt starka i sin totala omvärldsbevakning och levererade toppresultat i alla våra undersökningar. De hade heller inte särskilt många felträffar. Väg det tillsammans med dess unika position när det gäller bevakning av traditionella medier och de borde vara svårslagna.
Men det förhållandevis höga priset och det svåra gränssnittet tar ner det. Rejält. Och visst: Smakar det så kostar det, men här blir nästa steg avgörande – vad kan man göra med datan? Och Retriever är inte helt lätt att använda. Det är säkert till viss del en vanefråga, men verktyget känns gammeldags, daterat. Det är många rullgardinsmenyer och fält som ska klickas i innan man får fram de specifika siffror man vill ha. Grafer finns, länkar är klickbara, men det är ändå inte intuitivt.

Därför blir vår testvinnare: Lissly

För ingen annan på marknaden levererar en tjänst som är lika intuitiv. Para det med ett av testets bästa träffresultat på våra viktigaste sökord och ett av testets bästa priser och vinnaren blir självklar. Vi skulle önska bättre Facebookbevakning, men tror att en leverantör som skapat en så framåtlutad tjänst också kommer vara den som bäst lyckas hänga på i till exempel Facebooks nyckfulla utveckling och skapa en bättre bevakning även där. Vi har inte hittat en tjänst som känns mer gedigen i detaljerna och som ger oss mer valuta för pengarna, varför Lissly är Sveriges bästa mediebevakare.

I redaktionen:
Emanuel Karlsten
Ingrid Lord, redaktör Ung Cancer

Här kan du se alla siffror som ligger som underlag för testet.

  • Jerker S

    Stort tack för ett gediget och bra test. Ska omgående kolla in Lissly.

  • Mattias Wihlgaard

    Bra timing Emanuel, står precis inför en ny upphandling! Använder Mynewsdesk idag som även erbjuder enklare omvärldsbevakning, hur har dina tankar gått när det gäller just dem?

    • Emanuel Karlsten

      Vi ville mäta de renodlade och framförallt bästa mediebevakningsverktygen. Precis som du säger har mynewsdesk en enklare omvärldsbevakning, lite i stil med det Cision har.

  • Hej!

    Först och främst, tack för en bra undersökning. Kul att få chansen att delta! Sara Ryman hos oss, som administrerade testkontot, tyckte att det var en rolig utmaning och ett kul initiativ. Vi konstaterar också att det är ett stort jobb ni har gjort.

    Det är glädjande att se att ni har tagit in många olika aspekter i er bedömning så som kvantitet, kvalitet, användarvänlighet (design) etc i er bedömning. När det kommer till användarvänligheten så har vi tillsatt Daniel Jansson som kommer att jobba hårt med att lyfta gränssnittet och skapa en ännu bättre integration mellan redaktionellt och socialt innehåll.

    Vi ser fram emot att få dela med oss av vår progression framöver.

    • Emanuel Karlsten

      Tack, ser fram emot det!

  • Pingback: mplusm – pr-byrå i Öresundsregionen – Verktyg för omvärldsbevakning()

  • Pingback: Lissly bäst i Sverige! | Lissly()

  • Robin

    Vad tråkigt att inte Notified var med. Har hört mycket gott om dem.

    • Emanuel Karlsten

      Ja, tråkigt, men mest för de själva. De hade alla möjligheter att vara med, som jag skrev till Konrad i kommentaren här ovan.

  • Leyla

    Hej Emanuel & Ingrid, tack för mycket matnyttig information kring mediebevakare.

    Har ni planer på att utföra ett liknande test för social media management verktyg? I så fall skulle vi på Komfo vara mycket intresserade av att delta för att benchmarka oss mot kolleger i branschen. Hör gärna av er till mig i sådana fall. Bästa hälsningar, Leyla (lek@komfo.com)

    • Emanuel Karlsten

      Hej, nej inte i nuläget.

  • Bra test! Hade dock varit kul ifall Notified hade varit med på ett hörn, men i övrigt riktigt bra!

    • Emanuel Karlsten

      Ja, och det finns egentligen inget bra skäl till att de inte är med. De hade tre-fyra månaders förberedelse på sig, men menade ändå att det var för lite tid. Min enda slutsats är att de var rädda för konkurrensen och resultatet.

      • De var tråkigt, det är ju trots allt ett populärt verktyg.

  • Pingback: Mediebevakare, offentlig amning och Twitters nya utseende | evelinaander.se()

  • Pingback: En snabb sammanfattning av Twitters alla nya funktioner  | Helen Alfvegren()

  • Jag vill också tacka för att ni tog er tid och energi att genomföra denna undersökning. Gediget och ordentligt genomfört, vi på Lissly instämmer i hyllningskören! Sen är det riktigt kul att få vinna naturligtvis, vi firade rejält igår! Det känns som ett SM-guld! :)

    Vi kommer fortsätta att ständigt utveckla verktyget i allmänhet och förbättra Facebooks nyckfulla data i synnerhet. Jag måste även poängtera att vi har traditionell webb-mediebevakning som en tilläggstjänst man enkelt kan slå på.

    Alla är givetvis välkomna att testa på Lissly gratis för bilda sin egen uppfattning, kontakta oss på valfritt sätt!

    Bästa hälsningar
    Ivar, VD Lissly

  • Jakob F

    Frågan är om jag skall dra detta vidare till det undersökningsverktyg jag använder (inte testvinnaren) och fråga dem om varför jag inte borde byta…

    • Jakob F

      självklart skulle jag skriva bevakningsverktyg och inte undersökningsverktyg.

  • Simon W

    Äntligen. Skönt med ett så utförligt och utmärkt test! Har abonnerat på flera av bevakarna som nämns och flera av dem är komplicerade, dyra, håller inte vad de lovar samt har en kundtjänst som är katastrof. Jag har länge letat efter ett verktyg där jag kan hantera och förstå informationen som finns inom det sociala och kommer nu kolla på Lissly och se om de kanske har en annan bättre approach.

    • Emanuel Karlsten

      Kul! Blir spännande att höra om din upplevelse.

  • Pingback: Lissly Newsletter: Spring 14′ | Lissly()

  • mögel i hus it´s really Interesting to see … thank you it’s well done :)

  • aqua

    sökordsoptimering Interesting to see … thank you it’s well done article:)

  • Pingback: Lissly toppar test av mediebevakningstjänster | Intellecta Corporate()

  • Pingback: PR- Verktyg för att synas | Ingrid Sjöberg - Fotograf och Skribent()

Previous post:

Next post: