Co testowaliśmy
Przeprowadziliśmy pomiar widoczności dla marki, która nie istnieje. Bez strony, bez klientów, bez publikacji - nazwa wymyślona na potrzeby testu. Spodziewany wynik to zero: model nie może wymienić firmy, której nigdy nie spotkał.
Pomiar wrócił z wynikiem 36% widoczności w AI.
Skąd wzięło się te 36%
Po rozbiciu odpowiedzi okazało się, że wszystkie wzmianki pochodziły z zapytań, w których nazwa marki już padła. Model powtarzał ją po to, żeby powiedzieć, że nic o niej nie wie - zdaniami w rodzaju „nie mam informacji o tej firmie”.
Policzone jako wzmianka - jest wzmianką. Policzone jako widoczność - są przeciwieństwem widoczności.
Po rozdzieleniu ten sam pomiar czyta się tak: 0% widoczności ogólnej, 90% brandowej.
Dlaczego to znaczy więcej niż jeden dziwny test
Zestawy zapytań buduje zwykle ktoś z wewnątrz firmy, a ludzie piszą to, co znają. Mniej więcej połowa zapytań w pierwszej wersji zawiera nazwę marki, bo taki kształt ma pytanie, które autor ma w głowie.
Każde z nich podbija wynik niezależnie od tego, czy cokolwiek się poprawiło. Metryka rośnie z okresu na okres, nikt nie potrafi wskazać przyczyny, a agencja nie ma żadnego powodu, żeby przyglądać się temu bliżej.
Co robimy zamiast tego
Rozdzielamy jedno od drugiego od pierwszego pomiaru i nigdy nie scalamy. Widoczność ogólna odpowiada na pytanie „czy modele wspominają o Tobie, gdy nikt Cię nie wymienił”. Widoczność brandowa odpowiada na pytanie „gdy ktoś już zna Twoją nazwę, co modele o Tobie mówią”.
Obie są użyteczne. Są też zupełnie różnymi pytaniami, a tylko pierwsze mówi, czy kanał działa.