Przejdź do treści

Metodyka rankingu

Skąd są oceny, jak liczymy wynik, jak chronimy ranking przed manipulacją i jakie ma ograniczenia.

1. Kto tworzy ranking i jaki ma interes

Ranking tworzy zespół Zaksio, producent systemu ERP. To konflikt interesów, więc mówimy o nim wprost: Zaksio w rankingu nie uczestniczy i nigdy nie ma w nim pozycji ani oceny. Nie przyjmujemy płatności, prowizji ani „pakietów” za miejsce. Odpowiedzi na pytanie od autora (czy ktoś słyszał o Zaksio) są osobne i nie wpływają na żaden wynik.

2. Skąd są opinie

Wyłącznie od osób, które z danego produktu korzystają lub korzystały. Autor ocenia kryteria w skali 1-10 i opisuje doświadczenia w trzech sekcjach: zalety, wady i podsumowanie. Przed wypełnieniem każdy wyraża zgodę na udział i publikację opinii, a pojawia się ona dopiero po kliknięciu linku wysłanego e-mailem. Adresu nie zapisujemy: w bazie zostaje jego nieodwracalny skrót, który pozwala rozpoznać tego samego autora. Po wysłaniu autor dostaje kod, którym może opinię usunąć.

3. Jak liczymy wynik

Ocena kryterium to średnia ważona ocen tego kryterium. Ocena obszaru to średnia ocen jego kryteriów, a ocena główna to średnia ocen wszystkich kryteriów. Odpowiedź „nie dotyczy” nie wchodzi do średniej. Obliczenia są deterministyczne: nie robi ich żaden model AI.

Niektóre rankingi zawierają też pytania „tak / nie / nie wiem” albo z wyborem jednej opcji. Wpływają na ocenę tylko te, przy których strona Kryteria mówi o tym wprost („tak” liczy się jako 10, „nie” jako 1, a „nie wiem” jest pomijane). Pozostałe dają wyłącznie liczbę odpowiedzi, pokazaną w wynikach jako procenty.

Produkt z jedną oceną 10,0 nie może stać wyżej niż produkt ze średnią 9,8 od tysięcy użytkowników, dlatego oceny obszarów i ocenę główną wygładzamy metodą bayesowską: (v · R + m · C) / (v + m), gdzie R to średnia produktu, v jego efektywna liczba opinii, C średnia całego rankingu (w tym samym rodzaju produktów), a m waga wstępna. W tym rankingu m = 8. Produkt z małą liczbą opinii jest więc „ściągany” ku średniej, a im więcej opinii, tym bliżej jego własnej średniej.

4. Waga opinii: czas i reputacja autora

Produkty się zmieniają, więc stara opinia liczy się mniej: po 1,5 roku jej waga spada o połowę (okres połowicznego zaniku tego rankingu to 540 dni), ale nigdy nie spada poniżej 0,1.

Reputacja autora: autor, którego zaakceptowane opinie czytelnicy uznali za pomocne, ma nieco większą wagę (+0,1 za każdy głos „Ta opinia była pomocna”, najwyżej +0,5). Nowy autor ma wagę podstawową, więc brak historii nikogo nie karze.

5. Rozkład ocen i margines błędu

Przy każdym produkcie pokazujemy wykres rozkładu ocen od 1 do 10 (jaki procent opinii ma daną średnią) i 95% margines błędu (±1,96 × odchylenie standardowe ocen autorów ÷ pierwiastek z liczby opinii). Gdy różnica dwóch produktów mieści się w sumie ich marginesów, zaznaczamy to, zamiast udawać, że jeden jest lepszy. Opinie można sortować: najbardziej pomocne, najnowsze, najwyższe i najniższe.

6. Progi wiarygodności

Produkt dostaje pozycję w rankingu dopiero po zebraniu co najmniej 5 opinii, w tym co najmniej 2 potwierdzonych fakturą. Do czasu przekroczenia progów nie publikujemy wyników, tylko postęp zbierania opinii.

7. Weryfikacja fakturą

Autor może potwierdzić użycie produktu plikiem XML faktury z KSeF (wystawionej w ciągu ostatnich 180 dni) i dostaje oznaczenie „Zweryfikowany użytkownik”. Plik jest czytany wyłącznie w przeglądarce. Do nas trafia tylko nazwa programu z nagłówka faktury, data wystawienia i skrót numeru faktury, który pilnuje, żeby jedna faktura nie potwierdziła wielu opinii. Kwoty i dane kontrahentów nigdzie nie są wysyłane. Każdy może przełączyć wyniki na widok „tylko zweryfikowane”.

8. Moderacja i ochrona przed manipulacją

Nowe opinie przechodzą moderację przed publikacją. Autor, którego opinia została już zaakceptowana, jest traktowany jako zaufany, ale opinie z linkami, powtórzonym tekstem albo wypełnione podejrzanie szybko nadal trafiają do przeglądu. Czytelnicy mogą zgłaszać opinie (po kilku zgłoszeniach opinia jest ukrywana do decyzji moderatora).

Sprawdzamy też m.in. jednakowe odpowiedzi na wszystkich pytaniach, powtórzenia z tej samej przeglądarki lub adresu e-mail, limity wysyłek, nagłe serie opinii oraz serie skrajnych ocen (same jedynki albo same dziesiątki) o jednym produkcie. Podejrzane opinie są wstrzymywane do przeglądu i nie liczą się do czasu akceptacji. Szczegółowych progów nie publikujemy, żeby nie ułatwiać obchodzenia kontroli.

9. Podsumowanie wygenerowane przez AI

Gdy produkt ma co najmniej 10 opinii, model AI streszcza najczęściej powtarzające się zalety i wady. Podsumowanie jest wyraźnie oznaczone, odświeżane po nowych opiniach i niczego nie liczy: nie wpływa na oceny ani pozycję.

10. Ograniczenia

To zbiór opinii osób, które zdecydowały się je napisać, a nie badanie reprezentatywne całego rynku. Dlatego podajemy liczbę opinii, rozkład ocen, margines błędu i dane do własnej analizy.

11. Szczegóły tego rankingu

Ten ranking dotyczy systemów do fakturowania, księgowości i ERP. Autor opinii najpierw wybiera rodzaj systemu (online albo instalowany), potem system z listy najczęściej wskazywanych albo wpisuje własny. Opinię potwierdza linkiem z e-maila.

Opinię można dodatkowo potwierdzić plikiem faktury z KSeF (FA), co daje oznaczenie „Zweryfikowany użytkownik": plik jest czytany wyłącznie w przeglądarce, a do nas trafia tylko nazwa programu z nagłówka faktury, data wystawienia i skrót numeru faktury. Szczegóły w artykule o weryfikacji i prywatności.