Rankingi · artykuł
Jak liczymy oceny: średnia bayesowska, waga czasu i rozkład ocen
Jawna matematyka rankingów: oceny 1-10 z wagami, wygładzanie bayesowskie, zanikanie starych ocen, margines błędu i próg opinii, który decyduje o pozycji.
Wynik jest liczony deterministycznie, według wzorów opisanych poniżej. Nie robi tego żaden model AI i nikt nie dopisuje ocen „od redakcji".
Skala
Każde kryterium oceniasz na skali od 1 do 10 z opisanymi końcami (co oznacza 1, a co 10). Tam, gdzie kryterium może nie dotyczyć, jest opcja „nie dotyczy": nie obniża ona wyniku.
Trzy poziomy ocen
- Ocena kryterium to średnia ocen tego kryterium.
- Ocena obszaru to średnia ocen kryteriów należących do obszaru.
- Ocena główna to średnia ocen wszystkich kryteriów.
Dlaczego nie zwykła średnia
Program z jedną oceną 10,0 od założyciela projektu nie może stać wyżej niż program ze średnią 9,8 od tysięcy użytkowników. Dlatego ocenę główną i oceny obszarów wygładzamy metodą bayesowską: system z małą liczbą opinii jest „ściągany" ku średniej całego rankingu (w tym samym rodzaju systemów), a im więcej opinii, tym bliżej jego własnej średniej. Wzór: (v · R + m · C) / (v + m), gdzie R to średnia systemu, v jego efektywna liczba opinii, C średnia rankingu, a m waga wstępna (ustawiona dla rankingu i podana na stronie metodyki).
Waga opinii
Każda opinia ma wagę, która jest iloczynem dwóch czynników:
- Czas. Oprogramowanie się zmienia, więc stara opinia liczy się mniej: po okresie połowicznego zaniku (podanym na stronie metodyki) jej waga spada o połowę, ale nigdy nie znika całkiem.
- Reputacja autora. Autor, którego zaakceptowane opinie czytelnicy uznali za pomocne, ma nieco większą wagę (o 0,1 za każdy głos „pomocna", najwyżej o 0,5). Nowy autor ma wagę podstawową: nikt nie jest karany za brak historii.
Rozkład ocen i margines błędu
Przy każdym systemie pokazujemy wykres rozkładu ocen od 1 do 10 (ile opinii ma jaką średnią) oraz 95% margines błędu: im mniej opinii, tym jest większy. Jeśli różnica dwóch systemów mieści się w marginesie błędu, nie twierdzimy, że jeden jest lepszy.
Próg opinii
System dostaje pozycję dopiero po przekroczeniu progu liczby opinii oraz liczby opinii zweryfikowanych. Wartości progów są widoczne na stronie rankingu. Poniżej progu pokazujemy tylko postęp zbierania.
Opinie zweryfikowane
Tam, gdzie to możliwe, opinię można potwierdzić (np. fakturą). Pokazujemy liczbę takich opinii i pozwalamy przełączyć widok na tylko zweryfikowane.
Ochrona przed manipulacją
Sprawdzamy m.in. czas wypełniania, jednakowe odpowiedzi, powtórzony tekst, linki w treści, nagłe serie opinii i serie skrajnych ocen (bardzo niskich albo bardzo wysokich) o jednym systemie. Podejrzane opinie są wstrzymywane do przeglądu i nie liczą się do czasu akceptacji. Szczegóły w artykule o weryfikacji i prywatności.
Ograniczenia
To nie jest reprezentatywne badanie: autorzy zgłaszają się sami. Wyniki to doświadczenia użytkowników, a nie testy techniczne. Dlatego pokazujemy liczebność, rozkład ocen i margines błędu.
Ranking tworzy zespół Zaksio, które w nim nie uczestniczy. Zobacz wszystkie rankingi.