Bei der Bewertung fließt zum einen die Intensität des Kaffees und zum anderen die Qualität mit ein: Je mehr unterschiedliche Aromen und/oder Geschmäcker der Kaffee aufweist, also je komplexer der Kaffee ist, umso höher die Qualität und somit die Bewertung.
Wird z. B. die Kategorie “Säure” bewertet, ist eine höhere Intensität der Säure tendenziell positiv, da dies den Kaffee belebt. Allerdings muss die Qualität der Säure auch angenehm sein, damit die Bewertung höher ausfällt. Sollte die Säure eher unangenehm sein, fällt die Bewertung nicht gut aus. Alle o. g. Kategorien werden objektiv bewertet, wofür die professionellen Kaffeetester (Q-Grader) natürlich geeicht sind. Einzig bei der Kategorie “overall” dürfen subjektive Vorlieben des Testers einfließen.
Des Weiteren wird die sensorische Konsistenz des Kaffees bewertet. Aus diesem Grund werden fünf Muster von einem Kaffee parallel zubereitet, um sicherzustellen, dass die Muster gleich sind. Folgende Kriterien werden von 0 bis 5 Punkten bewertet:
- Uniformity (Einheitlichkeit)
- Clean Cup (geschmackliche Reinheit)
- Sweetness (Süße)
Diese Kriterien werden für jede der fünf Tassen binär mit Ja oder Nein beantwortet. Das bedeutet, wenn alle fünf Tassen einheitlich, rein und süß schmecken gibt es die volle Punktzahl. Wenn eine Tasse abweicht und unrein schmeckt und keine Süße aufweist werden nur 4 Punkte vergeben. Sollte eine unreine Tasse vorliegen gibt es zudem Abzüge im Scoring. Je nachdem wie gravierend der Defekt ist, werden 2 Punkte für einen kleineren Makel (“Taint”) und 4 Punkte für einen Defekt abgezogen. Die finale Summe (final score) gibt dann Aufschluss darüber, welcher Kategorie der Kaffee eingeordnet werden kann (commodity oder specialty grade).