Ergebnisse

Frage, Messgröße, Ergebnis — und die Grenzen

Wir veröffentlichen, was gemessen wurde, und wo das Ergebnis endet. Nicht den Mechanismus.

Was bisher gemessen wurde

Lässt sich ein Ball im Fernsehbild zuverlässig über die Zeit verfolgen?

Messgroesse: Precision und Recall, gemessen über 30 Halbzeiten
Ergebnis: Veröffentlichen wir, sobald die Messmethode dokumentiert ist.
Grenzen: Die Zahl steht erst auf dieser Seite, wenn Trefferdefinition, zeitliche und räumliche Toleranz, Material samt Annotation und Vergleichsmaßstab mit veröffentlicht werden können. Ohne diese vier Angaben wäre sie nicht prüfbar — und ein Ergebnis, das niemand prüfen kann, ist keins.

Entsteht Koordination ohne Belohnungssignal aus lokaler Wechselwirkung?

Messgroesse: [Messgröße festlegen — sie entscheidet darüber, ob das Ergebnis später überhaupt eine Aussage ist.]
Ergebnis: Offen. Daran arbeiten wir.
Grenzen: Es gibt bisher kein veröffentlichtes Ergebnis. Diese Zeile steht hier, damit die Frage benannt ist — nicht, um ein Ergebnis anzudeuten.

Was wir veröffentlichen und was nicht

Frage, Messgröße, Ergebnis und Grenzen — ja. Den Mechanismus im Detail — vorerst nicht.

Diese Trennung ist eine Entscheidung und keine Geheimniskrämerei. Ein Ergebnis ohne nachvollziehbare Messung ist wertlos; deshalb steht die Messung hier. Ein Mechanismus, der noch nicht stabil ist, wird durch frühe Veröffentlichung nicht besser, sondern erzeugt Zitate auf einen Zwischenstand.

Sobald ein Vorabdruck vorliegt, steht er hier mit Verweis auf Code und Daten — vollständig, nicht in Auszügen.

Die erzählende Fassung

Für Leserinnen und Leser, die keine Fachfassung suchen, steht dieselbe Arbeit in erzählender Form auf wwe-media.de/forschung. Dort geht es darum, warum die Aufgabe schwer ist; hier darum, was gemessen wurde.

Wie hier gemessen wird

Die Messgröße wird vor dem Versuch festgelegt, nicht danach ausgewählt.

Das ist die einzige Regel, die über die Belastbarkeit eines Ergebnisses entscheidet. Wer nach dem Versuch entscheidet, welche Größe er berichtet, findet immer eine, die günstig aussieht — und veröffentlicht am Ende die Auswahl, nicht das Ergebnis.

Deshalb steht auf dieser Seite zu jeder Frage dieselbe Gliederung: die Frage, die Messgröße, das Ergebnis und die Grenzen des Ergebnisses. Auch dann, wenn die letzte Zeile die unbequemste ist.

Was zu einer Messung gehört

Ein Ergebnis ist ohne diese vier Angaben nicht prüfbar: die Definition eines Treffers, die zugelassene Toleranz, das Material samt Annotation und der Vergleichsmaßstab.

Fehlt eine davon, ist die Zahl eine Behauptung. Wir kennzeichnen solche Stellen auf dieser Seite in eckigen Klammern, statt sie wegzulassen — eine fehlende Angabe soll auffallen.

Was hier nicht steht

Kein Vergleich mit fremden Systemen, solange nicht dieselben Daten und dieselbe Messvorschrift zugrunde liegen. Solche Vergleiche sind in diesem Feld verbreitet und sagen meistens mehr über die Auswahl der Testdaten als über das Verfahren.

Keine Ankündigungen. Was in Arbeit ist, steht hier erst, wenn es ein Ergebnis gibt — auch dann, wenn das Ergebnis lautet, dass der Weg nicht trägt.

Womit gerechnet wird

Rund 300 GB GPU-Speicher, 16 TB Speicher, 10-GbE-Anbindung, an einem deutschen Standort. Das reicht nicht, um im Maßstab mitzuhalten — und darum geht es auch nicht.

Wenn die zentrale Annahme lautet, dass ein anderes Organisationsprinzip mit weniger auskommt, ist genau diese Ausstattung der richtige Maßstab. Auf einer sehr viel größeren wäre der Mechanismus von Skaleneffekten überdeckt.