Thesis
Mit einer einzelnen Kamera zur 3D-Flugbahn des Tennisballs
Warum eine Kamera nicht reicht und trotzdem reichen soll
Wer ein Tennisspiel auswerten will, braucht die Flugbahn des Balls. Aus ihr lassen sich Schlagfolgen, die Länge der Ballwechsel und die Platzierung der Aufsprünge ablesen. Im Spitzensport übernehmen das fest installierte Mehrkamerasysteme wie Hawk-Eye. Sie sind teuer, müssen aufwendig kalibriert werden und bleiben damit großen Turnieren vorbehalten. Erste Smartphone-Apps zeigen, dass im Vereins- und Freizeitsport Bedarf an solchen Auswertungen besteht. Wie sich aus einer einzelnen Kamera eine dreidimensionale Flugbahn gewinnen lässt, ist wissenschaftlich jedoch erst wenig untersucht.
Das Problem liegt in der Physik der Kamera. Ein einzelnes Bild ist flach. Der Ball erscheint darin nur mit einer waagerechten und einer senkrechten Position, seine Entfernung zur Kamera geht verloren. Ganz unterschiedliche räumliche Flugbahnen können deshalb im Video exakt dieselbe Bewegung erzeugen. Die Masterthesis untersucht, ob ein neuronales Netz diese Mehrdeutigkeit auflösen kann, indem es aus simulierten Ballwechseln lernt, welche Flugbahnen im Tennis physikalisch und geometrisch überhaupt möglich sind.
Der Ansatz in drei Schritten
- Ball im Bild finden. Ein Erkennungsnetz aus der TrackNet-Familie liefert je Bild die Position des Balls. Es wurde auf rund 23.000 selbst annotierten Bildern trainiert.
- Bewegung in den Raum heben. Ein Deep-Learning-Modell erhält die im Video beobachtete Ballbewegung und die Lage des Platzes im Bild. Daraus rekonstruiert es die dreidimensionale Flugbahn und erkennt zugleich die beiden Schlüsselereignisse jedes Ballwechsels, den Schlag und den Bodenkontakt.
- Aufsprünge verorten. Aus dem erkannten Zeitpunkt des Bodenkontakts und der rekonstruierten Bahn wird der Aufsprungort auf dem Platz bestimmt.
Die Besonderheit des Verfahrens liegt im Training. Für reale Tennisvideos gibt es keine dreidimensionale Wahrheit, mit der ein Modell lernen könnte. Deshalb wurde eine eigene physikbasierte Tennissimulation entwickelt, die 5.000 Ballwechsel mit Luftwiderstand, Effet und wechselnden Kameraperspektiven erzeugt. Damit das Modell später mit echten Aufnahmen zurechtkommt, bildet die Simulation gezielt die Fehler einer realen Ballerkennung nach, etwa Aussetzer, Verwackeln und Fehldetektionen. Das Modell hat vor der Auswertung kein einziges echtes Video gesehen.
Was das Verfahren leistet
Geprüft wurde auf 131 realen Video-Clips aus 15 Amateuraufnahmen, in denen 441 Bodenkontakte und 487 Schläge samt Aufsprungorten von Hand annotiert wurden. Die metrische Genauigkeit der gesamten Bahn lässt sich nur in der Simulation messen, weil nur dort die wahre Bahn bekannt ist.
Zentrale Ergebnisse. F1 fasst Trefferquote und Fehlalarme zu einem Wert zwischen 0 und 1 zusammen.
| Messgröße | Datengrundlage | Ergebnis |
|---|---|---|
| Erkennung Bodenkontakt (F1) | 131 reale Clips | 0,930 |
| Erkennung Schlag (F1) | 131 reale Clips | 0,909 |
| Aufsprungort auf dem Platz, Median | 413 reale Aufsprünge | 0,37 m |
| Aufsprünge auf unter 1 m genau | 413 reale Aufsprünge | 80 % |
| 3D-Position, koordinatenweiser RMSE | synthetische Ballwechsel | 0,99 m |
Über die 15 Quellvideos hinweg schwankt die Erkennungsleistung nur wenig. Das rein synthetisch trainierte Modell überträgt also breit auf echte Aufnahmen. Ablationsstudien, bei denen jeweils ein Baustein abgeschaltet wurde, zeigen außerdem, woran das liegt. Ohne den zeitlichen Kontext über die ganze Bildfolge fällt die Erkennung auf nahezu null. Ohne die nachgebildeten Erkennungsfehler im Training verliert die Schlagerkennung rund 0,18 F1. Und ohne die räumliche Anhebung bleibt das Timing zwar robust, die Verortung der Aufsprünge bricht jedoch vollständig ein.
Wofür sich das eignet und wofür nicht
Das Verfahren benötigt lediglich ein Smartphone oder eine Kamera, die auf einem Stativ erhöht hinter der Grundlinie angebracht ist, eine Aufnahme mit 60 Bildern pro Sekunde und das einmalige Markieren der vier Platzecken im Bild. Damit werden Auswertungen erreichbar, die bislang professionelle Systeme voraussetzten:
- Länge und Anzahl der Ballwechsel, Schlagfrequenz und Verteilung der Aufsprungbereiche nach einer Trainingseinheit.
- Streuung der Aufsprünge im Aufschlagfeld beim Aufschlagtraining.
- Objektive Verlaufskontrolle im Vereinstraining, etwa ob Grundschläge über Wochen tatsächlich gezielter platziert werden.
Für Linienentscheidungen reicht die Genauigkeit ausdrücklich nicht aus, ebenso wenig für genaue Längenmessungen in Tiefenrichtung, denn die Entfernung zur Kamera bleibt die am schwersten zu schätzende Achse. Das Verfahren ist deshalb kein Ersatz für professionelle Systeme, sondern eine kostengünstige Ergänzung für den Breiten- und Vereinssport.
Fazit und Ausblick
Eine dreidimensionale Auswertung der Ballbewegung aus einer einzelnen Kamera ist technisch machbar und nicht zwingend an teure Spezialsysteme gebunden. Der entscheidende Hebel war die Entscheidung, das Modell ausschließlich in einer Simulation zu trainieren und deren Fehlercharakter gezielt an echte Aufnahmen anzunähern. Offen bleibt eine echte 3D-Referenz auf realen Videos, mit der auch die Bahn in der Luft überprüft werden könnte. Weitere Schritte sind die automatische Erkennung der Platzlinien, die den letzten manuellen Handgriff ersetzt, sowie die Messung der Leistungsfähigkeit auf Endgeräten.