Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

--- led:media_correction [2023/02/17 20:01] – bh067
+++ led:media_correction [2023/02/17 20:41] (aktuell) – [Wie geht man dabei vor?] sb279
@@ Zeile 13: / Zeile 13: @@
-====== Aber warum ist die Farbtreue denn überhaupt ein Problem? ======
+====== Warum ist die Farbe denn überhaupt ein Problem? ======
 Das hat mit der menschlichen Wahrnehmung, der Historie der Displaytechnolgien und den daraus folgenden Kameracharakteristiken digitaler Kameras zu tun.
-Allgemein wird zwischen Scene-refered-Farbräumen und Display-Referred-Farbräumen unterschieden.
+Allgemein wird zwischen Scene-refered-Farbräumen und Display-referred-Farbräumen unterschieden.
 Scene-referred Farbräume sind linear und stellen eine 1:1 Relation zum Licht der Szene dar. Display-referred Farbräume sind auf Monitore angepasst. Zu diesen gehören die Standards ITU-R BT.709 (Rec 709) oder auch sRGB.
@@ Zeile 30: / Zeile 30: @@
 Ziel ist es, dass eine 3D-Asset genauso wirkt wie dasselbe Element in der Realität. Man könnte überlegen besondere OETF in den Kameras oder andere Colorscience/anderes Demosaicing zu entwickeln.
-Das ist nicht sinnvoll, da viel zu aufwändig und VP ist eine zu große Nische im Bereich der Kameraeinsatzmöglichkeiten, außerdem würden Vorteile für die Realitätsabbilding verloren gehen.
+Das ist nicht sinnvoll, da viel zu aufwändig und VP eine zu große Nische im Bereich der Kameraeinsatzmöglichkeiten ist. Außerdem würden Vorteile für die Realitätsabbilding verloren gehen.
 Es könnte auch ein Ansatz sein, die Ausgabe in der Gameengine entsprechend anzupassen, um den doppelten Kurven zu entkommen. Doch könnte eine solche Umrechnung gegebenenfalls schwierig zu implementieren sein, oder die Performance beeinflussen. Es ist aber eine gute Möglichkeit.
@@ Zeile 36: / Zeile 36: @@
 Des weiteren, könnte die LED Wand entsprechend kalibriert werden:
-Zum Einen hinsichtlich einer korrekten Farbraumdarstellung (Dynamikumfang, Primärvalenzen, Gammakurve), mittels physikalischem Messgerät (Spektrometer; Colorimeter). Beispielhaftes Ziel: Ein LIDAR-gescanntes Objekt, soll die gleiche Spektrale Reflektanz aufweisen wie das echte. Das ist schwer möglich, da die spektrale Verteilung der LED-Technologie nicht denen der realen Ausleuchtung entspricht.
+Zum Einen hinsichtlich einer korrekten Farbraumdarstellung (Dynamikumfang, Primärvalenzen, Gammakurve), mittels physikalischem Messgerät (Spektrometer; Colorimeter). Beispielhaftes Ziel: Ein LIDAR-gescanntes Objekt, soll die gleiche Spektrale Reflektanz aufweisen wie das Reale Objekt. Das ist schwer möglich, da die spektrale Verteilung der LED-Technologie nicht denen der realen Ausleuchtung entspricht.
 Zum Anderen kann die LED-Wand mit einer Korrekturmatrix korrigiert werden, dass sie perfekt zur OETF, dem Gammut und der Farbempfindlichkeit der Kamera passt. Dieser Ansatz wurde verfolgt.
 ====== Wie geht man dabei vor? ======
 //Am Beispiel der Kalibrierung in Unreal Engine//
+Detailierter nachzulesen in der Unreal-Dokumentation:
+https://docs.unrealengine.com/4.27/en-US/WorkingWithMedia/IntegratingMedia/InCameraVFX/InCameraVFXCameraCalibration/
 Zunächst wird über die Gameengine ein Color-Checker Test-Setting geladen. In diesem Setup wird ein synthetischer Color-Checker integriert. Dort sind durch den verwendeten Farbraum die Farbwerte genau definiert und somit bekannt. Unreal nutzt standardmäßig "linear rec.709" als Farbraum. Also einen linearen Scene-referred Farbraum mit den Rec.709 Farbprimärvalenzen. Der Industriestandard für einen Arbeitsfarbraum ist aber oftmals z.B. ACEScg, der ermöglicht, die Arbeitsfarbräume verschiedener Software über OCIO configs zu organisieren.
@@ Zeile 57: / Zeile 58: @@
 Die RGB-Werte der abgelichteten Testpatches Rot, Grün und Blau werden in die Matrix geschrieben
-{{:led:patchmatrix.png?nolink&200|}}
+{{ :led:patchmatrix.png?nolink&200 |}}
 Die inverse dieser Matrix wird mit dem höchsten Weißwert (W), auf 1.0 normalisiert Multipliziert. Das ist der Skalierungsfaktor.
 **
-I = F-1  ->  S = I × W/max(W//RGB//)**
+I = F^-1  ->  S = I × W/max(W//RGB//)**
 Dieser wird benutzt um um die Faktoren der Matrix zu skalieren. Danach muss diese Matrix invertiert werden:
-{{:led:inversematrix.png?nolink&200|}}
+{{ :led:inversematrix.png?nolink&200 |}}
-**Kalibrations-Matrix = F-1**
+**Kalibrations-Matrix = F^-1**
 Mit dieser Matrix kann die Ausspielung auf der LED-Wand belegt werden.
@@ Zeile 86: / Zeile 89: @@
 Der Hauptfokus liegt somit auf dem Korrigieren des Bildes für die Kamera. Wie bereits erwähnt, wird dies über ein Testbild berechnet. Daher würde ein Script geschrieben (generate_primaries), welches uns ein Testbild mit den 3 Primaries (Rot, Grün, Blau), Schwarz, mittlerem Grau und Weiß generiert und auf die richtige Größe für die LED-Wand anpasst. Außerdem macht es Sinn noch ein „normales“ Foto als Testbild zu benutzen, da man mit diesem, anhand eines realen Beispiels, am besten überprüfen kann, ob die Farben wieder richtig aussehen.
-{{:led:primaries_camera_test_3000_2000.png?nolink&400|}}
+{{ :led:primaries_camera_test_3000_2000.png?nolink&400 }}
-{{:led:landscape_02.png?nolink&400|}}
 Das Testpattern und das Testbild wird dann Fullscreen auf einem Laptop angezeigt, welcher per HDMI mit dem Controller für die LED-Wand verbunden ist. Nun fotografiert man beide Bilder mit der gewünschten Kamera ab und speist diese In Matlab ein. Dort wird zuerst mit den Daten aus dem Testpattern gearbeitet. Das Bild wird auf das reine Testpattern gecroppt und die Farbwerte werden aus den einzelnen Patches extrahiert. Dafür müssen die Werte zuerst in den linearen Raum konvertiert werden und mit dem median wird dann der mittlere Farbwert bestimmt.  Mit diesen Werten wird dann eine Farbmatrix berechnet, welche die Differenzwerte von der LED-Wand und der Kamera enthält. Daraufhin werden die beiden aufgenommenen Bilder mit der Matrix multipliziert und wieder von linear zu sRGB konvertiert und sinnvoll skaliert.
@@ Zeile 95: / Zeile 97: @@
 Nun können die Bilder miteinander verglichen werden, um zu überprüfen, ob die Kalibrierung funktioniert hat. Dafür gibt das Skript einem 3 Fenster aus, welche die Patches des Testpatterns und das Testbild in allen Schritten zeigt. Außerdem werden die Werte der einzelnen Patches in der Konsole ausgegeben (Benamung, Rot-Kanal, Grün-Kanal, Blau-Kanal). Ist man mit dem Ergebnis zufrieden, kann man das „vorkorregierte“ Bild auf der LED-Wand anzeigen, welches als extra Datei berechnet wurde. Nun müsste das Bild mit der Kamera abgefilmt genau so aussehen, wie gewünscht.
+{{ :led:led_wall_comparision_precorrected_results.jpg |}}
+Im letzten Teil des Skripts werden noch die Ergebnisse verglichen. Zu erst kommt das abfotographierte Bild ohne vorher angewendetet Korrektur, dann mit und dann das Original mit einem einfachen Gaussblur um die Bilder vergleichbarer zu machen. Obwohl das Ergenis nicht perfekt ist, ist ersichtlich, dass man auch schon mit einer simplen linearen Matrixkorrektur deutlich akkuratere Farben erreichen kann.
 ====== Wie geht man konkret vor? ======
@@ Zeile 103: / Zeile 108: @@
   * Rechner mit Software (NovaLCT) + Controller für die LED-Wand
   * Kamera (+Stativ)
-  * Matlab Skripts (camera_correction) + Testbilder
+  * Matlab Skripts (camera_correction.m) + Testbilder [[https://github.com/benjaminherb/LED-Wall-Calibration/| Github]]
-  - Laptop an LED-Wand anschließen und Testpattern aus Github auf der LED-Wand ausgeben
+  - Laptop an LED-Wand anschließen und verifizieren, dass die erwartete Transferkurve übertragen wird (zB. mit einem  [[:led:vermessen| Spektrometer]])
+  - Testpattern aus Github auf der LED-Wand ausgeben
   - Kamera so weit entfernt platzieren, dass die einzelnen Pixel nicht mehr sichtbar sind
   - Weißabgleich auf die Wand anpassen (im Normalfall 6500k), mit manuellem Fokus leicht unscharf stellen (um Aliasing und andere Artefakte zu vermeiden), auf  das mittlere Grau belichten und ein Foto machen. Diesen Vorgang mit dem anderen Testbild wiederholen
-  - Bilder auf dem Laptop im Ordner "data/images“ ablegen und die Benamung im Matlabscript unter „captured_testpattern“ und „captured_Landscape“ ändern
+  - Bilder auf dem Laptop im Ordner "data/images“ ablegen und die Bennenung im Matlabscript unter „captured_testpattern“ und „captured_Landscape“ ändern
   - Das Programm ausführen und mit der Maus eine rechteckige Auswahl um das Testpattern ziehen und mit Rechtsklick „crop image“  zu croppen. Mit dem Testbild wiederholen.
   - In den Vergleichsfenstern die Ergebnisse anschauen und Resultate bewerten
   - Das korregierte Bild für die Wand liegt nun im Ordner "output/precorrected_images"
+  - Unter "Compare Results" können die Ergebnisse (Aufnahmen von der korrigierten/nicht korrigierten Wand) zusätzlich noch geladen und verglichen werden.