Super-Resolution

Einführung

Die folgenden Ausführungen über Superresolution, auf Deutsch Superauflösung, folgen einer Arbeit von Jiazheng Shi, Stephen E. Reichenbach und James D. Howe [1]. Nach einigem recherchieren im Internet habe ich diese Arbeit gewählt, da sie frei verfügbar war,eine übersichtliche und für Mathematiker, die auf diesem Gebiet Laien sind, verständliche Darstellung ohne Verweise auf frühere Veröffentlichungen bot undso vollständig ist, daß eine Nutzung für Amateurastronomen möglich erscheint. Ich möchte ausdrücklich darauf hinweisen, dass es weitere Verfahren gibt, die durch diese Arbeit nicht erfasst werden.

Unter Superresolution versteht man Methoden, die es ermöglichen eine Abbildung zu gewinnen, deren Auflösung und Abbildungstreue größer ist als die Pixelauflösung einer Digitalkamera. Dazu gehören auch Wiederherstellungsverfahren, die Artefakte wie Unschärfen, Aliasing (z. B. Moiré-Muster, allg. Abbildungsfehler durch zu geringe Auflösung) und Rauschen korrigieren.

Zu diesem Zweck bedarf es mehr als einer Aufnahme. Mittels einer einzigen Aufnahme ist keinerlei Verbesserung möglich. Die Aufnahmen müssen mit unterschiedlicher Verschiebung des Bildsensors gemacht werden, d. h. der Bildsensor muß zwischen zwei Aufnahmen leicht verschoben werden, wobei natürlich eine Verschiebung kleiner als der Abstand zwischen zwei Pixel ausreicht. Man spricht dann von Microscanning. Prinzipiell ist jede Verschiebung geeignet, z. B. auch eine leichte Drehung [3]. Im allgemeinen wird man jedoch in zwei zueinander senkrechte Richtungen, x und y verschieben, wobei die x-Richtung parallel zu einer Bildsensorkante und die y-Richtung parallel zur anderen Kante liegt. Es kann dabei auch in beiden Richtungen gleichzeitig verschoben werden. Die Verschiebung kann vorgegeben oder auch zufällig sein. Das Verfahren gliedert sich in drei Schritte:

Aufnahmeprozedur (registration)Rekonstruktion (reconstruction)Bildwiederherstellung (restoration)

Die drei Schritte werden im folgenden kurz erläutert.

Aufnahmeprozedur

Die Aufnahmeprozedur besteht darin, eine Serie von Einzelaufnahmen mit unterschiedlicher Verschiebung eines gemeinsamen Motivs in einem gemeinsamen Koordinatensystem zu fixieren. Dies kann auf Basis der genauen Kenntnis der Verschiebungen oder mittels Phasen, Kreuzkorrelation oder von Gradienten geschehen.

Rekonstruktion

Unter Rekonstruktion verstehen wir die Schätzung der Bildwerte an beliebigen Stellen in einem räumlichen Kontinuum auf Grund eines diskreten Musters (z. B. CCD-Aufnahme). Zum Zweck einer Superresolution sollte natürlich das Rekonstrukt eine höhere Pixelauflösung als die Digitalaufnahmen haben. Verbreitete Methoden sind etwa Interpolation zum nächsten Nachbarpixel, lineare Interpolation, stückweise kubische Faltung oder eine kubische optimale maximale Ordnung – minimale Trägermenge Interpolation.

Bildwiederherstellung

Bildwiederherstellung ist die Gewinnung eines möglichst treuen Abbildes durch Korrektur der Pixelreduktion, des Aliasing und Rauschen.

Mathematisches Modell

Die oben beschriebenen Verarbeitungsschritte werden in einem mathematischen Modell beschrieben, das hier zum besseren Verständnis nur grob skizziert  werden soll. Für genauere Information sei der Leser auf die eingangs zitierte Arbeit verwiesen. Es werden folgende Funktionen benötigt:

s(x, y) beschreibt das Motiv, das im kartesischen Koordinatensystem (x, y) festegelegt sein soll, stellt also den Input dar.

h(x, y) beschreibt die Abbildung eines Originalpunktes auf dem Aufnahmesensor, da in realen optischen Systemen Punkte nicht wieder auf Punkte abgebildet werden, sondern ein verwischtes Bild erzeugen, z. B. eine Fresnelscheibe in einem Teleskop.

Ш(x, y) Auswahlfunktion (sampling), die die Abbildung eines Kontinuums auf ein Gitter (m, n) beschreibt. Bei einer CCD-Kamera sind dies die Pixelkoordinaten.

e(m, n) Rauschen (noise) eines Pixels an der Stelle (m, n).

p(n, m) gibt das digitale Bild wieder.

d(x, y) beschreibt die Eigenschaften des Displays, ist also das Pendant zu h(x, y).

r(x, y) ist schließlich unser Output, also das gewünschte Bild.

Diese Funktionen werden durch normale Rechenoperationen wie + oder * miteinander verknüpft. Zusätzlich können zwei Funktionen durch eine sogenannte Faltung verknüpft werden. Dies soll anhand der Funktion p, die das digitale Bild beschreibt, beispielhaft beschrieben werden:

Der Integralausdruck wird (hier eine 2-dimensionale) Faltung genannt. Durch die Verschiebungen (xk, yk) beim Microscanning wird dann aus dieser Formel die leicht modifizierte, wobei die Funktion h von der k-ten Verschiebung abhängig sein soll und dem entsprechen hk(x, y) genannt wird. Das Rauschen wird durch Addition berücksichtigt.

Der zweite und dritte Verarbeitungsschritt, also Rekonstruktion und Bildwiederherstellung werden zusammengefasst und durch eine weitere Funktion f(x, y) beschrieben, die Filter genannt wird. Unseren Output erhalten wir schließlich durch eine weitere Faltung. Der Rechenaufwand kann erheblich reduziert werden, wenn anstelle der Funktionen s, h u.s.w. deren Fouriertransformierte S, H u.s.w. verwendet werden. Dabei werden Multiplikation durch Faltung und umgekehrt ersetzt. Besonders vorteilhaft ist, daß die Verschiebungen nicht mehr im Argument erscheinen, sondern als Exponentialfaktoren ausgeklammert werden.

Jede dieser Funktionen bis auf das Filter ist soweit zumindest theoretisch definiert. Was ist aber mit dem Filter f? f kann im Prinzip beliebig festgelegt werden. Jedoch möchte man natürlich in Anbetracht des Aufwandes ein möglichst originalgetreues Abbild r(x, y) erzielen. Unser Ziel muß also darin bestehen, ein möglichst optimales f zu finden, wobei das „optimal" natürlich irgendwie definiert sein soll. Dazu betrachten wir hier die Varianz (= Quadrat der Standardabweichung).

f wird nun so festgelegt, daß die Varianz möglichst klein wird. Dazu gibt es nun mehrere Methoden, die hier nicht näher geschildert werden. Die Einzelheiten können der o. g. Veröffentlichung [1] entnommen werden. Zusätzlich sei noch auf  die Arbeit von Jiasheng Shi und Stephen E. Reichenbach [2] verwiesen.

Damit ist der Formelapparat vollständig beschrieben und, adäquate mathematische Kenntnisse oder der Besitz eines geeigneten Programms vorausgesetzt, steht der Durchführung nichts mehr im Wege.

Warum könnte der Amateurastronom davon profitieren?

Betrachten wir unser Modell noch einmal im Hinblick darauf, wieweit uns die verwendeten Funktionen bzw. Parameter tatsächlich bekannt sind.

h(x, y) beschreibt eine Fresnelscheibe und kann durch eine 2-dimensionale Gaußverteilung unabhängig von k approximiert werden.

Ш(x, y) ist eine universelle Funktion, die aus einer unendlichen Summe verschobener δ-Funktionen besteht und in der Literatur beschrieben wird.

e(m, n) kann aus den dark - bzw. flat - Bildern gewonnen werden.

d(x, y) beschreibt die Eigenschaften des Displays, ist also prinzipiell bekannt.

Bleiben noch die xk und yk.. Sie setzen sich aus den Seeing - bedingten Abweichungen und den Fehlern der Nachführung zusammen. Letztere sind bei kurzen Belichtungszeiten vernachlässigbar. Das Seeing kann als Wahrscheinlichkeitsverteilung betrachtet werden, d. h. auch die xk und yk werden durch eine Wahrscheinlichkeitsverteilung beschrieben, was eine allerdings nicht allzu schwere Abänderung der obigen Formeln bedingt. Wird eine Gaußverteilung verwendet, muß die Varianz ermittelt oder geschätzt werden. Bei längeren Belichtungszeiten kommen noch die Nachführfehler in Betracht. Diese können entweder in gesonderten Versuchen unter Verwendung einer Digitalkamera ermittelt werden oder simultan bei Verwendung von Autoguiding durch Aufzeichnung der gewonnenen Bilder (ich hoffe, dass dies möglich ist!). Hier bei kann selbstverständlich auch das Seeing ermittelt werden.

Literatur:

[1] Jiazheng Shi, Stephen E. Reichenbach und James D. Howe, Small kernel superresoluition methods for microscanning imaging systems, 2006

[2] Jiasheng Shi und Stephen E. Reichenbach, Spatially constrained Wiener Filter with Markov Autocorrelation Modeling for image Resolution Enhancement, 2006

[3] Krzysztof Malczewski, Ryszard Stasinski, Improved Frequency Domain Super-Resolution Algorithm with conjugate Gradient – NUFFT Method as ist reconstruction Core

 

Dr. Christian Netzel, Aachen