Kleine Bilder auf groß: Neue Methode für die visuelle Bildqualitätsverbesserung

Seite ausdrucken und/oder als E-Mail versendenSeite ausdrucken und/oder als E-Mail versenden
Beiträge von FKTG-Mitgliedern

Wissenschaftler des Max-Planck-Instituts für Intelligente Systeme in Tübingen nutzen die Künstliche Intelligenz einer Software, um eine hochauflösende Version eines Bildes mit niedriger Auflösung zu erstellen. Zwar leidet die “Pixelwahrheit” darunter, es ergibt sich aber ein visuell deutlich besseres Ergebnis. Zur Anwendung kommt eine neuartige automatisierte Textursynthese, die sich darauf konzentriert, realistische Texturen zu erzeugen, anstatt die pixelgenaue Wiedergabe von Bildern der “Grundwahrheit” während des Trainings zu optimieren.


Die Erzeugung eines größeren und höher aufgelösten Bildes  bei vorhandener niedriger Auflösung wird als Einzelbild-Superauflösungs- oder Single Image Super-Resolution-(SSIR)-Technologie bezeichnet. Die Methode wird prinzipiell schon jahrzehntelang angewendet. Die Ergebnisse sind jedoch nicht sehr überzeugend. Denn die Software fügt zusätzliche Pixel hinzu und füllt sie mit dem durchschnittlichen "Look" aller umliegenden Pixel. Das Ergebnis ist Unschärfe.

Forscher am Max-Planck-Institut für Intelligente Systeme entwickelten nun einen neuen Ansatz, um Bildern eine realistische Textur zu geben, wenn sie von klein auf groß vergrößert werden - mit Hilfe des Maschinellen Lernens (ML). Künstliche Intelligenz ist also im Spiel, bei der der Algorithmus zur Vergrößerung des Bildes aus Erfahrung bei der Verschärfung seines Originals  lernt.

Der Algorithmus leitet sich ab von der Aufgabe, Millionen von Bildern mit niedriger Auflösung in eine hochauflösende Version hochzurechnen und zeigt dann das Ergebnis, so wie es in der Realität sein “könnte”. Die Tübinger Forscher nennen ihre Methode EnhanceNet-PAT-Technologie. Sobald ENet-PAT trainiert ist, benötigt es keine Originalfotos mehr.

Die Methode soll effizienter als jede andere SISR-Technologie sein, die derzeit auf dem Markt ist. Im Gegensatz zu bestehenden Algorithmen verzichtet ENet-PAT aber auf eine pixelgenaue Rekonstruktion sondern  zielt auf eine getreue Textursynthese ab. Da EnhanceNet-PAT in der Lage ist, Muster in einem Bild mit niedriger Auflösung zu erkennen und zu generieren werden dann diese Muster für den Vergößerungsprozess benutzt. Man könnte analog zum menschlichen Lernen sagen, das ENet-PAT denkt darüber nach, wie zum Beispiel im Foto die Vogelfedern aussehen und fügt diese Information in Form zusätzlicher Pixel in das Bild mit niedriger Auflösung hinzu. Oder anders: Die Technologie hat ihre eigene Realität geschaffen, indem sie der tatsächlichen Realität Informationen mit hoher Realitätsnähe (Textur) hinzufügt. Für die meisten Betrachter ist das Ergebnis mit dem Originalfoto sehr ähnlich und erheblich “schärfer” durch die Generierung zusätzlichen im Ursprungsbild nicht vorhandenen Inhalts.


 EnhanceNet-PAT ist in der Lage, ein Bild mit niedriger Auflösung (links) in eine High-Definition-Version (Mitte) hochzurechnen. Das Ergebnis ist vom Originalbild kaum zu unterscheiden (rechts).


Der erzeugte Algorithmus liefert durch das Training sowohl quantitative als auch qualitative Ergebnisse. Es hat gelernt, Hochfrequenzmuster fortzusetzen, die in kleineren Skalen verloren gehen. Und das klappt, so schreiben sie in ihrem “Paper” [s. Ende des Berichts], hervorragend. Einmal trainiert, interpoliert das Modell Vollfarbbilder in einem mit konkurrenzfähigen Geschwindigkeiten.

Einschränkungen bestehen logischerweise. Denn obwohl die von ENet-PAT erzeugten Bilder realistisch wirken, passen sie absolut gesehen nicht pixelweise zu den Bildern der “Grundwahrheit”, also zum Originalbild. Darüber hinaus produziert das Training manchmal Artefakte im Endbild, die durch den Zusatz des Texturverlustes stark reduziert, aber nicht vollständig eliminiert werden.

N. Bolewski


 

  • Paper zum Download: EnhanceNet: Single Image Super-Resolution Through Automated Texture Synthesis. Mehdi S. M. Sajjadi, Bernhard Scholkopf, Michael Hirsch: Max Planck Institute for Intelligent Systems
  • Link zur Originalmeldung 

 

Weitere Beiträge von FKTG-Mitgliedern