KI macht Kunst

Text zu Bild Generatoren sind eine neue Technologie, die mithilfe von künstlicher Intelligenz Kunstwerke erstellen kann. Diese Generatoren können aus einem gegebenen Text ein passendes Bild erstellen. In diesem Artikel wirst du lernen, wie Text zu Bild Generatoren funktionieren und was sie können.

Worum handelt es sich bei Text zu Bild Generatoren und wie funktionieren sie?

Die Technologien von Text zu Bild Generatoren basieren darauf, künstliche Intelligenz zu nutzen, um aus Texteingaben neue und originelle Bilder zu generieren. Dabei muss man nur einen kurzen Text Prompt eingeben, in welchem man beschreibt, was genau man generieren möchte und welchen Stil das Bild haben soll. Für den Text Prompt „a polar bear lounging in a tropical resort at the beach, pixel art“ ergeben sich beispielsweise diese Ergebnisse:

Dabei können solche Generatoren auf den bereits existierenden Technologien basieren, wie beispielsweise dem natural language model GPT-3, welches natürliche Sprache verstehen und verarbeiten kann. Auch das Bild-Text-Model CLIP, welches passende Textbeschreibungen für Bilder findet, wird im Trainingsprozess genutzt. Generell besitzen Text zu Bild Generatoren ein riesiges neural network (das Gehirn der KI), welches durch deep learning tiefe Strukturen in Daten erkennen kann. Im Gegensatz zum traditionellen machine learning, bei dem Computer lediglich lernen, bestimmte Aufgaben auszuführen, können mit deep learning komplexere Aufgaben erledigt werden.

Will man also ein Bild mit dieser Technologie generieren, so geschieht dies in zwei Schritten:

Im oberen Teil des Bildes sieht man den KI-Trainingsprozess von CLIP. Der Generator nutzt das CLIP Modell, um Text-Bild Paare zu kodieren und einen sogenannten Latent Code zu erstellen.

Im unteren Teil des Bildes sieht man den zweiten Schritt, wo der Text Prompt zu einem neuen Bild umgewandelt wird. Im zweiten Schritt wird der Latent Code der Text-Bild Paare genommen und durch einen sogenannten Prior geschickt. Danach wird ein Generator namens Decoder genutzt, um neue Variationen des Bildes zu erstellen, welche mit dem eingegebenen Text Prompt übereinstimmen. Durch unterschiedliche Texteingaben kann die künstliche Intelligenz eine Vielzahl an verschiedenen Bildern erstellen. 

Welchen Mehrwert haben Text zu Bild Generatoren für Anwender?

Momentan befinden sich viele Text zu Bild Generatoren noch im Teststadium und sind nur für ausgewählte User zugänglich, jedoch will beispielsweise OpenAI die Technologie zeitnah öffentlich machen. Dadurch würden sich zahlreiche Anwendungsmöglichkeiten für verschiedenste Branchen ergeben:

1. Online Inhalte: Text zu Bild Generatoren sind ein kreatives Werkzeug und könnten dabei helfen, online Inhalte zu erschaffen. Sie verfügen über eine Reihe von Funktionen, mit denen man ohne Vorkenntnisse Bilder in verschiedenen Stilrichtungen kreieren kann. Braucht man beispielsweise für einen Reiseblog ein realistisches Bild von New York Citys Skyline, so ist man nicht mehr auf repetitive Copyright-freie Bilder angewiesen, sondern kann originelle Bilder effektiv selbst generieren. Hier ist zum Beispiel das Resultat des Prompts „New York City Skyline at dawn with a flock of birds flying in the sky“:

2. Marketing: Text zu Bild Generatoren könnten Unternehmen im Marketing-Bereich unterstützen, indem sie den Nutzern die Möglichkeit geben, kreative Ideen und Inhalte für ihre Kampagnen zu entwickeln. Mit Text zu Bild Generatoren lassen sich sekundenschnell visuelle Aspekte für eine Kampagne generieren, sodass man nicht mehr auf Stockfotografie oder Fotografen angewiesen ist. Braucht man zum Beispiel ein Bild von einer Vorlesung für eine Werbekampagne, so kann man einfach „A professor giving a lecture to an audience“ als Text Prompt eingeben:

3. Produktinnovation:  Text zu Bild Generatoren können helfen, innovative Produktdesigns zu erstellen, indem sie Bilder von den Produkten generieren, die man herstellen möchten. Dies kann helfen, sich schnell und einfach ein besseres Bild von dem Produkt zu machen und es besser zu vermarkten, ohne einen Digital Art Experten dafür beauftragen zu müssen. Hier ist ein Beispiel für den Text Prompt „A 3d render of green sneakers with a black flame design“:

Wie man sieht, lassen sich mit Text zu Bild Generatoren viele Kosten und Mühen sparen, und zwar in den verschiedensten Branchen. Es ist nur eine Frage der Zeit, bis die neue Technologie auf den Markt kommt und ihr Potenzial voll ausgeschöpft werden kann. 

Wo hat Text zu Bild Generation seine Grenzen?

• Die Bilder, die generiert werden, weisen soziale Vorurteile auf und repräsentieren nicht immer die Diversität der Gesellschaft in Aspekten wie Nationalität, Hautfarbe, Sexualität, Geschlecht und Religion.
• Es gibt Schwierigkeiten, Details in komplexen Szenen darzustellen.
• Text zu Bild Generatoren schaffen es momentan oft nicht verständliche Texte in den Bildern generieren.
• Es gibt Probleme damit, die richtigen physischen Attribute den Objekten in einem Bild zuzuordnen.
• Text zu Bild Generatoren können bis jetzt nur mit englischen Text Prompts genutzt werden und funktionieren nicht akkurat mit deutschen Beschreibungen. 
• Text zu Bild Generatoren basieren auf einer beschränkten Datenbank, die bestimme Themengebiete wie Schusswaffen, Sexualität, etc. absichtlich ausschließt, sodass man keine Bilder im Rahmen dieser Kategorien generieren kann. 
• Es gibt Probleme damit Gesichter zu generieren, wenn man ein Bild erstellt, in dem mehrere Leute zu sehen sind. Die Gesichter wirken verzerrt und nicht menschlich. 

Wie sieht die Zukunft von Text zu Bild Generatoren aus?

Fazit ist, dass Text zu Bild Generatoren eine faszinierende und vielseitig anwendbare Technologie besitzen, die in Zukunft sicherlich noch weiterentwickelt wird, um noch bessere Bilder zu erstellen. Sie werden mit Sicherheit weiterhin dazu beitragen, die Grenzen künstlicher Intelligenz zu erweitern und neue Anwendungsbereiche für KI zu erschließen. Zum Beispiel könnten Text zu Bild Generatoren bald dazu in der Lage sein, auch komplexere Aufgaben zu lösen, wie zum Beispiel das Erstellen von 3D-Objekten oder die Erkennung von Gesichtern.  Dies ist jedoch nur Spekulation  – die wahren Möglichkeiten von Text zu Bild Generatoren sind noch ungewiss. Wir können also gespannt sein, was die Zukunft für KI-Systeme bereithält.