Versuch & Irrtum | 2023-09

Die Integration von Werkzeugen, die auf Basis von Maschinenintelligenz funktionieren, halten zunehmend Einzug in die gestalterisch-künstlerische Praxis. Wie wollen wir mit künstlicher Intelligenz interagieren? Wie sollten Werkzeuge geformt sein, um uns in Kreation und Kreativität zu ermächtigen und zu inspirieren, anstatt uns zu entmündigen? In welcher Situation bietet der Einsatz von KI einen wirklichen Mehrwert und rechtfertigt die Kosten?
Durch Maschinenintelligenz transformiert sich unser Verständnis von schöpferischem Wert in unserer Gesellschaft. Deswegen sollten wir festhalten, wie und zu welchem Preis wir mit maschinellem Lernen heute und in Zukunft umgehen wollen.
Der Begriff KI ist für die meisten Menschen eine Blackbox: Funktionsweise und Interaktion mit der KI sind in der Regel nicht bewußt differenzierbar, da diese ausschliesslich hinter moderierten Fassaden stattfindet. Die Frage stellt sich also: wie eignen wir uns KI für künstlerisch-gestalterische Arbeit an?
Von Versuch und Irrtum zur Werkzeugkette
Ein großer Teil künsterisch-gestalterischer Interaktion mit KI basiert im Moment auf Versuch und Irrtum. Mit steigender Komplexität von künstlichen neuronalen Netzwerken, steigt ebenfalls die Unvorhersehbarkeit in Verhalten der Apparate. Improvisation und Flexibilität, die im gestalterischen Prozess schon immer eine große Rolle gespielt haben, bilden in dem Zusammenhang einen neuen Horizont, wie kreative Methodiken und Technologie in Dialog treten kann – wie uns die Maschine befähigen, inspirieren, fordern aber auch frustrieren kann.
Das kann allerdings nur geschehen, wenn wir beginnen, uns eigene, für den individuellen kreativen Stil passende, Werkzeuge entwickeln. Möglich wird dies nur durch eigenes, experimentelles, exploratives Gestalten mit quelloffenen Werkzeugen und Modellen – und die damit verbundene Entwicklung eigener Werkzeuge oder Werkzeugketten. Der eigene gestalterischer Anspruch und der Stil des Ausdrucks können dabei eine Orientierung bieten.
Verkörperung / embodiment
Wir erleben die Welt um uns, durch, und mit unserem Körper. Die Verkörperung der Gestaltung von Benutzeroberflächen zwischen Mensch und Maschine ist in Anbetracht der Funktionsweise und Leistungsfähigkeit von KI von besonderer Bedeutung.
Die Interaktion die näher am menschlichen Erleben bzw. dessen Erwartung ist, wirkt für den Nutzer natürlich und intuitiv, wie der haptische und thermische Reiz an unseren Fingern beim Berühren eines Gegenstandes. Unser Körper spielt eine entscheidende Rolle dabei, wie wir unsere Umwelt begreifen. KI-Werkzeuge können interessante Schnittstellen bilden um die Interaktion zwischen Mensch und Maschine auf neue Weise zu entdecken in dem wir Körperbewegungen mit Formen, Farben mit Klängen oder unsere Stimmlage als Farbpalette, miteinander verbinden.
Synesthäsie
Synästhesie ist ein neurologisches Phänomen, bei dem ein sensorischer oder kognitiver Pfad im menschlichen Hirn unwillkürliche Erfahrungen in einem anderen auslöst. Einige Synästhetiker assoziieren beispielsweise Farben mit Zahlen oder Geschmacksempfindungen, wenn sie Musik hören. KI kann eine interessante Rolle bei der Verbindung dieses Konzepts in Verbindung mit Benutzeroberflächen spielen. KI-gesteuerte Schnittstellen können Lücken zwischen verschiedenen Sinnesmodalitäten schließen, indem sie Informationen von einer Form in eine andere übersetzen. Sie können beispielsweise visuelle Daten in akustisches Feedback für Benutzer mit Sehbehinderungen umwandeln und so visuelle Informationen effektiv durch Ton vermitteln und so dem Konzept der Synästhesie entsprechen.
Maschinenintelligenz kann so Gestaltern helfen, synästhetische Erlebnisse zu schaffen. Es kann Inhalte generieren, die spezifische Sinnesassoziationen auslösen und so zu innovativen gestalterischen Ausdrucksformen in interaktiven Medien führen.
NEXT GPT > check das aus! totdo!
Neue Aesthetiken
Es ist offensichtlich, das Maschinenintelligenz eine transformierende Wirkung auf Methoden der Gestaltung hat. Aengste um die Abloesung des Menschen in kreativen Bereichen drehen sich im Moment vorrangig darum, das bestehende Gewerke von KI ersetzt werden – ganze Berufzweige wegfallen werden. Dies wird sicherlich an einigen Stellen passieren. Es ist hingegen abzusehen, das neue schoepferische Methoden mit KI enstehen werden und darueber hinaus vollkommen neue Aesthetiken erwachsen werden.
Neue Kollaborationen
Über maschine und NN’s werden neue Formen der Kollaboration möglich sein… welche genau? Was hatr das für einen Vorteil?
Prototypen
Im Folgenden finden Sie eine Sammlung von Designprototypen und Experimenten, die Aspekte dieser Debatte aufgreifen oder einen spezifischen Aspekt beleuchten, wie wir in naher Zukunft mit maschineller Intelligenz interagieren könnten.
Textbasierte Interaktion
Leitfaden zum prompt engineering in Stable Diffusion

.
.
promt guide for chatGPT / LLM
Bildbasierte Interaktion
Bildgestaltung durch DepthMaps in ControlNET/Stable Diffusion/A1111

Bildgestaltung durch schemenhafte Skizzierung in ScribleNET/Stable Diffusion/A1111

Bildgestaltung durch sketch prompting in img2img/Sketch/Stable Diffusion/A1111

SUPERPAINT – explorative painting tool with Machine Learning 
experiments with shared latent image 
design experiments with inpaint sketch/A1111
annotated segement based rendering in A1111 
guide styles through lora networks 
Audiobasierte Interaktion
audio to image with Stable Diffusion and p5.js
.
NLP – natual language processing
Bewegungsbasierte Interaktion
SHAPED BY MOTION
.
.
3D basierte Interaktion
Blender & Automatic1111

Shadergraphing Midjourney Output in Unity

.
Kombinierte Interaktion
.
.
.
Experimentelle Interaktion
vibration / mechanische
Geruch
.
Experimentelle ML basierte Render Pipelines
experimental img2img rendering workflows with ComfyUI

experimental realtime preprocessing img2img workflows with Touchdesigner

Motionbuffer to Material and Shape /Touchdesigner2Stable Diffusion

Training und Daten
Unsupervised training of custom LORA tools
Geruch
.
Die Integration von Werkzeugen, die auf Basis von Maschinenintelligenz funktionieren, halten zunehmend Einzug in die gestalterisch-künstlerische Praxis. Wie wollen wir mit künstlicher Intelligenz interagieren? Wie sollten Werkzeuge geformt sein, um uns in Kreation und Kreativität zu ermächtigen und zu inspirieren, anstatt uns zu entmündigen? In welcher Situation bietet der Einsatz von KI einen wirklichen Mehrwert und rechtfertigt die Kosten?
Durch Maschinenintelligenz transformiert sich unser Verständnis von schöpferischem Wert in unserer Gesellschaft. Deswegen sollten wir festhalten, wie und zu welchem Preis wir mit maschinellem Lernen heute und in Zukunft umgehen wollen.
Der Begriff KI ist für die meisten Menschen eine Blackbox: Funktionsweise und Interaktion mit der KI sind in der Regel nicht bewußt differenzierbar, da diese ausschliesslich hinter moderierten Fassaden stattfindet. Die Frage stellt sich also: wie eignen wir uns KI für künstlerisch-gestalterische Arbeit an?
Von Versuch und Irrtum zur Werkzeugkette
Ein großer Teil künsterisch-gestalterischer Interaktion mit KI basiert im Moment auf Versuch und Irrtum. Mit steigender Komplexität von künstlichen neuronalen Netzwerken, steigt ebenfalls die Unvorhersehbarkeit in Verhalten der Apparate. Improvisation und Flexibilität, die im gestalterischen Prozess schon immer eine große Rolle gespielt haben, bilden in dem Zusammenhang einen neuen Horizont, wie kreative Methodiken und Technologie in Dialog treten kann – wie uns die Maschine befähigen, inspirieren, fordern aber auch frustrieren kann.
Das kann allerdings nur geschehen, wenn wir beginnen, uns eigene, für den individuellen kreativen Stil passende, Werkzeuge entwickeln. Möglich wird dies nur durch eigenes, experimentelles, exploratives Gestalten mit quelloffenen Werkzeugen und Modellen – und die damit verbundene Entwicklung eigener Werkzeuge oder Werkzeugketten. Der eigene gestalterischer Anspruch und der Stil des Ausdrucks können dabei eine Orientierung bieten.
Verkörperung / embodiment
Wir erleben die Welt um uns, durch, und mit unserem Körper. Die Verkörperung der Gestaltung von Benutzeroberflächen zwischen Mensch und Maschine ist in Anbetracht der Funktionsweise und Leistungsfähigkeit von KI von besonderer Bedeutung.
Die Interaktion die näher am menschlichen Erleben bzw. dessen Erwartung ist, wirkt für den Nutzer natürlich und intuitiv, wie der haptische und thermische Reiz an unseren Fingern beim Berühren eines Gegenstandes. Unser Körper spielt eine entscheidende Rolle dabei, wie wir unsere Umwelt begreifen. KI-Werkzeuge können interessante Schnittstellen bilden um die Interaktion zwischen Mensch und Maschine auf neue Weise zu entdecken in dem wir Körperbewegungen mit Formen, Farben mit Klängen oder unsere Stimmlage als Farbpalette, miteinander verbinden.
Synesthäsie
Synästhesie ist ein neurologisches Phänomen, bei dem ein sensorischer oder kognitiver Pfad im menschlichen Hirn unwillkürliche Erfahrungen in einem anderen auslöst. Einige Synästhetiker assoziieren beispielsweise Farben mit Zahlen oder Geschmacksempfindungen, wenn sie Musik hören. KI kann eine interessante Rolle bei der Verbindung dieses Konzepts in Verbindung mit Benutzeroberflächen spielen. KI-gesteuerte Schnittstellen können Lücken zwischen verschiedenen Sinnesmodalitäten schließen, indem sie Informationen von einer Form in eine andere übersetzen. Sie können beispielsweise visuelle Daten in akustisches Feedback für Benutzer mit Sehbehinderungen umwandeln und so visuelle Informationen effektiv durch Ton vermitteln und so dem Konzept der Synästhesie entsprechen.
Maschinenintelligenz kann so Gestaltern helfen, synästhetische Erlebnisse zu schaffen. Es kann Inhalte generieren, die spezifische Sinnesassoziationen auslösen und so zu innovativen gestalterischen Ausdrucksformen in interaktiven Medien führen.
NEXT GPT > check das aus! totdo!
Neue Aesthetiken
Es ist offensichtlich, das Maschinenintelligenz eine transformierende Wirkung auf Methoden der Gestaltung hat. Aengste um die Abloesung des Menschen in kreativen Bereichen drehen sich im Moment vorrangig darum, das bestehende Gewerke von KI ersetzt werden – ganze Berufzweige wegfallen werden. Dies wird sicherlich an einigen Stellen passieren. Es ist hingegen abzusehen, das neue schoepferische Methoden mit KI enstehen werden und darueber hinaus vollkommen neue Aesthetiken erwachsen werden.
Neue Kollaborationen
Über maschine und NN’s werden neue Formen der Kollaboration möglich sein… welche genau? Was hatr das für einen Vorteil?
Prototypen
Im Folgenden finden Sie eine Sammlung von Designprototypen und Experimenten, die Aspekte dieser Debatte aufgreifen oder einen spezifischen Aspekt beleuchten, wie wir in naher Zukunft mit maschineller Intelligenz interagieren könnten.
Textbasierte Interaktion

Bildbasierte Interaktion








Audiobasierte Interaktion

Bewegungsbasierte Interaktion

3D basierte Interaktion


Kombinierte Interaktion
Experimentelle Interaktion
Experimentelle ML basierte Render Pipelines


