Versuch & Irrtum | 2023-09

Die Integration von Werkzeugen, die auf Basis von Maschinenintelligenz funktionieren, halten zunehmend Einzug in die gestalterisch-künstlerische Praxis. Wie wollen wir mit künstlicher Intelligenz interagieren? Wie sollten Werkzeuge geformt sein, um uns in Kreation und Kreativität zu ermächtigen und zu inspirieren, anstatt uns zu entmündigen? In welcher Situation bietet der Einsatz von KI einen wirklichen Mehrwert und rechtfertigt die Kosten?

Durch Maschinenintelligenz transformiert sich unser Verständnis von schöpferischem Wert in unserer Gesellschaft. Deswegen sollten wir festhalten, wie und zu welchem ​​Preis wir mit maschinellem Lernen heute und in Zukunft umgehen wollen.
Der Begriff KI ist für die meisten Menschen eine Blackbox: Funktionsweise und Interaktion mit der KI sind in der Regel nicht bewußt differenzierbar, da diese ausschliesslich hinter moderierten Fassaden stattfindet. Die Frage stellt sich also: wie eignen wir uns KI für künstlerisch-gestalterische Arbeit an?

Von Versuch und Irrtum zur Werkzeugkette

Ein großer Teil künsterisch-gestalterischer Interaktion mit KI basiert im Moment auf Versuch und Irrtum. Mit steigender Komplexität von künstlichen neuronalen Netzwerken, steigt ebenfalls die Unvorhersehbarkeit in Verhalten der Apparate. Improvisation und Flexibilität, die im gestalterischen Prozess schon immer eine große Rolle gespielt haben, bilden in dem Zusammenhang einen neuen Horizont, wie kreative Methodiken und Technologie in Dialog treten kann – wie uns die Maschine befähigen, inspirieren, fordern aber auch frustrieren kann.

Das kann allerdings nur geschehen, wenn wir beginnen, uns eigene, für den individuellen kreativen Stil passende, Werkzeuge entwickeln. Möglich wird dies nur durch eigenes, experimentelles, exploratives Gestalten mit quelloffenen Werkzeugen und Modellen – und die damit verbundene Entwicklung eigener Werkzeuge oder Werkzeugketten. Der eigene gestalterischer Anspruch und der Stil des Ausdrucks können dabei eine Orientierung bieten.

Verkörperung / embodiment

Wir erleben die Welt um uns, durch, und mit unserem Körper. Die Verkörperung der Gestaltung von Benutzeroberflächen zwischen Mensch und Maschine ist in Anbetracht der Funktionsweise und Leistungsfähigkeit von KI von besonderer Bedeutung.
Die Interaktion die näher am menschlichen Erleben bzw. dessen Erwartung ist, wirkt für den Nutzer natürlich und intuitiv, wie der haptische und thermische Reiz an unseren Fingern beim Berühren eines Gegenstandes. Unser Körper spielt eine entscheidende Rolle dabei, wie wir unsere Umwelt begreifen. KI-Werkzeuge können interessante Schnittstellen bilden um die Interaktion zwischen Mensch und Maschine auf neue Weise zu entdecken in dem wir Körperbewegungen mit Formen, Farben mit Klängen oder unsere Stimmlage als Farbpalette, miteinander verbinden.

Synesthäsie

Synästhesie ist ein neurologisches Phänomen, bei dem ein sensorischer oder kognitiver Pfad im menschlichen Hirn unwillkürliche Erfahrungen in einem anderen auslöst. Einige Synästhetiker assoziieren beispielsweise Farben mit Zahlen oder Geschmacksempfindungen, wenn sie Musik hören. KI kann eine interessante Rolle bei der Verbindung dieses Konzepts in Verbindung mit Benutzeroberflächen spielen. KI-gesteuerte Schnittstellen können Lücken zwischen verschiedenen Sinnesmodalitäten schließen, indem sie Informationen von einer Form in eine andere übersetzen. Sie können beispielsweise visuelle Daten in akustisches Feedback für Benutzer mit Sehbehinderungen umwandeln und so visuelle Informationen effektiv durch Ton vermitteln und so dem Konzept der Synästhesie entsprechen.
Maschinenintelligenz kann so Gestaltern helfen, synästhetische Erlebnisse zu schaffen. Es kann Inhalte generieren, die spezifische Sinnesassoziationen auslösen und so zu innovativen gestalterischen Ausdrucksformen in interaktiven Medien führen.

NEXT GPT > check das aus! totdo!

Neue Aesthetiken

Es ist offensichtlich, das Maschinenintelligenz eine transformierende Wirkung auf Methoden der Gestaltung hat. Aengste um die Abloesung des Menschen in kreativen Bereichen drehen sich im Moment vorrangig darum, das bestehende Gewerke von KI ersetzt werden – ganze Berufzweige wegfallen werden. Dies wird sicherlich an einigen Stellen passieren. Es ist hingegen abzusehen, das neue schoepferische Methoden mit KI enstehen werden und darueber hinaus vollkommen neue Aesthetiken erwachsen werden.

Neue Kollaborationen

Über maschine und NN’s werden neue Formen der Kollaboration möglich sein… welche genau? Was hatr das für einen Vorteil?


Prototypen

Im Folgenden finden Sie eine Sammlung von Designprototypen und Experimenten, die Aspekte dieser Debatte aufgreifen oder einen spezifischen Aspekt beleuchten, wie wir in naher Zukunft mit maschineller Intelligenz interagieren könnten.

Textbasierte Interaktion

  • Leitfaden zum prompt engineering in Stable Diffusion

  • .
  • .
  • promt guide for chatGPT / LLM
  • Bildbasierte Interaktion

  • Bildgestaltung durch DepthMaps in ControlNET/Stable Diffusion/A1111
  • Bildgestaltung durch schemenhafte Skizzierung in ScribleNET/Stable Diffusion/A1111

  • Bildgestaltung durch sketch prompting in img2img/Sketch/Stable Diffusion/A1111

  • SUPERPAINT – explorative painting tool with Machine Learning
  • experiments with shared latent image
  • design experiments with inpaint sketch/A1111
  • annotated segement based rendering in A1111
  • guide styles through lora networks
  • Audiobasierte Interaktion

  • audio to image with Stable Diffusion and p5.js
  • .
  • NLP – natual language processing
  • Bewegungsbasierte Interaktion

  • SHAPED BY MOTION

  • .
  • .
  • 3D basierte Interaktion

  • Blender & Automatic1111
  • Shadergraphing Midjourney Output in Unity

  • .
  • Kombinierte Interaktion

  • .
  • .
  • .
  • Experimentelle Interaktion

  • vibration / mechanische
  • Geruch
  • .
  • Experimentelle ML basierte Render Pipelines

  • experimental img2img rendering workflows with ComfyUI

  • experimental realtime preprocessing img2img workflows with Touchdesigner

  • Motionbuffer to Material and Shape /Touchdesigner2Stable Diffusion

  • Training und Daten

  • Unsupervised training of custom LORA tools
  • Geruch
  • .