semiotics of the algorithm

Wenn wir zum Himmel blicken und einen Schwarm Vögel oder die Formation eines Fischschwarms unter Wasser betrachten, so blicken wir auf komplexe Systeme, die sowohl charakteristisch für ihre Diversität in Form – aber vor allem für ihr scheinbar unberechenbares systemisches Verhalten – sind. Die erst junge Wissenschaft der komplexen Systeme beschäftigt sich mit der Erforschung von diesen Phänomenen indirekter Kausalität.

Die Forschung bearbeitet dabei unter anderem folgende Fragen: Durch welches Verhalten können die einzelnen Teile eines Systems das Verhalten des gesamten Systems beeinflussen? In welcher Abhängigkeit steht ein System mit seiner Umgebung? – Wir finden Komplexe Systeme in allen Bereichen unserer Lebenswelt – angefangen von der Neuronenstruktur unseres Gehirns, im Aufbau von Molekülen, die aus Kombinationen von Atomen zusammengesetzt sind – in unserem Wetter, das von Luftströmungen beeinflusst wird, die wiederum durch Erdrotation und Gravitation beeinflusst werden. Die Wissenschaft komplexer Systeme durchdringt alle traditionellen Disziplinen von Wissenschaft, Architektur, Design bis hin zu Kunst.

Was macht ein Komplexes System aus? – Die Antwort ist einfach und komplex zugleich: Probleme, die für uns schwer zu lösen sind, sind oft ebenso schwer zu verstehen, da deren Ursachen und Auswirkungen nicht im direkten Zusammenhang zueinander stehen, bzw. für uns ohne weiteres nicht erkennbar sind. Ein Komplexes System an einer Stelle zu beeinflussen kann konsequenzlos bleiben, kann aber auch eine Reihe von Konsequenzen an anderer Stelle erzeugen. Komplexe Systeme werden aktuelle anhand von drei Methoden beleuchtet:

  1. Modellierung von Interaktionsgeflechten zur Entwicklung von Verhaltensrastern – (bottom up Methode)
  2. Modellierung von komplexen Verhaltensrastern und der Inklusion entsprechender evolutionärer Prozesse – (top down Methode)
  3. Entwicklung einer Sprache um komplexe Systeme beschreiben zu können

Im Rahmen meiner Arbeit werde ich mich vor allem an der dritte Herangehensweise orientieren und diese mit Methoden aus dem Design und der Kunst erweitern. Der Ausgangspunkt für mich ist dabei folgende Fragestellung:

Schrift und Sprache sind unsere primären Werkzeuge zur Kommunikation und zur Abbildung von Wissen. Darüber hinaus stehen uns Methoden der graphischen Darstellungen zu Verfügung, beispielsweise das Diagramm oder die Zeichnungen. Diese Werkzeuge entstammen einer Kultur, die sich weit vor den technischen Möglichkeiten von heute – entwickelt hat. Sind wir in der Lage mit diesen Werkzeugen die Nonlinearität Komplexer Systeme abzubilden? Welche Rolle können die Methoden aus Design und Kunst in dieser Forschung spielen? Sind wir vielleicht sogar in der Lage eine visuelle Grammatik zu entwickeln um Komplexität abbilden zu können?

Zielstellungen

  1. Entwicklung einer visuellen Grammatik und eines entsprechenden Vokabulars zur Abbildung nonlinearer, multidimensionaler komplexer Systeme.
  2. Entwicklung einer Didaktik zur Interpretation von Komplexen Visualisierungen.
  3. Entwicklung von Schnittstellen zur Anbindung an geeignete Datenquellen um die Entwicklung von praxisnahen Anwendungen zu ermöglichen.
  4. Diskursive Vermittlungsangebote und Öffentlichkeitsarbeit mit den Mitteln des Designs und der Kunst um interdisziplinäre Schnittstellen bereitzustellen.

Herangehensweise

Das Zeichnen mit der Hand
Um meine Arbeitsweise und die Annäherung an das Thema aufzuzeigen nehmen wir als Ausgangspunkt eine Tuschezeichnung her – die von mir per Hand angefertigt wurde. Diese Zeichnung ist durch die Ausführung eines Regelwerks entstanden, das der Arbeit zugrunde liegt. Dabei handelt es sich um eine Reihe an Regeln, die durch eine sequenzielle Bearbeitung zur abgebildeten Darstellung geführt haben. Das Resultat dieses Prozesses ist eine sehr diverse visuelle Form, welche vor allem durch die Verzahnung der einzelnen Interaktionen im Regelwerk entstanden ist. Wir sehen hier die typischen Charakteristika eines Komplexen Systems abgebildet die wir mit der bottom- up Methode erfahren – mit Hilfe von sehr einfachen Hilfsmitteln: mit Stift und Papier.

Die Übersetzung in Code – Maschine als Werkzeug
Ausgehend von den händischen Vorarbeiten gilt es nun das visuelle System/Regelwerk für die Maschine zu übersetzen. – Wie ist das möglich? – Das zugrundeliegende Regelwerk besteht aus einfachen Anweisungen und Bedingungen – aus einem verschachtelten Algorithmus der in Code und damit in Maschinensprache übersetzen lässt. Die Maschine ist weit effizienter im Ausführen von festgelegten Sequenzen als der Mensch. Mit der Maschine als Werkzeug ist dem Mensch in der Lage, sehr komplexe Algorithmen zu entwerfen und ausführen zu können, die für den Mensch nur unter großer Anstrengung zu realisieren wären.

Der Algorithmus und die Maschine sind demnach effiziente Werkzeuge um Faktoren zu erforschen, die einen prägnanten Einfluss auf ein Komplexes System haben. (Methode top-down) Die Grundvoraussetzung um diese Faktoren allerdings erkennen zu können liegt darin die generierten visuellen Resultate in aller Konsequenz zu lesen und interpretieren zu können. Die Lesbarkeit dieser Grafiken, bzw. die Entwicklung einer Grammatik zur Entwicklung von lesbaren komplexen Grafiken umfasst das Kernthema meiner Arbeit.

Den Algorithmus mit Bedeutung aufladen
Die Maschine ist ein universelles Werkzeug und kann von uns Menschen mit diversen Tätigkeiten beauftragt werden. Am Beispiel Komplexer Systeme sind wir in der Lage Algorithmen mit Datenquellen zu verbinden, also das Verhalten von Agenten direkt mit Kontext aufzuladen. Dadurch entsteht ein Metakontext, der direkt in eine visuelle Form übersetzt werden kann. Zur Veranschaulichung dessen möchte ich die Skizze Typoplant vorstellen:
Nehmen wir einen herkömmlichen Textabschnitt her – Welche Art der formalen bzw. sequentiellen Betrachtung sind für uns vorstellbar? Die Graphik zeigt die Visualisierung eines Textabschnittes nach metrischen Parametern unseres Laut- und Schriftsystems. Der Algorithmus ermittelt Profilkurven aus der Textgeschwindigkeit, der Wort- und Satzlänge sowie des Wort- und Satzklangs um daraus eine für uns lesbare Form zu generieren. Durch eine Lesehilfe/Legende sind wir in der Lage Informationen aus der Darstellung zu erhalten (Erläuterung siehe Grafik Unterschrift). Die metrischen Eigenschaften des Textes sind an dem Beispiel in eine organisch anmutende Form übersetzt worden. Trotzdem fällt es uns schwer die Gesamtheit der Datenkonstellation zu entschlüsseln. Warum ist das so?

plant

Ein beliebiger Text wird mit einem Algorithmus analysiert (Abbildung rechts). Daraus entsteht eine Metadatenbank aus Textgeschwindigkeit (Verhältnis von Wortlänge und Anzahl der Leerzeichen im Satz), Klangfarbe der Wörter (Verhältnis von Vokalen und Konsonanten im Wort) aber auch Entitäten, also oft vorkommende Schlüsselwörter im Text. Diese Parameter sind die Grundlage für die graphische Abbildung links — einer Pflanze ähnlich. Die Textgeschwindigkeit koppelt sich dabei an die Wachstumsgeschwindigkeit und die Klangfarbe an die Wachstumsrichtung. Aus diesen und weiteren Parametern entsteht damit eine mehrdimensionale Visualisierung der linearen Datenquelle Text.

Wir können es sehen, aber doch nicht ganz verstehen
Betrachten wir zur weiteren Veranschaulichung ein einfacheres Beispiel. (Graphik unten) Wir sehen den Ausschnitt einer Zeichnung, die nach der Abhandlung eines kompakten Regelwerks entstanden ist. Betrachten wir die graphischen Elemente und deren Attribute (z.B. Position, Linienanzahl, Rotation, Länge) dann sind wir in der Lage eine Skizze der Grundregeln dieses visuellen Systems in unserem Geist herzustellen. Gehen wir von diesem Punkt aus weiter, stoßen wir auf ein Problem:
Wenn wir beginnen die Attribute mit Bedeutung aufzuladen (Länge = Zeit, Linienmenge = Masse, Rotation = Veränderlichkeit) entsteht ein komplexes Geflecht aus Abhängigkeiten und Konstellationen von Bedeutungen. Wir sind kulturell nicht darauf konditioniert Visualisierungen auf solch eine Art lesen zu können. Was also können wir tun?

Die visuelle Konditionierung
Die Maschine ermöglicht es dem Menschen alle erdenklichen Arten von Visualisierungen zu erzeugen. Wir sind in der Lage die komplexesten graphischen Darstellungen selbst nach Vorbild von Systemen unserer Welt zu erzeugen, denken wir an Wettersimulationen oder Gencode Sequenzierungen. Trotz dieser Möglichkeiten sind wir Menschen in unserer visuellen Didaktik mit einem überschaubaren Vokabular konditioniert. Um Komplexität verstehen zu können müssen wir Komplexität erfassen können und in ein für uns lesbares Format übersetzen. Interessanterweise verwenden wir täglich genau diese Art von System – unsere gesprochene und geschriebene Sprache.

Damit wir in der Lage sind einen Text zu verstehen, reicht es nicht aus, alle Buchstaben des Alphabetes zu kennen oder die Wörter, die aus jenen gebildet werden können. Erst die inhaltliche Aufladung und vor allem der Kontext der Wörter zueinander – versetzt uns in die Lage einen Inhalt darin zu erkennen. Genauso wie hinter jedem Wort und und jedem Satz, steckt hinter jedem visuellen Algorithmus eine spezifische Semiologie. Ein kleines Beispiel: Beim Betrachten einer Baumscheibe können wir die Jahresringe erkennen, oft dunkelbraun abgehobene amorphe Ringe, die sich vom Zentrum zum Objektrand ausbreiten. Ergänzend zur visuellen Information wissen wir allerdings, das sich der Baumstamm Jahr für Jahr von Innen nach Außen erneuert und dadurch die sichtbaren ringhaften Zeichnungen ausbildet, die dadurch für uns zum Schlüssel der Interpretation werden können. Wir können also daraus schließen den Ausschnitt eines jahrzehntelangen Wachstumsprozesses vor uns zu haben. Das Resultat eines andauernden algorithmischen Systems.

Morphologie und Algorithmus
Ein Biologe ist in der Lage vielschichtige Informationen zur Art oder zum Zustand – durch den Blick auf die Abbildung eines Zellgewebes zu erhalten. Diese Kompetenz basiert auf einer spezifischen visuellen Bildung, bei der beispielsweise Form, Färbung, Anordnung und Muster eine entscheidende Rolle spielen. Die Biologie beruft sich dabei auf Erkenntnisse, die durch vorangegangene Forschung bereits belegt worden ist. Im Gegensatz dazu verfügt die visuelle Algorithmik nur über wenige solcher Konvention. Wir Menschen sind vorrangig durch visuelle Konditionierung durch unsere Umwelt und unsere biologisch-sensorischen Grundvoraussetzungen geprägt. Um die u.g. Graphik interpretieren zu können können wir uns allerdings zunächst folgende Fragen stellen:

DSC_0077

  • Welchen Gesamteindruck vermittelt uns die Grafik?
  • Wodurch gliedert sich die Abbildung?
  • Welche Grundformen und Variationen sind auszumachen?
  • Welche formalen Übergänge, Variationen, Defekte oder Parallelen lassen sich ausmachen?
  • Wie orientieren wir uns in dieser Art der visuellen Darstellung? Wo beginnen wir zu lesen? Gibt es eine Leserichtung?
  • Welche Rolle spielt der Einfluss von symbolischer Bedeutung der Zeichnung? (Erinnert mich an…)
  • Welche Rolle spielen kognitionspsychologische, sensorische Reize im Wahrnehmungsprozess?
  • Welche Systeme/Algorithmen könnten die Grundlage für die abgebildete Form sein?

Betrachten wir die Zeichnung als Momentaufnahme eines fortlaufenden Wachstumsprozesses. Um Erkenntnisse zur Entstehung, zum Zustand oder zur Fortentwicklung treffen zu können, ist es für uns essentiell zu wissen, nach welchen Regeln das Wachstum stattgefunden hat. In der u.g. Abbildung sind Variationen eines Algorithmus abgebildet (L-System) die zu unterschiedlichen Resultaten geführt haben. Der grundlegende Algorithmus ist jeweils der gleiche, wobei lediglich Parameter variieren. Um diese Art der Darstellung von Information lesen zu können ist es also notwendig die Grammatik des erzeugenden Algorithmus zu verstehen.

lsystems

Nehmen wir eine Landkarte als weiteres Beispiel heran. Durch die Legende können wir die Topographie der abgebildeten Region erkennen, Gebirge, Flussläufe, Gewässer und Ebenen. Anhand der Qualität des Hintergrundwissens zur Region können wir Rückschlüsse zur Entstehung der Topographie ziehen. Vereinfacht könnte man die Entstehung der Landschaft auf Plattentektonik und Erosionsprozesse reduzieren und damit einen Algorithmus umschreiben.

Die Grammatik des Algorithmus

Um die Formen unserer Natur, z.B. Pflanzenwachstum beschreiben zu können verwenden wir mathematische Formalismen wie das Lindenmeyer System – kurz L-System. Dieses beruht auf einem rekursivem, also einem sich wiederholenden Regelwerk, mit welchem sich eine große Bandbreite an in der Natur vorkommenden Formen simulieren lassen. Wenn wir von der Grammatik eines Algorithmus sprechen, was genau meinen wir damit? L-Systeme oder Fraktale beispielsweise basieren jeweils auf einem ähnlichen Regelwerk – die Systeme bedingen und ergänzen einander und sind in Wachstums- als auch Erosionsprozessen wieder zu entdecken. Die charakteristischen Formen lassen sich erstaunlicherweise trotz der funktionalen Verflechtung, durch die Abbildung charakteristischer Formen und Spuren, erkennen. Wir können also davon ausgehen, das sich die algorithmische Grammatik in ihrer formalen Ausbildung manifestiert.

Screenshot_1

Vergleichen wir doch diese algorithmische Grammatik mit der unserem Sprach- und Schriftsystems. Dort arbeiten wir mit Bausteinen aus Lauten – unseren Buchstaben, die wir zu Wörtern formen, die in Verbänden von Wortgruppen und Sätzen nach bestimmten Regeln aneinander geordnet werden. Ist es also anzunehmen, das die Grammatik der mathematischen Formalismen genauso dafür geeignet sein könnte Informationen zu bündeln und lesbar zu machen wie wir es in Wort und Schrift schon praktizieren?

Die Sprache des Algorithmus
Unser Sprach- und Schriftsystem unterscheidet sich markant von der Sprache der Mathematik. Während unsere Sprache auf einem zeit kodierten linearen Austausch von Informationspaketen beruht, beschreibt die Mathematik die Welt in Vergleichen. Bei beiden Systemen handelt es sich jedoch um sehr umfassende Ausdrucksformen. Wo genau verorten wir die visuelle Algorithmik? Könnte die visuelle Algorithmik eine Schnittstelle zwischen gesprochenem Wort und Mathematik darstellen?