Eine Geschichte der künstlichen Intelligenz

Johannes Rabold

Gesina Schwalbe

Diesmal machen wir eine Zeitreise durch die (unserer Meinung nach) wichtigsten Kapitel und Meilensteine der Geschichte künstlicher Intelligenz. Wo kommt sie her? Wie fing es an? War KI schon immer so ein heißes Forschungsthema? Und was waren die wichtigen Treiber und Bremsen in der Geschichte der KI-Forschung? Um das zu beantworten, geht es (nahezu) chronologisch vom 19. bis ins 21. Jahrhundert entlang einiger von uns ausgewählten Ereignisse.

Errata (unsere Kurzschlüsse)

• Der ENIAC Computer wurde erst 1946, nicht schon 1943 vorgestellt. 1943 wurde der Bauvertrag unterzeichnet.
• Das Beispiel, dass ein Modell zur Detektion gegnerischer Panzer einen Bias zum Wetter hatte, scheint ein Mythos zu sein, wie hier recherchiert wurde: https://www.gwern.net/Tanks
  Das macht das Beispiel aber leider nicht unrealistisch 😉

Zusammenfassung: Ganz kurz für Beepo

• KI ist schon über 50 Jahre alt! Die Dartmouth Conference 1956 gilt als Begründung des Forschungsbereichs.
• KI war nicht immer ein komplettes „Hype-Thema“ und hat wenigstens zwei Tiefphasen (KI-Winter) in den 70ern und Ende der 80er hinter sich.
• KI ist nicht losgelöst von Geschichte und Zeitgeist. Z.B. war während des kalten Krieges ein wichtiger Geldgeber immer das Militär.
• Wichtigste Entwicklungstreiber der Forschung an künstlicher Intelligenz:
  • Faszination & Streben nach Automatisierung
  • Wettbewerb zwischen Staaten und große Firmen
  • Theoretische Grundlagen, z.B. Grundlagen der Informatik oder neuronale Netze
  • (mehr) Rechenleistung
  • (mehr) Daten, d.h. Beispiele für das Trainieren von lernenden Algorithmen
• Wichtigste Entwicklungsbremse: Hypes um KI, d.h. zu große und dann stark enttäuschte Erwartungshaltung, weswegen Forschungsgelder wegbrechen; Gründe, weswegen Hypes abrupt endeten:
  • Vorhergesagtes Versagen: Aufdecken theoretischer Limitierungen von „ge-hype-ten“ Ansätzen
  • Nichteintreffen von vorhergesagten Durchbrüchen

Ein Zeitstrahl der KI

• Kapitel I: Die Vorarbeiten
  • Jhd.: Ada Lovelace entwickelt erste Grundlagen des Programmierens.
  • 1920: Der Begriff „Roboter“ wird geprägt in einem Theaterstück.
  • 1936: Alan Turing beschreibt die Turingmaschine, eine theoretische Definition von Computeralgorithmen.
  • 1943 1946: Mit dem ENIAC geht der erste programmierbare & turing-vollständige Computer in Betrieb, d.h. er hat den vollen Funktionsumfang einer Turingmaschine.
  • 1943: Die McCulloch-Pitts-Zelle ist die erste theoretische Beschreibung eines künstlichen Neurons, wie es für künstliche neuronale Netze benötigt wird.
  • 1949: Aus der Psychologie motiviert wird die Hebbsche Lernregel für künstliche neuronale Netze vorgeschlagen („What fires together, wires together“).
  • 1950: Alan Turing beschreibt den Turing-Test als Maß für die Qualität (eigentlich Menschenähnlichkeit) einer KI.
• Kapitel II: Die Gründung und der Anfang
  • 1956: Auf dem Dartmouth College wird das Forschungsfeld der künslichen Intelligenz etabliert
  • 1960: Frank Rosenblatt baut die erste lernfähige Maschine, indem er ein einfaches neuronales Netz implementiert, und ADELINE wird das erste kommerziell breit genutzte neuronale Netz.
  • 1966: Der erste Chatbot ELIZA simuliert mit einfachsten Mitteln erfolgreich psychotherapeutische Gespräche.
• Kapitel III: 1. Winter und der Hype um Expertensysteme
  • 1970er: Im Buch Perceptrons (-> zur engl. Zusammenfassung) beleuchten Misky und Papert Limitierungen damaliger neuronaler Netze, mit ein Auslöser des ersten KI-Winters.
  • 1972: Das Expertensystem MYCIN für medizinische Diagnose zeigt beispielhaft die Stärken und Schwächen von Expertensystemen.
  • 1986: Der Sprachcomputer NETtalk wird veröffentlicht.
• Kapitel IV: Aus dem 2. Winter zurück in die Öffentlichkeit
  • 1987: Der 2. KI-Winter bricht an, ausgelöst durch Enttäuschungen im Bereich der Expertensysteme.
  • 1989: Yann LeCun entwickelt die Architektur der faltenden neuronalen Netzen (Convolutional Neural Network), die später im Computer Vision Bereich abräumen werden. (-> gute Visualisierung der Faltungsoperation und hier ein ausführliche Erklärung auf englisch).
  • 1997: Noch ein Beispiel einer wegweisenden Architektur neuronaler Netze wird entwickelt: Long-Short Term Memory (LSTM) neuronale Netze für sequenzielle Daten wie Text (-> gute Erklärung in Colah’s Blog).
  • ab 1997: jährlicher Robocup Wettbewerbe in verschiedenen Disziplinen
  • 1997: Das System Deep Blue von IBM schlägt mit purer Rechenleistung den amtierenden Schachweltmeister Garry Kasparov.
• Kapitel V: Mit Rechenleistung und Daten zum heutigen Erfolg
  • 2011: „GPU-Revolution“ für neuronale Netze: Technologien für die Nutzung leistungsstärkerer Hardware ebnen den Weg für komplexe KI in großen Skalen.
  • ab 2011: Noch mehr Siege in komplexen Spielen:
    • 2011: Das Expertensystem Watson von IBM gewinnt im Fernsehquizz Jeopardy.
    • 2016: AlphaGo von Google, das u.a. auf einem neuronalen Netz basiert, wird Weltmeister im komplexen Brettspiel Go.
    • 2017: Eine KI siegt im komplexen Strategiespiel Dota 2.
  • ab 2011: Ära der persönlichen Assistenten bis hin zu natürlicher Konversation: u.a. Siri von Apple (2011), Cortana von Microsoft (2014), Amazon Alexa (2015), Google Assistant (2016), IBM Project Debater (2018), Google Duplex (2018), Google LaMDA (2021)
  • 2014: Noch mehr Architekturen: Generative adversariale neuronale Netze (Generative Adversarial Networks, GANs) werden entwickelt. Sie sind heute z.B. für Kunst mithilfe künstlicher neuronaler Netze und DeepFakes verantwortlich. (Hier gibt es eine ausführlichere Einführung in englisch.)
  • 2015: Das Mooresche Gesetz feiert 50-jährige(!) Gültigkeit. Es ist eine Faustregel, die den Anstieg der Komplexität von integrierten Schaltkreisen (also auch Computern) schätzt — je nach Maß in etwa eine Verdopplung alle zwei Jahre.
  • 2016: Das Forschungsprogramm der DARPA zu erklärbarer KI (XAI) rückt menschliches Verständnis künstlich gelernter Algorithmen weiter in den Fokus der Forschung.
  • 2018: Geoffrey Hinton, Yann LeCun und Yoshua Bengio erhalten den Turing Award (in etwa der Nobelpreis der Informatik) für ihre Errungenschaften um künstliche Intelligenz.

Weitere Links und Quellen

• Das Original-Paper von Alan Turing zu seinem „Imitation Game / Turing Test“ kann man hier (auf englisch) lesen.
• Der Film „The Imitation Game“ mit Benedict Cumberbatch zeigt das Leben von Alan Turing sowie seine maßgebliche Beteiligung am Knacken des deutschen „Enigma-Codes“. Hier ist der Trailer.
• Das Open AI Five Projekt erzielte große Erfolge bei der Entwicklung von KI-Spielern für Dota 2, die in der Timeline auf der Projektstartseite verlinkt sind.
• Wer sich mal mit dem ersten Chatbot ELIZA unterhalten will, sollte sich mal die Implementierung im Texteditor Emacs ansehen.
• Joseph Weizenbaum flüchtete mit seiner jüdischen Familie vor dem Nazi-Regime nach Amerika. Dieser Artikel beinhaltet einen Auszug aus einem Buch über seine Lebensgeschichte und Wertevorstellungen.
• John McCarthy bringt zentrale Probleme mit Expertensystemen (u.a. Mycin) auf den Punkt. Die Auslöser des zweiten KI-Winters sind in diesem Artikel schön zusammen gefasst (englisch)
• Dieser Artikel (englisch) erklärt gut die Herausforderungen beim Chip-Design, die das Mooresche Gesetz vermutlich bald ungültig wegen Quanteneffekten bei zu kleinen Chips.
• Diese YouTube-Playlist zeigt einige Hintergründe und Jeopardy-Spiele von Watson
• TED Talk des geschlagenen Jeopardy Champions Ken Jennings
• MOBA steht für Multi-Player Online Battle Arena (auch bekannt als Action Real-Time Strategy, ARTS).
• Computerphile gibt hier auf Youtube ein sehr schöne Einführung in die Turingmaschine (auf englisch).
• Diese Bilder sind von GANs erzeugt: https://thispersondoesnotexist.com und https://thiscatdoesnotexist.com (Einfach die Seite aktualisieren für neue Bilder).
• Die Rede zum Turing-Award 2018 für Errungenschaften um künstliche Intelligenz und neuronale Netze findet sich hier auf Youtube (englisch).
• Dieses Youtube-Video (englisch) erklärt die McCulloch-Pitts-Zelle, ein erstes und sehr einfaches Neuronenmodell, und dieses Video (ebenfalls englisch) nimmt sich die Hebbsche Lernregel vor.
• Aus dem Podcast Sebstbewusste KI vom KIT stammt das Zitat „Die natürliche Intelligenz sollte auch nicht ganz außen vor gelassen bleiben bei all den Forschungen über die künstliche.“
• Der Bericht zu fehlerhaften maschinell gelernten Modellen, die COVID-19 auf Röntgenbildern erkennen sollten, findet sich hier (englisch). Ich bin über den englischen Podcast Let’s Talk AI darauf gestoßen.
• Ein Nachtrag zu den Leistungen von Yoshua Bengio: Dieser bekam den Turing Award unter anderem für seine Vorreiterarbeiten im Bereich der natürlichen Sprachverarbeitung.