This site is available only in German.

Computational Learning Theory (M-CLT) – Sommersemester 2017

Im Logbuch finden Sie Informationen zum Inhalt der einzelnen Vorlesungsstunden.

Aktuelles

  • 01.08.2017: Eine neue Version des Skripts ist online. Insbesondere wurden die Abschnitte 15.2.2 und 15.2.3 überarbeitet.

Inhalt der Veranstaltung

Probleme des überwachten Lernens (supervised learning) werden untersucht.

Im ersten Teil der Veranstaltung wird das Modell des "wahrscheinlich approximativ korrekten" Lernens vorgestellt: aus klassifizierten Beispielen ist eine Hypothese abzuleiten, die einem Zielkonzept mit hoher Wahrscheinlichkeit nahe kommt. Die Beispielkomplexität ("Wie viele Beispiele werden für ein erfolgreiches Lernen benötigt?") und die algorithmische Komplexität ("Wie bestimmt man eine Hypothese, die die Trainingsmenge möglichst gut erklärt?") werden untersucht. Beziehungen zum Online-Lernen ("Lerne mit möglichst wenigen Gegenbeispielen, wenn in jedem Schritt eine Hypothese offenzulegen ist.") werden hergestellt.

Im zweiten Teil der Veranstaltung werden grundlegende Methoden (Validierung, stochastischer Gradientenabstieg) erörtert. Fundamentale Lernmethoden wie Support-Vektor Maschinen und neuronale Netzwerke, statistische Lernmethoden und Entscheidungsbaum-Methoden werden mit Hilfe der Ergebnisse des ersten Teils der Veranstaltung betrachtet und analysiert.

Lernziele: Die mathematische Behandlung der Lernmodelle ermöglicht eine Einordnung der algorithmischen Komplexität wie auch eine Bestimmung der Beispiel-Komplexität für die jeweiligen Lernprobleme. Ein Verständnis der Stärken und Schwächen der einzelnen Lernverfahren erlaubt eine gezielte Anwendung und Modifikation der Lernverfahren.

Veranstaltungsform

Vorlesung + Übung (SWS: 4+2)
Veranstalter: Prof. Dr. G. Schnitger

Termine

Vorlesung:
  • Montag, 12 – 14 Uhr in H 15 (Jügelhaus)
  • Dienstag, 8 – 10 Uhr im Magnus-Hörsaal
Übungen:
  • Mittwoch 12 – 14 Uhr in SR 307.

Kontakt

Bei Fragen rund um die Vorlesung helfen Hannes Seiwert und Mario Holldack (Raum 303 bzw. 313 in der RMS 11-15) gerne weiter.

Material

  • Webseiten
    • [ACL] Association for Computational Learning
    • [Nat] Yann LeCun, Yoshua Bengio, Geoffrey Hinton: Nature-Artikel über Deep Learning
    • [Vid] Videos über Support-Vektor-Maschinen
    • [Dit] ditam.github.io: Visualisierung des Perzeptron-Algorithmus
    • [Ptf] playground.tensorflow.org: Visualisierung neuronaler Netzwerke
  • Weitere Vorlesungen zur Lerntheorie
    • [Haz] Elad Hazan: Theoretical Machine Learning
    • [Moh] Mehryar Mohri: Foundations of Machine Learning
    • [Ser] Rocco Servedio: Advanced Topics in Computational Learning Theory
    • [Sha] Shai Shalev-Shwartz: Understanding Machine Learning
  • Software
    • [Skl] scikit-learn: Machine Learning in Python
    • [Sknn] scikit-neuralnetwork: "Deep neural network implementation without the learning cliff! This library implements multi-layer perceptrons as a wrapper for the powerful pylearn2 library that’s compatible with scikit-learn for a more user-friendly and Pythonic interface."
    • [Las] Lasagne: "a lightweight library to build and train neural networks in Theano"
    • [Tf] TensorFlow: An open-source software library for Machine Intelligence
  • Literaturhinweise

    • [SB] S. Shalev-Shwartz und Shai Ben-David, Machine Learning: From Theory to Algorithms, Cambridge University Press 2014. [PAC Lernen und Support-Vektor-Maschinen]
    • [MRT] M. Mohri, A. Rostamizadeh und A. Talwalkar, Foundations of Machine Learning, MIT Press 2012. [PAC Lernen und Support-Vektor-Maschinen]
    • [KV] M. J. Kearns und U. V. Vazirani, An Introduction to Computational Learning Theory, MIT Press 1994. [PAC Lernen]
    • [AB] M. H. G. Anthony und N. Biggs, Computational Learning Theory, Cambridge University Press 1997. [PAC Lernen]
    • [GBC] I. Goodfellow, Y. Bengio und A. Courville, Deep Learning, MIT Press 2016. [Lernverfahren, insbesondere Neuronale Netzwerke]

    Übungsbetrieb

    Die Teilnahme an den Übungen und das Bearbeiten der Übungsaufgaben wird für eine erfolgreiche Prüfung unbedingt empfohlen!

    Die Übungen finden im wöchentlichen Rhythmus statt, beginnend mit der dritten Vorlesungswoche (d.h. ab dem 3. Mai). In der zweiten Vorlesungswoche erscheint das erste Übungsblatt. Die Übungsblätter erscheinen wöchentlich. Die Abgabe erfolgt nach einwöchiger Bearbeitungszeit

    • am darauf folgenden Montag
    • vor Vorlesungsbeginn
    • im Hörsaal.

    Eine frühere Abgabe im Briefkasten vor Raum 313 (RMS 11-15) ist ebenfalls zulässig. Eine Abgabe per E-Mail ist in Ausnahmefällen bei Hannes Seiwert und Mario Holldack möglich. In diesem Fall fassen Sie Ihre Abgabe bitte in genau einer PDF-Datei zusammen und gestalten Sie den Hintergrund weiß.

    Damit ein reibungsloser Ablauf gewährleistet werden kann, muss jede Abgabe im Kopf der Titelseite gut leserlich mit Name und Matrikelnummer versehen sein. Bitte heften Sie mehrseitige Abgaben mittels eines Tackers zusammen.

    Durch die in den Übungen gesammelten Übungspunkte können Sie einen Bonus für die Prüfung erwerben (siehe unten).

    Hinweise zum wissenschaftlichen Arbeiten bei Übungsaufgaben

    Die Bearbeitung der Übungsblätter in Gruppen ist erlaubt, jedoch müssen Sie Ihre Lösungen eigenständig aufschreiben.

    Die Übungsblätter werden so entworfen, dass ihre Bearbeitung mit den Kenntnissen aus der Vorlesung und aus vorangegangenen Übungsblättern möglich ist. Sollten Sie in Ihrer Lösung dennoch andere Quellen (Bücher, Skripte, Internetforen, soziale Netzwerke, Lösungen anderer Studenten, etc.) verwenden, so müssen Sie die entsprechenden Stellen als direkte oder indirekte Zitate kennzeichnen. Orientieren Sie sich hierfür an den Hinweisen zum Zitieren in schriftlichen Arbeiten am Institut für Informatik. Darüber hinaus muss Ihre persönliche Leistung stets deutlich erkennbar sein. Bei direkten Zitaten oder fast unverändert übernommenen Passagen liegt keine persönliche Leistung vor.

    Betrugsversuche und Plagiate führen beim erstmaligen Verstoß dazu, dass bei allen Beteiligten die Punkte des gesamten Übungsblattes verfallen („gelbe Karte“). Beim zweiten Verstoß wird keinerlei Bonus für die Prüfung angerechnet („rote Karte“). Bitte beachten Sie, dass auch das Ermöglichen von Plagiaten („abschreiben lassen“) einen Betrugsversuch darstellt und geahndet wird.

    Prüfung

    Studiengänge

    Für den Master Informatik (PO 2015) und den Master Wirtschaftsinformatik gliedert sich die Veranstaltung auf in
    • CLT1 (5 CP, die Veranstaltung findet vom 19.4. bis zum 31.5. statt) und
    • CLT2 (5 CP, die Veranstaltung findet vom 6.6. bis zum 19.7. statt).
    Für den alten Master Informatik (PO 2007) oder Bioinformatik (2011) können nur beide Veranstaltungen zusammen geprüft werden (im Umfang von 9 CP).

    Mündliche Prüfungen/Klausur

    Abhängig von der Teilnehmerzahl finden mündliche Prüfungen oder eine Klausur nach Vorlesungsende statt. Mündliche Prüfungen werden nach Vereinbarung abgehalten. Übungspunkte werden folgendermaßen bonifiziert: bei Erreichen von 50 % bzw. 70 % der möglichen Übungspunkte wird die Prüfungsnote um einen bzw. zwei Notenschritte verbessert werden, falls die Prüfung bestanden ist.