Informationstheorie

Informationstheorie

Die Informationstheorie ist eine mathematische Theorie aus dem Bereich der Wahrscheinlichkeitstheorie und Statistik, die auf Claude Shannon zurückgeht.

Sie beschäftigt sich mit Begriffen wie Information, Entropie, Informationsübertragung, Datenkompression, Kodierung und verwandten Themen.

Neben der Mathematik, Informatik und Nachrichtentechnik wird die theoretische Betrachtung von Kommunikation durch die Informationstheorie auch zur Beschreibung von Kommunikationssystemen in anderen Bereichen (Medien in der Publizistik, Nervensystem in der Neurologie, DNA und Proteinsequenzen in der Molekularbiologie, Wissen in der Informationswissenschaft und Dokumentation etc.) eingesetzt.

Die Shannonsche Theorie verwendet den Begriff der Entropie, um die Informationsdichte (Informationsgehalt) von Nachrichten zu charakterisieren. Je ungleichförmiger eine Nachricht aufgebaut ist, desto höher ist ihre Entropie. Grundlegend für die Informationstheorie ist neben dem Entropiebegriff das Shannon-Hartley-Gesetz, nach Claude Elwood Shannon und Ralph Hartley. Es beschreibt die theoretische Obergrenze der Kanalkapazität, also die maximale Datenübertragungsrate, die ein Übertragungskanal in Abhängigkeit von Bandbreite und Signal-zu-Rausch-Verhältnis ohne Übertragungsfehler erreicht.

Inhaltsverzeichnis

Geschichte

Vor allem Claude Elwood Shannon lieferte in den 1940er bis 1950er Jahren wesentliche Beiträge zur Theorie der Datenübertragung und der Wahrscheinlichkeitstheorie.

Er fragte sich, wie man eine verlustfreie Datenübertragung über elektronische (heute auch optische) Kanäle sicherstellen kann. Dabei geht es insbesondere darum, die Datensignale vom Hintergrundrauschen zu trennen. Außerdem versucht man, während der Übertragung aufgetretene Fehler zu erkennen und zu korrigieren. Dazu ist es notwendig, zusätzliche redundante (d. h. keine zusätzliche Information tragenden) Daten mitzusenden, um dem Datenempfänger eine Datenverifikation oder Datenkorrektur zu ermöglichen.

Es ist zweifelhaft und wurde auch von Shannon so nicht beansprucht, dass seine 1948 veröffentlichte Studie The Mathematical Theory of Communication („Informationstheorie“) von substantieller Bedeutung für Fragestellungen außerhalb der Nachrichtentechnik ist. Bei dem von ihm benutzten, mit der Thermodynamik verbundenen Entropiebegriff handelt es sich um eine formale Analogie für einen mathematischen Ausdruck. Allgemein lässt sich die Informationstheorie als Ingenieurtheorie auf hohem Abstraktionsniveau definieren. Sie zeigt den Trend zur Verwissenschaftlichung der Technik, der zur Herausbildung der Ingenieurwissenschaften führte. Der Bezugspunkt von Shannons Theorie ist die forcierte Entwicklung der elektrischen Nachrichtentechnik mit ihren Ausprägungen Telegrafie, Telefonie, Funk und Fernsehen in der ersten Hälfte des 20. Jahrhunderts. Vor und neben Shannon trugen auch Harry Nyquist, R. V. L. Hartley und Karl Küpfmüller mit bedeutenden Beiträgen zur Theoriebildung der Nachrichtentechnik bei. Mathematische Klärungen von Relevanz für die Informationstheorie lieferte Norbert Wiener, der ihr auch im Rahmen seiner Überlegungen zur Kybernetik zu beträchtlicher Publizität verhalf.

Eine übergreifende Frage für Nachrichtentechniker war, wie eine wirtschaftlich-effiziente und störungsfreie Nachrichtenübertragung erreicht werden kann. Es wurden die Vorteile der Modulation erkannt, d. h. die Veränderung der Form der Nachricht mit technischen Mitteln. Im technischen Zusammenhang lassen sich zwei Grundformen für Nachrichten - kontinuierlich und diskret - unterscheiden. Diesen können die gebräuchlichen Darstellungsformen von Information/Nachrichten Schrift (diskret), Sprache (kontinuierlich) und Bild (kontinuierlich) zugeordnet werden.

Ende der 1930er Jahre kam es zu einem technischen Durchbruch, als es mit Hilfe der Puls-Code-Modulation gelang, eine als Kontinuum vorliegende Nachricht in befriedigender Annäherung diskret darzustellen. Mit dieser Methode wurde es möglich, Sprache zu telegrafieren. Shannon, der für die Bell Telephone Laboratories arbeitete, war mit der technischen Entwicklung vertraut. Die große Bedeutung seiner Theorie für die Technik liegt darin, dass er Information als „physikalische Größe“ mit einer Maß- bzw. Zähleinheit, dem Bit, definierte. Das erlaubte quantitativ exakt, den Aufwand für die technische Übertragung von Informationen in verschiedener Gestalt (Töne, Zeichen, Bilder) zu vergleichen, die Effizienz von Codes sowie die Kapazität von Informationsspeichern und -Übertragungskanälen zu bestimmen.

Die Definition des Bit ist ein theoretischer Ausdruck der neuen technischen Möglichkeiten, unterschiedliche Darstellungsformen von Nachrichten (Information) in eine gemeinsame, für technische Zwecke vorteilhafte Repräsentation der Information zu transformieren: Eine Folge von elektrischen Impulsen, die durch einen Binärcode ausgedrückt werden kann. Das ist letztendlich die Grundlage für eine Informationstechnik auf digitaler Basis, wie auch für Multimedia. Das war im Prinzip mit der Informationstheorie bekannt. In der Praxis wurde jedoch der digitale Umbruch der Informationstechnik erst später - verbunden mit der stürmischen Entwicklung der Mikroelektronik in der zweiten Hälfte des 20. Jahrhunderts möglich.

Shannon selbst bezeichnet sein Werk als eine „mathematische Theorie der Kommunikation“. Er schließt semantische und pragmatische Aspekte der Information, also Aussagen über den „Inhalt“ übertragener Nachrichten sowie deren Bedeutung für den Empfänger ausdrücklich aus. Dies bedeutet, dass eine „sinnvolle“ Botschaft ebenso gewissenhaft übertragen wird wie eine zufällige Folge von Buchstaben. Obwohl die Shannon-Theorie üblicherweise als „Informationstheorie“ bezeichnet wird, macht sie also keine direkte Aussage über den Informationsgehalt von übertragenen Botschaften.

In neuerer Zeit wird zunehmend versucht, die Komplexität einer Nachricht nicht mehr nur über statistische Betrachtung der Daten zu bestimmen, sondern vielmehr die Algorithmen zu betrachten, die diese Daten erzeugen können. Solche Ansätze sind insbesondere die Kolmogorow-Komplexität und die algorithmische Tiefe, sowie die algorithmische Informationstheorie von Gregory Chaitin. Klassische Informationskonzepte versagen teilweise in quantenmechanischen Systemen. Dies führt zum Konzept der Quanteninformation.

Die Informationstheorie stellt mathematische Methoden zur Messung bestimmter Eigenschaften von Daten zur Verfügung. Der Begriff der Information aus der Informationstheorie hat keinen direkten Bezug zu Semantik, Bedeutung und Wissen, da sich diese Eigenschaften mit informationstheoretischen Verfahren nicht messen lassen.

Literatur

  • Claude E. Shannon: A mathematical theory of communication. Bell System Tech. J., 27:379–423, 623–656, 1948. (Shannons bahnbrechende Veröffentlichung)
  • Claude E. Shannon, Warren Weaver: Mathematische Grundlagen der Informationstheorie, [Dt. Übers. von The mathematical theory of communication durch Helmut Dreßler]. - München, Wien : Oldenbourg, 1976, ISBN 3-486-39851-2.
  • Populärwissenschaftliche Einführung anhand von Anwendungen bei Glücksspielen und Finanzmärkten: William Poundstone: Die Formel des Glücks (Rezension Financial Times Deutschland)
  • Holger Lyre: Informationstheorie - Eine philosophisch naturwissenschaftliche Einführung, UTB 2289;
  • Verständliche Einführung (auf Englisch) zur speziellen nachrichtentechnischen Informationstheorie vom Biologen T. D. Schneider
  • Deutsche Skripte zur Informationstheorie (Microsoft-Word-Dokumente), welche allerdings sehr knapp gehalten sind.
  • Werner Heise, Pasquale Quattrocchi: Informations- und Codierungstheorie. Mathematische Grundlagen der Daten-Kompression und -Sicherung in diskreten Kommunikationssystemen, 3. Auflage, Springer, Berlin-Heidelberg 1995, ISBN 3-540-57477-8
  • John R. Pierce: An Introduction to Information Theory: Symbols, Signals and Noise; Dover Publications, Inc., New York, second edition, 1980.
  • W. Sacco, W. Copes, C. Sloyer und R. Stark: Information Theory: Saving Bits; Janson Publications, Inc., Dedham, MA, 1988.
  • N. J. A. Sloane und A. D. Wyner: Claude Elwood Shannon: Collected Papers; IEEE Press, Piscataway, NJ, 1993.
  • Solomon Kullback: Information Theory and Statistics (Dover Books on Mathematics), 1968;
  • Alexander I. Khinchin: Mathematical Foundations of Information Theory;
  • Fazlollah M. Reza: An Introduction to Information Theory, 1961;
  • Robert B. Ash: Information Theory, 1965;
  • Thomas M. Cover, Joy A. Thomas: Elements of Information Theory (Wiley Series in Telecommunication), 1991;
  • Christoph Arndt: Information Measures, Information and its Description in Science and Engineering (Springer Series: Signals and Communication Technology), 2004, ISBN 978-3-540-40855-0, [1];
  • Michael Kary, Martin Mahner: Warum Shannons „Informationstheorie“ keine Informationstheorie ist. Naturwissenschaftliche Rundschau 57(11), S. 609–616 (2004), ISSN 0028-1050
  • Friedhelm Greis: Fehl-Information. Korrekturen an einem Begriff. Philosophie im Kontext. Bd. 12. Gardez-Verlag, Remscheid 2006, ISBN 3-89796-171-7
  • Siegfried Buchhaupt: "Die Bedeutung der Nachrichtentechnik für die Herausbildung eines Informationskonzeptes der Technik im 20. Jahrhundert". Technikgeschichte 70 (2003), S. 277-298.
  • Axel Roch: Claude E. Shannon. Spielzeug, Leben und die geheime Geschichte seiner Theorie der Information. gegenstalt Verlag, 2. Aufl. Berlin 2010. ISBN 978-3-9813156-0-8, [2]

Siehe auch

Weblinks

Wiktionary Wiktionary: Informationstheorie – Bedeutungserklärungen, Wortherkunft, Synonyme, Übersetzungen

Wikimedia Foundation.

Schlagen Sie auch in anderen Wörterbüchern nach:

  • Informationstheorie — In|for|ma|ti|ons|the|o|rie 〈f. 19; unz.〉 Lehre über die quantitativen Zusammenhänge bei Übertragung, Speicherung u. Empfang von Informationen * * * I Informationstheorie,   von dem amerikanischen Mathematiker C. E. Shannon 1948 begründete… …   Universal-Lexikon

  • Informationstheorie — informacijos teorija statusas T sritis automatika atitikmenys: angl. information theory vok. Informationstheorie, f rus. теория информации, f pranc. théorie de l information …   Automatikos terminų žodynas

  • Informationstheorie — informacijos teorija statusas T sritis fizika atitikmenys: angl. information theory vok. Informationstheorie, f rus. теория информации, f pranc. théorie de l’information, f …   Fizikos terminų žodynas

  • Informationstheorie — In|for|ma|ti|ons|the|o|rie 〈f.; Gen.: ; Pl.: unz.〉 Lehre über die quantitativen Zusammenhänge bei Übertragung, Speicherung u. Empfang von Informationen; →a. s. Informatik …   Lexikalische Deutsches Wörterbuch

  • Informationstheorie — In|for|ma|ti|ons|the|o|rie die; : math. Theorie, die sich mit der quantitativen u. strukturellen Erforschung der Information (2) befasst; Theorie der elektronischen Nachrichtenübertragung …   Das große Fremdwörterbuch

  • Informationstheorie — In|for|ma|ti|ons|the|o|rie …   Die deutsche Rechtschreibung

  • Informationstheorie der Bewegungsregelung — informacinė judesių valdymo teorija statusas T sritis Kūno kultūra ir sportas apibrėžtis Judesių valdymo teorija, teigianti, kad judesio veiksmingumas priklauso nuo informacijos apie atliekamą ar būsimą judesį kiekio: informacija iš raumenų,… …   Sporto terminų žodynas

  • Entropie (Informationstheorie) — Entropie ist ein Maß für den mittleren Informationsgehalt oder auch Informationsdichte eines Zeichensystems. Der Begriff in der Informationstheorie ist in Analogie zur Entropie in der Thermodynamik und Statistischen Mechanik benannt. Das… …   Deutsch Wikipedia

  • Algorithmische Informationstheorie — Die algorithmische Informationstheorie ist eine Theorie aus der theoretischen Informatik, die im Gegensatz zur klassischen Informationstheorie die Kolmogorow Komplexität zur Bestimmung des Informationsgehalts verwendet. Sie wurde im Wesentlichen… …   Deutsch Wikipedia

  • Bit (Informationstheorie) — Die Artikel Informationstheorie, Shannon Index und Shannon (Einheit) überschneiden sich thematisch. Hilf mit, die Artikel besser voneinander abzugrenzen oder zu vereinigen. Beteilige dich dazu an der Diskussion über diese Überschneidungen. Bitte… …   Deutsch Wikipedia


Share the article and excerpts

Direct link
Do a right-click on the link above
and select “Copy Link”

We are using cookies for the best presentation of our site. Continuing to use this site, you agree with this.