Usenet

Aus besserwiki.de
Ein Diagramm der Usenet-Server und -Clients. Die blauen, grünen und roten Punkte auf den Servern stellen die Gruppen dar, die sie übertragen. Pfeile zwischen Servern zeigen den Austausch von Newsgroups (Feeds) an. Pfeile zwischen Clients und Servern zeigen an, dass ein Benutzer eine bestimmte Gruppe abonniert hat und Artikel liest oder einreicht.

Usenet (/ˈjznɛt/) ist ein weltweites, verteiltes Diskussionssystem für Computer. Es wurde aus der allgemeinen Unix-zu-Unix-Copy (UUCP)-Wählnetzarchitektur entwickelt. Tom Truscott und Jim Ellis hatten 1979 die Idee dazu, und 1980 wurde es eingerichtet. Die Benutzer lesen und posten Nachrichten (Artikel oder Posts genannt und insgesamt als News bezeichnet) in einer oder mehreren Themenkategorien, den so genannten Newsgroups. Das Usenet ähnelt in vielerlei Hinsicht einem Bulletin Board System (BBS) und ist der Vorläufer der inzwischen weit verbreiteten Internetforen. Diskussionen werden wie bei Webforen und BBSs in Threads geführt, wobei die Beiträge auf dem Server sequenziell gespeichert werden.

Ein wesentlicher Unterschied zwischen einem BBS oder Web Message Board und dem Usenet ist das Fehlen eines zentralen Servers und eines speziellen Administrators oder Hosting-Anbieters. Das Usenet ist auf eine große, sich ständig ändernde Anzahl von Newsservern verteilt, die Nachrichten speichern und über "Newsfeeds" aneinander weiterleiten. Einzelne Benutzer können Nachrichten von einem lokalen (oder einfach bevorzugten) Newsserver, der von jedermann betrieben werden kann, lesen und dort posten, und diese Posts werden automatisch an alle anderen Newsserver weitergeleitet, die mit dem lokalen Server verbunden sind, während der lokale Server alle Nachrichten seiner Kollegen erhält, die ihm gerade fehlen. Dies führt zu einer automatischen Verbreitung von Inhalten, die von einem beliebigen Benutzer auf einem beliebigen Server gepostet werden, an jeden anderen Benutzer, der dieselben Newsgroups auf anderen Servern abonniert hat.

Wie bei BBSs und Message Boards sind einzelne Newsserver oder Diensteanbieter nicht verpflichtet, bestimmte Inhalte zu übertragen, und können dies aus vielen Gründen ablehnen: Ein Newsserver könnte versuchen, die Verbreitung von Spam zu kontrollieren, indem er sich weigert, Beiträge anzunehmen oder weiterzuleiten, die Spam-Filter auslösen, oder ein Server ohne große Speicherkapazität kann sich weigern, Newsgruppen zu übertragen, die hauptsächlich für den Dateiaustausch genutzt werden, und sich auf diskussionsorientierte Gruppen beschränken. Im Gegensatz zu BBSs und Webforen ermöglicht es die verstreute Natur des Usenet den Benutzern, die an Inhalten interessiert sind, diese zu finden, indem sie sich einfach mit Newsservern verbinden, die die gewünschten Feeds bereitstellen.

Das Usenet ist in der vernetzten Welt kulturell und historisch bedeutsam, da es viele weithin bekannte Konzepte und Begriffe wie "FAQ", "Flame", "Sockpuppet" und "Spam" hervorgebracht oder popularisiert hat. In den frühen 1990er Jahren, kurz bevor der Zugang zum Internet für jedermann erschwinglich wurde, ermöglichten Usenet-Verbindungen über die Einwahl-BBS-Netzwerke von Fidonet weitreichende oder weltweite Diskussionen und andere Kommunikation, für die kein Server, sondern nur ein (lokaler) Telefondienst erforderlich war.

Der Name Usenet leitet sich von dem Begriff "Benutzernetzwerk" ab. Die erste Usenet-Gruppe war NET.general, die schnell zu net.general wurde. Der erste kommerzielle Spam im Usenet stammte von den Einwanderungsanwälten Canter und Siegel, die für Green-Card-Dienste warben.

Im Internet wird das Usenet über das Network News Transfer Protocol (NNTP) auf TCP-Port 119 für ungeschützte Standardverbindungen und auf TCP-Port 563 für SSL-verschlüsselte Verbindungen übertragen.

Diskussionen werden im Newsreader als Bäume dargestellt. Hier eine Newsgroup in dem Programm Mozilla Thunderbird.

Das Usenet (/ˈjuːznɛt/, urspr. Unix User Network – englisch für ‚Unix-Benutzer-Netzwerk‘) ist ein weltweites, elektronisches Netzwerk, das einen eigenen selbstständigen Dienst des Internets neben dem World Wide Web darstellt. Es entstand 1979, lange vor dem World Wide Web.

Es stellt fachliche Diskussionsforen aller Art in reiner Textform zur Verfügung, die Newsgroups, an denen grundsätzlich jeder teilnehmen kann. Der Teilnehmer verwendet dazu üblicherweise einen Newsreader. Es stellt eine bedeutende Wissenssammlung dar, die in die frühen 1980er-Jahre zurückreicht. Daneben gibt es auch die Parallelstruktur des Binary Usenet, das auch Binärdateien als Anhänge mitverteilen kann.

Einführung

Das Usenet wurde 1979 entwickelt und 1980 an der University of North Carolina in Chapel Hill und der Duke University öffentlich zugänglich gemacht, mehr als ein Jahrzehnt bevor das World Wide Web online ging (und damit bevor die breite Öffentlichkeit Zugang zum Internet erhielt), was es zu einem der ältesten Computernetzwerk-Kommunikationssysteme macht, das noch immer weit verbreitet ist. Ursprünglich wurde es auf dem "ARPANET des armen Mannes" aufgebaut und verwendete UUCP als Transportprotokoll, um Mail- und Dateiübertragungen sowie Ankündigungen über die neu entwickelte Nachrichtensoftware wie A News anzubieten. Der Name "Usenet" unterstreicht die Hoffnung seiner Schöpfer, dass die USENIX-Organisation eine aktive Rolle in seinem Betrieb übernehmen würde.

Die von den Benutzern ins Usenet eingestellten Artikel sind in thematischen Kategorien, den so genannten Newsgroups, organisiert, die ihrerseits logisch in Hierarchien von Themen gegliedert sind. So befinden sich beispielsweise sci.math und sci.physics innerhalb der Hierarchie sci.*. Oder talk.origins und talk.atheism befinden sich in der Hierarchie talk.*. Wenn ein Benutzer eine Newsgruppe abonniert, merkt sich die News-Client-Software, welche Artikel der Benutzer gelesen hat.

In den meisten Newsgroups sind die meisten Artikel Antworten auf einen anderen Artikel. Die Menge der Artikel, die sich auf einen einzigen Nicht-Antwort-Artikel zurückführen lässt, wird als Thread bezeichnet. Die meisten modernen Newsreader zeigen die Artikel in Threads und Subthreads geordnet an. In der Newsgroup rec.crafts.winemaking zum Beispiel könnte jemand einen Thread mit dem Titel "What's the best yeast?" (Was ist die beste Hefe?) beginnen, und dieser Thread oder diese Unterhaltung könnte sich zu Dutzenden von Antworten von vielleicht sechs oder acht verschiedenen Autoren ausweiten. Über mehrere Tage hinweg könnte sich diese Diskussion über verschiedene Weinhefen in mehrere Unterthemen verzweigen, die wie ein Baum aussehen.

Wenn ein Benutzer einen Artikel einstellt, ist er zunächst nur auf dem Newsserver dieses Benutzers verfügbar. Jeder Newsserver kommuniziert mit einem oder mehreren anderen Servern (seinen "Newsfeeds") und tauscht mit ihnen Artikel aus. Auf diese Weise wird der Artikel von Server zu Server kopiert und sollte schließlich jeden Server im Netz erreichen. Die späteren Peer-to-Peer-Netzwerke funktionieren nach einem ähnlichen Prinzip, aber im Usenet ist es normalerweise der Sender und nicht der Empfänger, der die Übertragung initiiert. Das Usenet wurde unter Bedingungen entwickelt, als die Netze viel langsamer und nicht immer verfügbar waren. Viele Sites im ursprünglichen Usenet-Netz stellten nur ein- oder zweimal am Tag eine Verbindung her, um Nachrichten im Stapelverfahren ein- und auszutragen. Das liegt vor allem daran, dass für Übertragungen in der Regel das POTS-Netz verwendet wurde und die Telefongebühren nachts niedriger waren.

Das Format und die Übertragung von Usenet-Artikeln ähnelt dem von E-Mail-Nachrichten im Internet. Der Unterschied zwischen den beiden besteht darin, dass Usenet-Artikel von jedem Benutzer gelesen werden können, auf dessen Newsserver die Gruppe liegt, in die die Nachricht gepostet wurde, im Gegensatz zu E-Mail-Nachrichten, die einen oder mehrere bestimmte Empfänger haben.

Heute hat das Usenet im Vergleich zu Internetforen, Blogs, Mailinglisten und sozialen Medien an Bedeutung verloren. Das Usenet unterscheidet sich von diesen Medien in mehrfacher Hinsicht: Das Usenet erfordert keine persönliche Registrierung bei der betreffenden Gruppe; die Informationen müssen nicht auf einem entfernten Server gespeichert werden; Archive sind immer verfügbar; und zum Lesen der Nachrichten ist kein Mail- oder Web-Client, sondern ein News-Client erforderlich. Allerdings ist es jetzt möglich, Usenet-Newsgroups weitgehend mit gewöhnlichen Webbrowsern zu lesen und an ihnen teilzunehmen, da die meisten Newsgroups jetzt auf mehrere Websites kopiert werden. Die Gruppen in alt.binaries werden immer noch häufig für den Datentransfer genutzt.

Eine Newsgroup hat eine ähnliche Funktion wie eine Mailingliste. In der Regel ist sowohl eine Newsgroup als auch eine Mailingliste einem bestimmten Thema gewidmet. Es ist nicht erforderlich, dass Leser einer Nachricht genau dann online sind, wenn sie verschickt wird. Viele Teilnehmer schreiben ihre Nachrichten offline und übermitteln sie später an den Server. Weil die Benutzung von Mailinglisten und Newsgroups sehr ähnlich ist, gibt es in Einzelfällen sogar Gateways, die Nachrichten in einer bestimmten Mailingliste in eine bestimmte Newsgroup kopieren (und/oder umgekehrt).

Obschon die Benutzung von Mailingliste und Newsgroup relativ ähnlich ist, unterscheiden sich die beiden Systeme in technischer Hinsicht. Eine Mailingliste ist von einem bestimmten Server abhängig, der die Benutzer verwaltet und Mails entgegennimmt und an alle Abonnenten weiterschickt. Das Usenet dagegen ist dezentral organisiert, viele Gruppen sind auf dutzenden oder gar hunderten von Servern verfügbar, was das System unempfindlich gegen den Ausfall einzelner Server macht und somit die Verfügbarkeit des Gesamtsystems erhöht. Außerdem gibt es im Usenet in der Regel keine zentrale Benutzerverwaltung, es kann also niemand kontrollieren, wer Zugang zu einer bestimmten Newsgroup hat.

Der Inhalt von Mailinglisten kann durch den Internet-Service gmane in das Usenet gespiegelt werden. Auf diese Weise können Mailinglisten parallel zu Newsgroups mit einem Newsreader genutzt werden.

ISPs, Newsserver und Newsfeeds

Usenet Provider Map
Usenet-Anbieter-Karte

Viele Internet-Diensteanbieter und viele andere Internet-Sites betreiben Newsserver, auf die ihre Benutzer zugreifen können. Internetdienstanbieter, die ihre eigenen Server nicht direkt betreiben, bieten ihren Benutzern oft ein Konto bei einem anderen Anbieter an, der speziell Newsfeeds betreibt. Bei den frühen News-Implementierungen waren Server und Newsreader ein einziges Programmpaket, das auf demselben System lief. Heute verwendet man eine separate Newsreader-Client-Software, ein Programm, das einem E-Mail-Client ähnelt, aber stattdessen auf Usenet-Server zugreift.

Nicht alle ISPs betreiben Newsserver. Ein Newsserver ist einer der am schwierigsten zu verwaltenden Internet-Dienste, da es sich um große Datenmengen handelt, der Kundenstamm klein ist (im Vergleich zu den üblichen Internet-Diensten) und die Zahl der Kundenanfragen (die sich häufig über fehlende Nachrichtenartikel beschweren) unverhältnismäßig hoch ist. Einige Internetdiensteanbieter lagern den Nachrichtenbetrieb an spezialisierte Websites aus, die für den Nutzer in der Regel so aussehen, als würde der Internetdiensteanbieter den Server selbst betreiben. Viele dieser Sites bieten einen eingeschränkten Newsfeed mit einer begrenzten Anzahl von Newsgroups. In einem solchen Newsfeed fehlen häufig fremdsprachige Newsgruppen und die alt.binaries-Hierarchie, die hauptsächlich Software, Musik, Videos und Bilder enthält und über 99 % der Artikeldaten ausmacht.

Es gibt auch Usenet-Provider, die einen uneingeschränkten Service für Benutzer anbieten, deren ISPs keine News übertragen, oder die einen eingeschränkten Feed übertragen.

Newsreader

Auf Newsgroups wird in der Regel mit Newsreadern zugegriffen: Anwendungen, die es Benutzern ermöglichen, Postings in Newsgroups zu lesen und zu beantworten. Diese Anwendungen fungieren als Clients für einen oder mehrere Newsserver. Historisch gesehen war das Usenet mit dem von AT&T entwickelten Unix-Betriebssystem verbunden, aber Newsreader sind jetzt für alle wichtigen Betriebssysteme verfügbar. Moderne Mail-Clients oder "Kommunikations-Suiten" verfügen in der Regel auch über einen integrierten Newsreader. Diese integrierten Clients sind jedoch im Vergleich zu eigenständigen Newsreadern oft von geringer Qualität und implementieren die Usenet-Protokolle, -Standards und -Konventionen nicht korrekt. Viele dieser integrierten Clients, z. B. der in Outlook Express von Microsoft, werden von Puristen wegen ihres Fehlverhaltens abgelehnt.

Mit dem Aufkommen des World Wide Web (WWW) haben sich Web-Frontends (web2news) durchgesetzt. Web-Frontends haben die technischen Zugangsvoraussetzungen auf eine Anwendung und kein Usenet-NNTP-Server-Konto gesenkt. Es gibt inzwischen zahlreiche Websites, die webbasierte Gateways zu Usenet-Gruppen anbieten, obwohl einige Leute aus dem einen oder anderen Grund damit begonnen haben, Nachrichten zu filtern, die von einigen der Webschnittstellen stammen. Google Groups ist ein solches webbasiertes Frontend, und einige Webbrowser können über news:protocol-Links direkt auf Google Groups zugreifen.

Moderierte und unmoderierte Newsgroups

Eine Minderheit der Newsgroups ist moderiert, d. h. die von den Lesern eingereichten Nachrichten werden nicht direkt ins Usenet gestellt, sondern per E-Mail an die Moderatoren der Newsgroup zur Genehmigung weitergeleitet. Der Moderator erhält die eingereichten Artikel, prüft sie und leitet die genehmigten Artikel weiter, damit sie weltweit verbreitet werden können. Artikel, die von einem Moderator genehmigt wurden, müssen die Kopfzeile Approved: tragen. Moderatoren stellen sicher, dass die Nachrichten, die die Leser in der Newsgruppe sehen, mit der Charta der Newsgruppe übereinstimmen, obwohl sie nicht verpflichtet sind, solche Regeln oder Richtlinien zu befolgen. In der Regel werden die Moderatoren in dem Vorschlag für die Newsgroup benannt, und der Wechsel der Moderatoren erfolgt nach einem Nachfolgeplan.

Historisch gesehen gab es vor der Umstrukturierung des Usenet eine mod.*-Hierarchie. Heute können moderierte Newsgroups in jeder Hierarchie erscheinen, in der Regel mit dem Zusatz .moderated zum Gruppennamen.

Usenet-Newsgroups in der Big-8-Hierarchie werden durch Vorschläge namens Request for Discussion (RFD) erstellt. Der RFD muss folgende Informationen enthalten: Newsgroup-Name, Eintrag in der Checkgroups-Datei und moderierter oder unmoderierter Status. Wenn die Gruppe moderiert werden soll, muss mindestens ein Moderator mit einer gültigen E-Mail-Adresse angegeben werden. Weitere Informationen, die von Vorteil, aber nicht erforderlich sind, sind: eine Charta, eine Begründung und eine Moderationspolitik, falls die Gruppe moderiert werden soll. Es folgt eine Diskussion über den Vorschlag für eine neue Newsgruppe, an deren Ende die Mitglieder des Big-8-Vorstands per Abstimmung entscheiden, ob sie die neue Newsgruppe genehmigen oder ablehnen.

Unmoderierte Newsgruppen bilden die Mehrheit der Usenet-Newsgroups, und Nachrichten, die von Lesern für unmoderierte Newsgroups eingereicht werden, werden sofort für alle sichtbar verbreitet. Minimale redaktionelle Inhaltsfilterung gegenüber der Geschwindigkeit der Weiterverbreitung ist ein Knackpunkt in der Usenet-Gemeinschaft. Eine wenig zitierte Verteidigung der Weiterverbreitung ist das Abbrechen einer weiterverbreiteten Nachricht, aber nur wenige Usenet-Benutzer verwenden diesen Befehl, und einige Newsreader bieten keine Abbrecher-Befehle an, zum Teil, weil der Speicherplatz für Artikel ohnehin in relativ kurzer Zeit abläuft. Fast alle unmoderierten Usenet-Gruppen neigen dazu, große Mengen an Spam zu erhalten.

Technische Einzelheiten

Das Usenet besteht aus einer Reihe von Protokollen für die Erzeugung, Speicherung und den Abruf von News-"Artikeln" (die Internet-Mail-Nachrichten ähneln) und für den Austausch dieser Artikel mit einer potenziell weit verteilten Leserschaft. Diese Protokolle verwenden in der Regel einen Flooding-Algorithmus, der Kopien über ein Netz von teilnehmenden Servern verbreitet. Sobald eine Nachricht einen Server erreicht, leitet dieser die Nachricht an alle seine Netzwerknachbarn weiter, die den Artikel noch nicht gesehen haben. Pro Server wird nur eine Kopie einer Nachricht gespeichert, und jeder Server stellt sie bei Bedarf den (in der Regel lokalen) Lesern zur Verfügung, die auf diesen Server zugreifen können. Die Sammlung von Usenet-Servern hat somit einen gewissen Peer-to-Peer-Charakter, da sie Ressourcen durch Austausch gemeinsam nutzen. Die Granularität des Austauschs liegt jedoch auf einer anderen Ebene als bei einem modernen Peer-to-Peer-System, und dieses Merkmal schließt die eigentlichen Benutzer des Systems aus, die sich mit einer typischen Client-Server-Anwendung, ähnlich wie ein E-Mail-Reader, mit den Newsservern verbinden.

RFC 850 war die erste formale Spezifikation der von Usenet-Servern ausgetauschten Nachrichten. Er wurde durch RFC 1036 und später durch RFC 5536 und RFC 5537 abgelöst.

Für den Fall, dass ungeeignete Inhalte gepostet wurden, bietet das Usenet die Möglichkeit, ein Posting automatisch aus dem gesamten Netzwerk zu entfernen, indem eine Cancel-Nachricht erstellt wird. Die Inhaber von Urheberrechten können immer noch die manuelle Löschung von rechtsverletzendem Material beantragen, indem sie die Bestimmungen der Weltorganisation für geistiges Eigentum (WIPO) anwenden, wie z. B. den United States Online Copyright Infringement Liability Limitation Act, aber dies würde eine Mitteilung an jeden einzelnen Newsserver-Administrator erfordern.

Im Internet wird das Usenet über das Network News Transfer Protocol (NNTP) auf TCP-Port 119 für ungeschützte Standardverbindungen und auf TCP-Port 563 für SSL-verschlüsselte Verbindungen übertragen.

Organisation

Die "Big Nine"-Hierarchien des Usenet

Der größte Teil der weltweiten Newsgroups ist in neun Hierarchien unterteilt, von denen acht nach einvernehmlichen Richtlinien betrieben werden, die ihre Verwaltung und Benennung regeln. Die derzeitigen "Big Eight" sind:

  • comp.* - computerbezogene Diskussionen (comp.software, comp.sys.amiga)
  • humanities.* - Schöne Künste, Literatur und Philosophie (humanities.classics, humanities.design.misc)
  • misc.* - verschiedene Themen (misc.education, misc.forsale, misc.kids)
  • news.* - Diskussionen und Ankündigungen über Neuigkeiten (im Sinne des Usenet, nicht über aktuelle Ereignisse) (news.groups, news.admin)
  • rec.* - Freizeit und Unterhaltung (rec.music, rec.arts.movies)
  • sci.* - Wissenschaftsbezogene Diskussionen (sci.psychology, sci.research)
  • soc.* - soziale Diskussionen (soc.college.org, soc.culture.african)
  • talk.* - Diskussionen über verschiedene kontroverse Themen (talk.religion, talk.politics, talk.origins)

Siehe auch die Große Umbenennung.

Die alt.*-Hierarchie unterliegt nicht den Verfahren, die die Gruppen der Big Eight kontrollieren, und ist daher weniger organisiert. Gruppen in der alt.*-Hierarchie sind in der Regel spezialisierter oder spezifischer - zum Beispiel könnte es eine Newsgruppe unter den Big Eight geben, die Diskussionen über Kinderbücher enthält, aber eine Gruppe in der alt-Hierarchie könnte einem bestimmten Autor von Kinderbüchern gewidmet sein. Binaries werden in alt.binaries.* gepostet, was die größte aller Hierarchien ist.

Daneben gibt es noch viele andere Hierarchien von Newsgroups. Regionale und sprachspezifische Hierarchien wie japan.*, malta.* und ne.* dienen bestimmten Ländern und Regionen wie Japan, Malta und Neuengland. Unternehmen und Projekte verwalten ihre eigenen Hierarchien, um ihre Produkte zu diskutieren und der Gemeinschaft technische Unterstützung zu bieten, wie z. B. die historische gnu.*-Hierarchie der Free Software Foundation. Microsoft hat seinen Newsserver im Juni 2010 geschlossen und bietet nun Unterstützung für seine Produkte über Foren an. Einige Benutzer ziehen es vor, den Begriff "Usenet" nur für die Big Eight-Hierarchien zu verwenden; andere schließen auch alt.* mit ein. Der allgemeinere Begriff "Netnews" umfasst das gesamte Medium, einschließlich privater organisatorischer Newssysteme.

Es gibt auch informelle Konventionen für Unterhierarchien. *.answers sind typischerweise moderierte Cross-Post-Gruppen für FAQs. Eine häufig gestellte Frage (FAQ) wird in einer Gruppe gepostet, und ein Cross-Posting in der Gruppe *.answers an der Spitze der Hierarchie wird von einigen als Verfeinerung der Informationen in dieser News-Gruppe angesehen. Einige Untergruppen sind rekursiv - bis hin zu einigen Albernheiten in alt.*.

Dies änderte sich 1986 mit Veröffentlichung des Protokolls NNTP (Network News Transport Protocol). NNTP wurde für den Betrieb über TCP/IP-Leitungen entwickelt. Damit konnte der Datenaustausch erfolgreich über das Internet abgewickelt und das Usenet so dezentralisiert werden, denn über das Internet ist prinzipiell jeder Newsserver von jedem Ort aus ansprechbar. Mehr noch: Jeder Administrator kann über seinen eigenen Newsserver eigene Gruppen einrichten und diese anderen Servern zur Verfügung stellen. So entstanden weitere Hierarchien.

Mit der zunehmenden Verbreitung des Usenet außerhalb der Vereinigten Staaten entstand auch der Bedarf an Newsgroups in anderen Sprachen. So entstand im Januar 1992 die deutschsprachige Usenet-Hierarchie de.* aus der Verschmelzung der deutschsprachigen Hierarchien dnet.* und sub.*. Andere Regionen richteten ebenfalls eigene Hierarchien ein. Aber auch Computerfirmen hatten längst die Möglichkeiten des Usenet als Support- und Informationsmedium entdeckt und bauten eigene Newsserver mit eigenen Hierarchien auf, die zum Teil von anderen Servern geführt werden.

Binärer Inhalt

Ein visuelles Beispiel für die vielen komplexen Schritte, die erforderlich sind, um Daten für das Hochladen in Usenet-Newsgroups vorzubereiten. Diese Schritte müssen in umgekehrter Reihenfolge durchgeführt werden, um Daten aus dem Usenet herunterzuladen.

Das Usenet wurde ursprünglich für die Verbreitung von Textinhalten geschaffen, die im 7-Bit-ASCII-Zeichensatz kodiert waren. Mit Hilfe von Programmen, die 8-Bit-Werte in ASCII kodieren, wurde es praktisch, binäre Dateien als Inhalte zu verbreiten. Aufgrund ihrer Größe und ihres oft zweifelhaften Copyright-Status wurden binäre Beiträge mit der Zeit auf bestimmte Newsgroups beschränkt, was es den Administratoren erleichterte, den Datenverkehr zuzulassen oder zu unterbinden.

Die älteste weit verbreitete Kodierungsmethode für binäre Inhalte ist uuencode aus dem Unix-Paket UUCP. In den späten 1980er Jahren waren Usenet-Artikel oft auf 60.000 Zeichen begrenzt, und heute gibt es noch größere harte Grenzen. Dateien werden daher häufig in Abschnitte aufgeteilt, die vom Leser neu zusammengesetzt werden müssen.

Mit den Header-Erweiterungen und den MIME-Kodierungen Base64 und Quoted-Printable entstand eine neue Generation des Binärtransports. In der Praxis hat sich MIME zunehmend für Textnachrichten durchgesetzt, wird aber für die meisten binären Anhänge vermieden. Einige Betriebssysteme mit an Dateien angehängten Metadaten verwenden spezielle Kodierungsformate. Für Mac OS werden sowohl BinHex als auch spezielle MIME-Typen verwendet. Andere, weniger bekannte Kodierungssysteme, die möglicherweise einmal verwendet wurden, waren BTOA, XX-Kodierung, BOO und USR-Kodierung.

In einem Versuch, die Dateiübertragungszeiten zu verkürzen, wurde 2001 eine informelle Dateikodierung mit dem Namen yEnc eingeführt. Sie ermöglicht eine Reduzierung der übertragenen Daten um etwa 30 %, da davon ausgegangen wird, dass die meisten 8-Bit-Zeichen sicher über das Netzwerk übertragen werden können, ohne dass sie zuvor in den 7-Bit-ASCII-Raum kodiert werden müssen. Die gebräuchlichste Methode zum Hochladen großer binärer Beiträge ins Usenet besteht darin, die Dateien in RAR-Archive zu konvertieren und Parchive-Dateien für sie zu erstellen. Paritätsdateien werden verwendet, um fehlende Daten wiederherzustellen, wenn nicht alle Teile der Dateien einen Server erreichen.

Binäre Aufbewahrungszeit

Screenshot vom Oktober 2020 mit 60 PB an Usenet-Gruppendaten.

Jeder Newsserver weist eine bestimmte Menge an Speicherplatz für die Inhalte jeder Newsgruppe zu. Wenn dieser Speicherplatz erschöpft ist, werden bei jedem neuen Beitrag alte Beiträge gelöscht, um Platz für den neuen Inhalt zu schaffen. Wenn die einem Server zur Verfügung stehende Netzwerkbandbreite hoch, der zugewiesene Speicherplatz jedoch gering ist, kann eine riesige Flut von eingehenden Inhalten den zugewiesenen Speicherplatz überfüllen und alles verdrängen, was sich zuvor in der Gruppe befand. Die durchschnittliche Zeitspanne, die Beiträge auf dem Server verbleiben können, bevor sie gelöscht werden, wird allgemein als Verweildauer bezeichnet.

Binäre Newsgroups können nur dann zuverlässig funktionieren, wenn genügend Speicherplatz zur Verfügung steht, um die Menge der hinzukommenden Artikel zu verarbeiten. Ohne eine ausreichende Verweildauer ist ein Leser nicht in der Lage, alle Teile des Binärartikels herunterzuladen, bevor dieser aus dem Speicher der Gruppe gelöscht wird. Auf diese Weise wurde früher dem Posten unerwünschter Inhalte entgegengewirkt: Die Newsgruppe wurde mit zufälligen Datenmüll-Postings überflutet, deren Menge ausreichte, um alle zu unterdrückenden Inhalte zu verdrängen. Dies wurde dadurch kompensiert, dass die Dienstanbieter genügend Speicherplatz zur Verfügung stellten, um alles, was jeden Tag gepostet wurde, einschließlich der Spam-Flut, zu speichern, ohne etwas zu löschen.

Moderne Usenet-Newsserver verfügen über genügend Kapazität, um jahrelang binäre Inhalte zu archivieren, selbst wenn sie bei der täglich verfügbaren Höchstgeschwindigkeit mit neuen Daten überflutet werden.

Unter anderem wegen dieser langen Aufbewahrungszeiten und der zunehmenden Upload-Geschwindigkeiten im Internet wird das Usenet auch von einzelnen Benutzern zur Speicherung von Sicherungsdaten genutzt. Während kommerzielle Anbieter einfachere Online-Backup-Dienste anbieten, ist die Speicherung von Daten im Usenet kostenlos (auch wenn der Zugang zum Usenet selbst möglicherweise nicht kostenlos ist). Die Methode erfordert, dass der Uploader die Kontrolle über die Verteilung der Daten abgibt; die Dateien werden automatisch an alle Usenet-Provider verteilt, die Daten für die News-Gruppe austauschen, in die sie gepostet werden. Im Allgemeinen muss der Benutzer die Daten manuell auswählen, vorbereiten und hochladen. Die Daten sind in der Regel verschlüsselt, da sie für jeden zum Herunterladen der Sicherungsdateien verfügbar sind. Nach dem Hochladen der Dateien werden mehrere Kopien in verschiedenen geografischen Regionen der Welt auf verschiedenen Newsservern gespeichert, um die Gefahr eines Datenverlusts zu verringern.

Die großen Usenet-Dienstanbieter haben eine Aufbewahrungszeit von mehr als 12 Jahren. Dies ergibt eine Speicherkapazität von mehr als 60 Petabyte (60000 Terabyte) (siehe Abbildung). Bei der Nutzung des Usenet für die Datenspeicherung sind Anbieter mit längerer Aufbewahrungszeit zu bevorzugen, um sicherzustellen, dass die Daten im Vergleich zu Diensten mit geringerer Aufbewahrungszeit über längere Zeiträume erhalten bleiben.

Rechtliche Fragen

Während binäre Newsgroups zur Verbreitung von völlig legalen, von Benutzern erstellten Werken, freier Software und gemeinfreiem Material verwendet werden können, werden einige binäre Gruppen zur illegalen Verbreitung von urheberrechtlich geschützter Software, urheberrechtlich geschützten Medien und pornografischem Material verwendet.

Von ISPs betriebene Usenet-Server blockieren häufig den Zugang zu allen alt.binaries.*-Gruppen, um sowohl den Netzwerkverkehr zu reduzieren als auch damit verbundene rechtliche Probleme zu vermeiden. Kommerzielle Usenet-Dienstanbieter behaupten, dass sie als Telekommunikationsdienstleister tätig sind und nicht für die von den Benutzern eingestellten binären Inhalte verantwortlich sind, die über ihre Geräte übertragen werden. In den Vereinigten Staaten können Usenet-Anbieter den Schutz der DMCA-Safe-Harbor-Bestimmungen in Anspruch nehmen, sofern sie einen Mechanismus einrichten, mit dem sie den Aufforderungen der Urheberrechtsinhaber zur Entfernung von Inhalten nachkommen und darauf reagieren.

Die Entfernung urheberrechtlich geschützter Inhalte aus dem gesamten Usenet-Netz ist aufgrund der schnellen Ausbreitung zwischen den Servern und der Speicherung auf den einzelnen Servern eine nahezu unmögliche Aufgabe. Ein Antrag auf Entfernung bei einem Usenet-Provider entfernt den Inhalt nur aus dem Zwischenspeicher dieses Servers, nicht aber aus dem anderer Server. Es ist möglich, eine spezielle Post-Cancellation-Nachricht zu verbreiten, um sie von allen Servern zu entfernen, aber viele Provider ignorieren standardmäßig Cancel-Nachrichten, da sie leicht gefälscht und von jedem eingereicht werden können. Damit ein Antrag auf Löschung der Inhalte im gesamten Netz am wirksamsten ist, müsste er an den ursprünglichen Server gerichtet werden, auf den die Inhalte eingestellt wurden, bevor sie an andere Server weitergegeben werden. Die Entfernung der Inhalte in diesem frühen Stadium würde eine weitere Verbreitung verhindern, aber mit modernen Hochgeschwindigkeitsverbindungen können die Inhalte so schnell verbreitet werden, wie sie ankommen, so dass keine Zeit für die Überprüfung der Inhalte und die Herausgabe von Takedowns durch die Urheberrechtsinhaber bleibt.

Die Feststellung der Identität der Person, die illegale Inhalte einstellt, ist aufgrund des vertrauensbasierten Aufbaus des Netzes ebenfalls schwierig. Wie bei SMTP-E-Mails gehen die Server im Allgemeinen davon aus, dass die Kopfzeilen- und Herkunftsinformationen in einem Posting wahrheitsgemäß sind. Wie bei SMTP-E-Mails lassen sich jedoch auch die Kopfzeilen von Usenet-Posts leicht fälschen, um die wahre Identität und den Standort der Nachrichtenquelle zu verschleiern. In dieser Hinsicht unterscheidet sich das Usenet erheblich von modernen P2P-Diensten; die meisten P2P-Benutzer, die Inhalte verbreiten, sind in der Regel für alle anderen Benutzer anhand ihrer Netzwerkadresse sofort identifizierbar, aber die Herkunftsinformationen für ein Usenet-Posting können vollständig verschleiert werden und sind nicht mehr auffindbar, sobald es den ursprünglichen Server passiert hat.

Im Gegensatz zu modernen P2P-Diensten ist auch die Identität der Downloader nicht sichtbar. Bei P2P-Diensten ist ein Downloader für alle anderen über seine Netzwerkadresse identifizierbar. Im Usenet stellt der Downloader eine direkte Verbindung zu einem Server her, und nur der Server kennt die Adresse der Person, die sich mit ihm verbindet. Einige Usenet-Anbieter führen zwar Nutzungsprotokolle, aber nicht alle stellen diese protokollierten Informationen Außenstehenden wie der Recording Industry Association of America zwanglos zur Verfügung. Das Vorhandensein anonymisierender Gateways zum USENET erschwert auch die Rückverfolgung des wahren Ursprungs eines Postings.

Geschichte

UUCP/Usenet Logical Map - 1. Juni 1981 / mods by S. McGeady 19. November 1981

            (ucbvax)
+=+===================================+==+
| | | |
| | wivax | |
| | | | |
| | microsoft | uiucdcs | |
| | genradbo | | | | | | (Tektronix)
| | | | | | | purdue | |
| decvax+===+=+====+=+=+ | | | |
| | | | | | | pur-phy | | | tekmdp
| | | | | | | | | | |
+@@@@@@cca | | | | | | | | | | | |
| | | | +=pur-ee=+=+=====+===+ | |
| csin | | | | | |
| | +==o===+===================+==+========+=======+====teklabs=+
| | | |
| | | | pdp phs grumpy wolfvax |
| | | | | | | |
| | cincy unc=+===+======+========+ |
| | | bio | |
| | | (Misc) | | (Misc) |
| | | sii reed | dukgeri duke34 utzoo |
| | | | | | | | | |
| +====+=+=+==+====++======+==++===duke=+===+=======+==+=========+ |
| | | | | | | | | | | u1100s
| bmd70 ucf-cs ucf | andiron | | | | |
| | | | | | |
| rot | | | | | pyuxh
| | | | zeppo | | | |
| psupdp---psuvax | | | | | | | | |
| | | | alice | whuxlb | utah-cs | | houxf
| allegra | | | | | | | | | | | | | |
| | | | | | | | | | +--chico---+
| +===+=mhtsa====research | /=+=======harpo=+==+ | |
| | | | | | / | | |
| hocsr | | +=+=============+=/ cbosg---+ | |
| ucbopt | | | | | esquire |
| :             | | | cbosgd | |
| :             | | | | |
| ucbcory | | eagle==+=====+=====+=====+=====+ | |
| :             | | | | | | | | | +-uwvax--+
| :             | | | mhuxa mhuxh mhuxj mhuxm mhuxv | |
| :             | | | | |
| :             | | | +----------------------------o--+
| :             | | | | |
| ucbcad | | | ihpss mh135a |
| :             | | | | | |
| :             \--o--o------ihnss----vax135----cornell |
| :                | | | | |
+=+==ucbvax==========+===+==+=+======+=======+=+========+=========+
  (UCB) :            | | | | (Silicon Valley)
     ucbarpa cmevax | | menlo70--hao
        :                     | | | |
     ucbonyx | | | sri-unix
                              | ucsfcgl |
                              | | |
Legende:                       | | sytek====+========+
------- | | | |
- | / \ + = Uucp sdcsvax=+=======+=+======+ intelqa zehntel
= "Bus" | | |
o springt sdcarl phonlab sdcattb
:           Berknet
@ Arpanet
UUCP/Usenet Logical Map, Original von Steven McGeady. Urheberrecht© 1981, 1996

Bruce Jones, Henry Spencer, David Wiseman. Kopiert mit Genehmigung von

Das Usenet Oldnews Archiv: Zusammenstellung.

Newsgroup-Experimente wurden erstmals 1979 durchgeführt. Tom Truscott und Jim Ellis von der Duke University hatten die Idee als Ersatz für ein lokales Ankündigungsprogramm und stellten eine Verbindung zur nahe gelegenen University of North Carolina her, wobei sie Bourne-Shell-Skripte verwendeten, die von Steve Bellovin geschrieben wurden. Die öffentliche Veröffentlichung von Nachrichten erfolgte in Form konventioneller kompilierter Software, die von Steve Daniel und Truscott geschrieben wurde. 1980 wurde das Usenet über die UC Berkeley, die sowohl mit dem Usenet als auch mit dem ARPANET verbunden war, an das ARPANET angeschlossen. Mark Horton, der Doktorand, der die Verbindung herstellte, begann damit, Mailinglisten aus dem ARPANET in das Usenet einzuspeisen, und zwar mit der Kennung "fa" ("From ARPANET"). Das Usenet gewann im ersten Jahr 50 Mitglieder, darunter das Reed College, die University of Oklahoma und die Bell Labs, und die Zahl der Nutzer des Netzes stieg drastisch an. Es dauerte jedoch noch eine Weile, bis die Usenet-Nutzer Beiträge zum ARPANET leisten konnten.

Netzwerk

Die UUCP-Netze verbreiteten sich schnell, da sie kostengünstiger waren und bestehende Mietleitungen, X.25-Verbindungen oder sogar ARPANET-Verbindungen nutzen konnten. Bis 1983 nahmen Tausende von Menschen von mehr als 500 Hosts aus teil, hauptsächlich Universitäten und Bell Labs-Standorte, aber auch eine wachsende Zahl von Unix-bezogenen Unternehmen; die Zahl der Hosts verdoppelte sich fast auf 940 im Jahr 1984. Es gab mehr als 100 Newsgroups, von denen sich mehr als 20 mit Unix und anderen computerbezogenen Themen befassten und mindestens ein Drittel der Freizeitgestaltung gewidmet war. Da das Netz der UUCP-Hosts rasch wuchs, wurde es wünschenswert, das Usenet-Teilnetz vom Gesamtnetz zu unterscheiden. Auf der USENIX-Konferenz 1982 wurde über die Wahl eines neuen Namens abgestimmt. Der Name Usenet wurde beibehalten, aber es wurde festgestellt, dass er nur für Nachrichten galt. Der Name UUCPNET wurde zum allgemeinen Namen für das gesamte Netzwerk.

Zusätzlich zu UUCP wurde der frühe Usenet-Verkehr auch mit Fidonet und anderen BBS-Einwahlnetzen ausgetauscht. Mitte der 1990er Jahre waren fast 40.000 FidoNet-Systeme in Betrieb, und es war möglich, mit Millionen von Nutzern auf der ganzen Welt zu kommunizieren, und das nur über einen lokalen Telefondienst. Die weit verbreitete Nutzung des Usenet durch die BBS-Gemeinschaft wurde durch die Einführung von UUCP-Feeds erleichtert, die durch MS-DOS-Implementierungen von UUCP wie UFGATE (UUCP to FidoNet Gateway), FSUUCP und UUPC ermöglicht wurden. 1986 wurde mit RFC 977 die Spezifikation des Network News Transfer Protocol (NNTP) für die Verteilung von Usenet-Artikeln über TCP/IP als flexiblere Alternative zu informellen Internet-Übertragungen von UUCP-Verkehr festgelegt. Seit dem Internet-Boom in den 1990er Jahren erfolgt fast die gesamte Usenet-Verteilung über NNTP.

Software

Frühe Versionen des Usenet verwendeten die Software A News von Duke, die für ein oder zwei Artikel pro Tag ausgelegt war. Matt Glickman und Horton in Berkeley entwickelten eine verbesserte Version namens B News, die den steigenden Datenverkehr bewältigen konnte (etwa 50 Artikel pro Tag Ende 1983). Mit einem Nachrichtenformat, das Kompatibilität mit der Internet-Mail bot, und einer verbesserten Leistung wurde es zur vorherrschenden Server-Software. C News, das von Geoff Collyer und Henry Spencer an der Universität von Toronto entwickelt wurde, war in seinen Funktionen mit B News vergleichbar, bot aber eine wesentlich schnellere Verarbeitung. Anfang der 1990er Jahre wurde InterNetNews von Rich Salz entwickelt, um die Vorteile des kontinuierlichen Nachrichtenflusses zu nutzen, den NNTP im Gegensatz zum stapelweisen Store-and-Forward-Design von UUCP ermöglicht. Seitdem wurde die Entwicklung von INN fortgesetzt, und es wurde auch andere Newsserver-Software entwickelt.

Öffentlicher Treffpunkt

Das Usenet war die erste Internet-Community und der Ort für viele der wichtigsten öffentlichen Entwicklungen im vorkommerziellen Internet. Es war der Ort, an dem Tim Berners-Lee den Start des World Wide Web ankündigte, an dem Linus Torvalds das Linux-Projekt ankündigte und an dem Marc Andreessen die Entwicklung des Mosaic-Browsers und die Einführung des Image-Tags bekannt gab, das das World Wide Web revolutionierte, indem es es zu einem grafischen Medium machte. Die Aktivistin Amy Goodloe nutzte die Plattform, um eine E-Mail-Liste für LGBT-Aktivisten zu führen.

Internet-Jargon und Geschichte

Viele der heute im Internet gebräuchlichen Fachausdrücke stammen aus dem Usenet oder wurden dort verbreitet. Auch viele Konflikte, die sich später auf das übrige Internet ausbreiteten, wie z. B. die anhaltenden Probleme mit dem Spamming, begannen im Usenet.

"Das Usenet ist wie eine Herde von Elefanten, die Durchfall haben. Riesig, schwer umzuleiten, ehrfurchtgebietend, unterhaltsam und eine Quelle von unglaublichen Mengen an Exkrementen, wenn man es am wenigsten erwartet."

- Gene Spafford, 1992

Niedergang

Sascha Segan vom PC Magazine sagte 2008, dass "das Usenet seit Jahren im Sterben liegt". Segan sagte, dass einige Leute auf den Ewigen September 1993 als Beginn des Niedergangs des Usenet hinwiesen, als AOL begann, Usenet-Zugang anzubieten. Er argumentiert, dass der Speicherplatz und der Datenverkehr im Usenet entsprechend zunahmen, als die Benutzer Ende der 1990er Jahre begannen, große (nicht textbasierte) Dateien ins Usenet zu stellen. Die Internetdienstleister fragten sich, warum sie Speicherplatz für binäre Artikel bereitstellen sollten.

AOL stellte den Usenet-Zugang im Jahr 2005 ein. Im Mai 2010 stellte die Duke University, die das Usenet mehr als 30 Jahre zuvor eingeführt hatte, ihren Usenet-Server mit der Begründung geringer Nutzung und steigender Kosten außer Betrieb. Am 4. Februar 2011 wurde der Link des Usenet-Nachrichtendienstes an der University of North Carolina in Chapel Hill (news.unc.edu) nach 32 Jahren abgeschaltet.

John Biggs von TechCrunch sagte daraufhin: "Solange es Leute gibt, die eine Kommandozeile für besser halten als eine Maus, wird das ursprüngliche soziale Netzwerk, das nur aus Text besteht, weiterleben". Es gibt zwar immer noch einige aktive Text-Newsgroups im Usenet, aber das System wird jetzt hauptsächlich für den Austausch großer Dateien zwischen Benutzern verwendet, und die dem Usenet zugrunde liegende Technologie bleibt unverändert.

Major Seven / Big Eight

Das Usenet wurde von Tom Truscott, Steve Bellovin und Jim Ellis 1979 in den Vereinigten Staaten als Verbindung zweier Unix-Rechner an der University of North Carolina und der Duke University aus der Taufe gehoben. Die Idee dahinter war, eine freie Alternative zum Arpanet, dem Vorläufer des heutigen Internets, zu schaffen. Der Datenaustausch erfolgte über herkömmliche Telefonleitungen mit dem Unix-Protokoll UUCP (Unix to Unix Copy).

Schon bald wurden weitere Rechner in das Netz integriert, wegen des verwendeten UUCP-Protokolls war das Netz jedoch auf Unix-Rechner beschränkt. Über UUCP bestand die Möglichkeit, zum einen persönliche Nachrichten auszutauschen (E-Mail), zum anderen in öffentlichen Foren teilzunehmen.

Um einen besseren Überblick über die verfügbaren Newsgroups zu haben, wurden diese hierarchisch nach sieben Hauptthemen unterteilt, die Major Seven oder Big Seven. Diese sind zusammen mit der 1995 geschaffenen achten Hierarchie als Big Eight bzw. Big-8 bekannt:

comp Themen rund um den Computer (computer)
sci Wissenschaft und Technik (science)
soc Gesellschaft (social)
talk Allgemeine Themen
rec Alle Themen rund um Freizeit und Erholung, zum Teil auch Kunst und Kultur (recreational)
news Das Usenet selbst ist Gesprächsthema
misc Alles, was nicht in einer der oben genannten Newsgroups Thema ist (miscellaneous, ‚Vermischtes‘)
humanities Geisteswissenschaften, Kulturelles (seit 1995)

Aufgrund der technischen Struktur des Usenet blieben dies lange Zeit die einzigen Hierarchien. Das Netz war bis zu dem Zeitpunkt zwar auf einige tausend Rechner angewachsen, der Datenverkehr lief jedoch großteils über wenige zentrale Rechner, deren Administratoren, die sogenannte Backbone Cabal, ziemlich viel Macht bei der Einrichtung neuer Gruppen hatten.

Veränderungen im Usenet-Verkehr

Im Laufe der Zeit hat der Usenet-Verkehr stetig zugenommen. Im Jahr 2010 betrug die Anzahl aller Textbeiträge in allen Big-8-Newsgroups durchschnittlich 1.800 neue Nachrichten pro Stunde und durchschnittlich 25.000 Nachrichten pro Tag. Diese Durchschnittswerte sind jedoch im Vergleich zum Datenverkehr in den binären Gruppen verschwindend gering. Ein Großteil dieses Anstiegs des Datenverkehrs ist nicht auf eine Zunahme der einzelnen Benutzer oder der Diskussionen in den Newsgroups zurückzuführen, sondern auf eine Kombination aus massivem automatisiertem Spamming und einer Zunahme der Verwendung von .binaries-Newsgroups, in denen häufig große Dateien öffentlich gepostet werden. Es folgt ein kleiner Ausschnitt der Veränderungen (gemessen an der Feedgröße pro Tag):

Usenet traffic per day (en).svg
Quelle: altopia.com
Tägliches Volumen Tägliche Beiträge Datum
4,5 GiB 1996 Dez
9 GiB 1997 Jul
12 GiB 554 k 1998 Januar
26 GiB 609 k 1999 Januar
82 GiB 858 k 2000 Januar
181 GiB 1.24 M Januar 2001
257 GiB 1.48 M Januar 2002
492 GiB 2.09 M 2003 Jan
969 GiB 3.30 M Januar 2004
1,52 TiB 5.09 M 2005 Jan
2,27 TiB 7.54 M 2006 Jan
2,95 TiB 9.84 M 2007 Jan
3,07 TiB 10.13 M 2008 Jan
4,65 TiB 14.64 M 2009 Jan
5,42 TiB 15.66 M 2010 Jan
7,52 TiB 20.12 M 2011 Jan
9,29 TiB 23.91 M 2012 Jan
11,49 TiB 28.14 M 2013 Jan
14,61 TiB 37.56 M 2014 Jan
17,87 TiB 44.19 M 2015 Jan
23,87 TiB 55.59 M 2016 Jan
27,80 TiB 64.55 M 2017 Jan
37,35 TiB 73.95 M 2018 Jan
60,38 TiB 104.04 M 2019 Jan
62,40 TiB 107.49 M 2020 Jan
100,71 TiB 171.86 M 2021 Jan

2008 unterzeichneten Verizon Communications, Time Warner Cable und Sprint Nextel eine Vereinbarung mit dem Generalstaatsanwalt von New York, Andrew Cuomo, um den Zugang zu kinderpornografischen Quellen zu sperren. Time Warner Cable stellte den Zugang zum Usenet ein. Verizon reduzierte seinen Zugang zu den "Big 8"-Hierarchien. Sprint stellte den Zugang zu den alt.*-Hierarchien ein. AT&T stellte den Zugang zu den alt.binaries.*-Hierarchien ein. Cuomo hat das Usenet in seiner Kampagne gegen Kinderpornographie nie ausdrücklich genannt. David DeJean von PC World sagte, dass einige befürchten, dass die Internetdienstleister Cuomos Kampagne als Vorwand nutzten, um Teile des Usenet-Zugangs einzustellen, da dieser für die Internetdienstleister kostspielig und bei den Kunden nicht sehr gefragt ist. Im Jahr 2008 waren AOL, das den Usenet-Zugang nicht mehr anbot, und die vier Anbieter, die auf die Cuomo-Kampagne reagierten, die fünf größten Internetdienstanbieter in den Vereinigten Staaten; sie hatten mehr als 50 % des ISP-Marktanteils in den USA. Am 8. Juni 2009 gab AT&T bekannt, dass es ab dem 15. Juli 2009 keinen Zugang mehr zum Usenet-Dienst anbieten werde.

AOL kündigte Anfang 2005 an, seinen integrierten Usenet-Dienst einzustellen und begründete dies mit der wachsenden Beliebtheit von Weblogs, Chat-Foren und Online-Konferenzen. Die AOL-Community hatte rund 11 Jahre zuvor einen großen Anteil an der Popularisierung des Usenet.

Im August 2009 gab Verizon bekannt, dass es den Zugang zum Usenet am 30. September 2009 einstellen wird. JANET kündigte an, den Usenet-Service zum 31. Juli 2010 einzustellen, und nannte Google Groups als Alternative. Microsoft kündigte an, die Unterstützung für seine öffentlichen Newsgroups (msnews.microsoft.com) ab dem 1. Juni 2010 einzustellen und bietet als Alternative Webforen an.

Als Hauptgründe für die Einstellung des Usenet-Dienstes durch die allgemeinen Internetdienstanbieter werden der Rückgang des tatsächlichen Leservolumens aufgrund der Konkurrenz durch Blogs sowie Kosten- und Haftungsbedenken aufgrund des zunehmenden Anteils des Datenverkehrs, der für Filesharing und Spam in nicht genutzten oder eingestellten Gruppen verwendet wird, genannt.

Einige Internet-Diensteanbieter führten den Druck von Cuomos Kampagne gegen Kinderpornographie nicht als einen ihrer Gründe für die Einstellung von Usenet-Feeds als Teil ihrer Dienste an. Die Internetdienstleister Cox und Atlantic Communications widersetzten sich dem Trend von 2008, doch beide stellten 2010 schließlich ihre jeweiligen Usenet-Feeds ein.

Archive

Öffentliche Archive für Usenet-Artikel gibt es schon seit den Anfängen des Usenet, z. B. das von Kenneth Almquist Ende 1982 eingerichtete System. Die verteilte Archivierung von Usenet-Beiträgen wurde im November 1982 von Scott Orshan angeregt, der vorschlug, dass "jede Site alle Artikel, die sie veröffentlicht, für immer aufbewahren sollte". Ebenfalls im November desselben Jahres antwortete Rick Adams auf die Frage "Hat irgendjemand Netnews archiviert, oder hat jemand vor, dies zu tun?", indem er erklärte, er habe "Angst, es zuzugeben, aber ich habe am 18. September damit begonnen, die meisten 'nützlichen' Newsgroups zu archivieren." Im Juni 1982 schlug Gregory G. Woodbury ein System für den "automatischen Zugang zu Archiven" vor, das aus der "automatischen Beantwortung von Nachrichten in festem Format an einen speziellen Mail-Empfänger auf bestimmten Rechnern" bestand.

1985 wurden zwei Nachrichtenarchivierungssysteme und ein RFC ins Internet gestellt. Das erste System mit dem Namen keepnews von Mark M. Swenson von der University of Arizona wurde als "ein Programm beschrieben, das versucht, einen vernünftigen Weg zu finden, Informationen, die über das Usenet kommen, zu extrahieren und zu speichern". Der Hauptvorteil dieses Systems bestand darin, dass es den Benutzern die Möglichkeit gab, Artikel zu markieren, die es wert waren, aufbewahrt zu werden. Das zweite System, YA News Archiver von Chuq Von Rospach, ähnelte keepnews, war aber "für die Arbeit mit viel größeren Archiven konzipiert, bei denen die wunderbare quadratische Suchzeit von Unix ... zu einem echten Problem wird." Von Rospach veröffentlichte Anfang 1985 einen detaillierten RFC für "Archivierung und Zugriff auf Usenet-Artikel mit Stichwortsuche". Dieser RFC beschrieb ein Programm, das "ein Archiv von Usenet-Artikeln erzeugen und ein Archiv von Usenet-Artikeln erstellt und verwaltet und die Suche nach Artikeln auf der Grundlage der Artikel-ID, der Betreffzeilen oder von Schlüsselwörtern aus dem Artikel selbst ermöglicht". Dazu gehörte auch der C-Code für die interne Datenstruktur des Systems.

Der Wunsch nach einem Volltext-Suchindex für archivierte Nachrichtenartikel ist ebenfalls nicht neu. Eine solche Anfrage wurde im April 1991 von Alex Martelli gestellt, der "eine Art eine Art Stichwortindex für [das Nachrichtenarchiv] zu erstellen". Anfang Mai stellte Herr Martelli eine Zusammenfassung seiner Antworten ins Usenet und bemerkte, dass der "Preis für den beliebtesten Vorschlag definitiv an das 'lq-text'-Paket von Liam Quin geht, das kürzlich in alt.sources gepostet wurde."

Die Website Alt Sex Stories Text Repository (ASSTR) archiviert und indexiert erotische und pornografische Geschichten, die in der Usenet-Gruppe alt.sex.stories veröffentlicht wurden.

Die Archivierung des Usenet hat zu Befürchtungen über den Verlust der Privatsphäre geführt. Ein Archiv vereinfacht die Erstellung von Personenprofilen. Dem wurde teilweise mit der Einführung des X-No-Archive: Yes-Header, der selbst umstritten ist.

Archive von Google Groups und DejaNews

Die webbasierte Archivierung von Usenet-Beiträgen begann 1995 bei Deja News mit einer sehr großen, durchsuchbaren Datenbank. Im Jahr 2001 wurde diese Datenbank von Google übernommen.

Google Groups beherbergt ein Archiv von Usenet-Posts, das bis Mai 1981 zurückreicht. Die frühesten Beiträge, die von Mai 1981 bis Juni 1991 datieren, wurden Google von der University of Western Ontario mit Hilfe von David Wiseman und anderen zur Verfügung gestellt und ursprünglich von Henry Spencer am Fachbereich Zoologie der University of Toronto archiviert. Die Archive für Ende 1991 bis Anfang 1995 wurden von Kent Landfield aus der NetNews-CD-Serie und Jürgen Christoffel von GMD zur Verfügung gestellt. Das Archiv der Beiträge ab März 1995 wurde von der Firma DejaNews (später Deja) eingerichtet, die im Februar 2001 von Google aufgekauft wurde. Google begann in der zweiten Augustwoche 2000 mit der Archivierung von Usenet-Beiträgen für sich selbst.

Google wurde von Vice- und Wired-Mitarbeitern sowie von ehemaligen Mitarbeitern für seine Verwaltung des Archivs und für die Unterbrechung der Suchfunktion kritisiert.

Funktionsweise

Benutzung

Der Zugang zum Usenet und den Newsgroups erfolgt über ein auf dem Rechner installiertes Programm, einen sogenannten Newsreader. Eingeschränkter Zugang ist auch mittels E-Mail (Mail-To-News-Gateway) oder über eine entsprechende Webseite (Web-To-News-Gateway) möglich.

Im Falle eines Newsreaders ist diesem normalerweise zuerst die Adresse des zu benutzenden Newsservers mitzuteilen. Das Programm kann von diesem dann alle dort vorhandenen Newsgroups auflisten. Der Benutzer wählt diejenigen aus, die er lesen möchte, und der Newsreader lädt die Beiträge dieser Newsgroups zur Anzeige herunter. Der Benutzer wählt eine bestimmte Newsgroup aus und kann sich eine Liste der anstehenden Postings ansehen, meist wahlweise entweder chronologisch oder nach Themen (Threads) sortiert. Er wählt daraus die ihn interessierenden Postings aus, liest sie und kann sie beantworten, um so ein neues Posting zu erzeugen. Selbstverständlich gibt es auch die Möglichkeit, ein Posting zu einem vollkommen neuen Thema zu erstellen.

Technik

Newsserver transportieren die Nachrichten. Das ursprünglich zur Übertragung verwendete Protokoll war UUCP, es wurde jedoch später, bis auf wohl eher seltene Ausnahmen, durch NNTP abgelöst. Solche Verbindungen liefen zumindest in den Anfangszeiten nicht unbedingt über das Internet, so dass zumindest in Teilen eine Struktur genau wie bei den Mailboxnetzen vorlag.

Die Verbreitung und der Zugriff auf das Usenet erfolgen dagegen heute weitgehend über das Internet, da dies aber nicht zwangsläufig der Fall sein muss, wird auch heute noch von einigen Nutzern argumentiert, dass das Usenet – streng genommen – eigentlich kein Teil des Internets sei, beziehungsweise es eben zumindest nicht sein muss.

Das Datenformat für Artikel ist in RFC 5536 beschrieben. Einfach beschrieben entspricht ein einzelnes Posting genau der Struktur einer einzelnen E-Mail. Es weist wie diese diverse Header-Zeilen auf, die für das Usenet lediglich um einige spezielle Zeilentypen erweitert wurden, vor allem die „Newsgroups:“-Zeile mit der Angabe, in welcher Newsgroup oder welchen Newsgroups dieses Posting erscheinen soll.