Usenet

Usenet, een samenvoeging van users network, ook bekend als netnews of news, is een wereldwijd, gedecentraliseerd netwerk voor de uitwisseling van door gebruikers op een eigen computer gemaakte of opgeslagen tekstberichten of binaire bestanden.

Berichten worden in zogenaamde nieuwsgroepen geplaatst waarvan de bestanden zich op een van de computers in het netwerk bevinden, dat hoeft geen centrale server te zijn. Gebruikers kunnen zich abonneren op de feed van een nieuwsgroep, de bestanden worden dan van de nieuwsgroep naar de computer van de betreffende gebruiker gestuurd. Of men kan bestanden vanaf de eigen computer in de nieuwsgroep plaatsen.

Er moet daarvoor News toepassingssoftware op de computer worden geïnstalleerd die voor de uitwisseling van data zorgt tussen eigen en andere computers of servers. Deze is tegenwoordig vaak geïntegreerd in email software paketten, de software-structuur lijkt op die van email met als groot verschil dat news berichten bestemd zijn om door anderen te worden gelezen.

De digitale structuur is in 1979 bedacht en ontwikkeld, de eerste bestanden werden in 1980 verzonden tussen twee amerikaanse universiteiten, gebruikmakend van het UUCP transport protocol. In 1981 werd Usenet via een derde universiteit aangesloten op het ARPA-netwerk dat in de 1960er jaren was aangelegd tussen een tiental wetenschappelijke organisaties en onderzoeksinstellingen. Later kon gebruik worden gemaakt van het wereldwijde kabelnetwerk van de telefonie, waardoor de toepassing voor een breder publiek toegankelijk werd.

Een nieuwsgroep richt zich meestal op een specifiek onderwerp, gebruikt als er van tekstberichten sprake is een bepaalde taal, en is soms beperkt tot een specifiek land, gebied of instituut.

Usenet wordt voor verschillende doeleinden gebruikt:

• het discussiëren over onderwerpen, dikwijls door mensen die elkaar niet kennen
• het stellen en beantwoorden van vragen over allerlei onderwerpen
• het verspreiden van bestanden zoals afbeeldingen, muziek, en software. Dit kan onrechtmatig of strafbaar zijn wanneer het toepasselijke auteursrecht wordt geschonden of het bezitten en verspreiden van de inhoud strafbaar is gesteld.

De naam Usenet staat voor Unix User Network en is van Unix afgeleid, het besturingssysteem van computers waar het oorspronkelijk op is gebaseerd.

Geschiedenis

Usenet werd in 1979 en 1980 door Tom Truscott en Jim Ellis ontwikkeld aan de Duke University, toen Internet nog niet bestond. Wel hadden veel mensen, vooral aan Amerikaanse universiteiten, computers met het besturingssysteem Unix, die met elkaar over de telefoon konden communiceren. Het UUCP-protocol werd de standaard voor zulke verbindingen om gegevens uit te wisselen. Usenet maakte hier in het begin gebruik van, maar er werd later een manier ontwikkeld om Usenet ook via het internet door te geven: het NNTP-protocol. Usenet gebruikt sindsdien vooral NNTP.

Er heeft zich in die tijd een Usenetcultuur ontwikkeld met de eerste regels over het gebruik van internet: over flaming en nettiquette. Het had toen dezelfde indeling als startpagina.nl.

BBS versus Usenet

Usenet is met bulletin board systems of BBS'en te vergelijken. Dergelijke systemen waren in de periode 1980-1995 populair. Veel computergebruikers zetten een BBS op, waar anderen dan gebruik van maken. Uiteindelijk verspreidt veel materiaal zich over veel verschillende BBS'en. Deze opzet is een voorbeeld van client-servercommunicatie: de computer met het BBS fungeert als een server, waar de gebruikers, de clients, verbinding mee maken. Het verspreiden van de gegevens tussen de servers gaat hierbij niet automatisch.

Bij Usenet is dat wel het geval, alle berichten worden automatisch overal heen verspreid. Dat ging in het begin door directe berichtenuitwisseling tussen gebruikers, via UUCP, maar later via internet. Er zijn daarvoor speciale Usenet-servers die berichten vasthouden en onderling uitwisselen, en waar gebruikers via het NNTP-protocol als client verbinding mee maken. De communicatie is daarmee een mengvorm tussen client-server en peer-to-peer, chats gaan met IRC op dezelfde manier.

Techniek en werking

A stuurt een bericht, bedoeld voor B. Het bericht gaat over drie servers naar B, maar ook andere mensen lezen het bericht.

Usenet bestaat in technische zin uit een verzameling afspraken, protocollen, voor het uitwisselen van berichten, waarin ook wordt gedefinieerd welke metadata er aan de berichten in de vorm van een aantal headers zijn gekoppeld. Een van de headers in een bericht is de nieuwsgroep, waarin het bericht wordt geplaatst, een andere bijvoorbeeld het onderwerp van het bericht, de titel. Berichten worden verspreid via een netwerk van duizenden servers overal ter wereld. Usenet was een van de eerste peer-to-peertoepassingen.

Gebruik

Bij gebruik van NNTP moet een gebruiker, om Usenet te bereiken, verbinding leggen met een NNTP-server, een nieuwsserver. Hiervoor moet de gebruiker een newsreader, hetzelfde als een NNTP-client, gebruiken: een programma dat volgens NNTP communiceert en de aangeboden functies aan de gebruiker kan aanbieden. Tot deze functies behoren het maken van overzichten van beschikbare berichten per nieuwsgroep, het ophalen van berichten om te lezen en het plaatsen van zelf geschreven berichten. De NNTP-servers wisselen onderling geregeld hun nieuwe berichten uit. Daardoor komt een door een gebruiker geplaatst bericht op een gegeven moment bij een andere gebruiker aan, zelfs als deze van een andere NNTP-server gebruikmaakt, maar hier kunnen soms dagen overheen gaan. Daardoor krijgen de verschillende deelnemers aan een Usenet-discussie toch dezelfde berichten, maar vaak in een totaal verschillende volgorde. Wel worden alle reacties op een bericht als zodanig gemarkeerd, en bieden de nieuwslezerprogramma's goede overzichten van de discussies aan, waardoor er toch samenhangende discussies mogelijk zijn.

De meeste internetproviders bieden een NNTP-server aan als standaarddienst voor hun abonnees, maar deze hebben meestal beperkingen. De meeste bieden bijvoorbeeld geen binary-nieuwsgroepen aan. Er zijn ook enkele openbare nieuwsservers, met een ruimer aanbod, daarvoor moet meestal apart voor worden betaald.

News-Service Europe, naar eigen zeggen de grootste Usenetprovider van Europa, kondigde op 5 november 2011 aan, de activiteiten met directe ingang stop te zetten.

Nieuwsgroepen

Artikelen die gebruikers posten op Usenet zijn georganiseerd in onderwerpcategorieën in nieuwsgroepen. Deze nieuwsgroepen zijn op hun beurt hiërarchisch ingedeeld. In de meeste nieuwsgroepen is een artikel een reactie op andere artikelen. Usenet werkt met threads en subthreads, zoals ook de hedendaagse forums gebruiken.

Het meest bekend zijn de Big-8 die de volgende acht hiërarchieën omvat: comp, humanities, misc, news, rec, sci, soc en talk. Verder is er de alt-hiërarchie, waarin eenieder groepen kan aanmaken, daarom is de structuur van alt.* tamelijk chaotisch.

Verschillende landen hebben hun eigen hiërarchie. In Nederland is er de nl-hiërarchie die door de nl-admin wordt beheerd, in België is er de be-hiërarchie.

De nieuwsgroepen bevinden zich op een server of preciezer een netwerk van servers. Men moet meestal om toegang te krijgen tot deze server een maandelijks te betalen abonnement betalen. De meeste internetproviders geven ook zeer gelimiteerd toegang tot Usenetservers, maar daar is meestal nauwelijks iets te vinden.

Omdat er binaire bestanden kunnen worden doorgegeven via Usenet, wordt dit vaak gebruikt om illegaal bestanden door te geven. Deze bestanden kunnen spelletjes zijn, maar ook films, muziek of zelfs virussen. Volgens het hooggerechtshof in Amsterdam zijn Usenetproviders niet verantwoordelijk voor de inbreuk op het auteursrecht dat gebruikers van hun servers plegen. Wel moeten providers op basis van notice and takedown verzoeken zo snel mogelijk illegale downloads te verwijderen.

Retentie

Een screenshot van oktober 2020 welke 60 PB aan Usenetdata laat zien.

Retentie is de periode dat een bericht op een nieuwsserver wordt bewaard. Deze periode kan per provider en nieuwsgroep verschillen. Usenet providers hebben retentietijden van meer dan 12 jaar. Dit resulteert in meer dan 60 petabytes (60000 terabytes) aan data (zie plaatje).

Voor een deel als gevolg van dergelijke lange retentietijden, evenals door groeiende snelheid van uploaden, wordt Usenet ook voor back-up gebruikt: met Usenet Backup of uBackup. Terwijl commerciële aanbieders gemakkelijk te gebruiken online back-updiensten aanbieden, is het opslaan van gegevens op Usenet gratis. Sommige internetproviders bieden ook gratis toegang tot Usenet aan. De methode vereist dat de gebruiker de gegevens handmatig selecteert, voorbereidt en uploadt. Deze gegevens worden normaal gecodeerd, omdat anders iedereen de back-upbestanden kon downloaden. Nadat de bestanden zijn geüpload, heeft de uploader er geen enkele controle meer over. De bestanden worden automatisch gekopieerd naar alle Usenet providers, dus zullen er meer exemplaren verspreid over verschillende geografische locaties over de hele wereld zijn.

Geschiedenis

• 1979: Tom Truscott en Jim Ellis ontwikkelen Usenet
• 1983: 550 UUCP-hosts. Usenet maakte voornamelijk gebruik van X.25-links
• 1984: 940 UUCP-hosts.
• 1985: NNTP wordt ontwikkeld, een toepassingslaag bovenop TCP/IP voor Usenet
• 1990: snelle groei van internet, andere toepassingen beginnen Usenet te overvleugelen
• 1995: DejaNews maakt het door middel van het wereldwijd web mogelijk oude en nieuwe Usenetberichten te doorzoeken
• 2001: Google neemt DejaNews over en breidt de dienst uit tot het huidige Google Groups
• 2005: AOL stopt met Usenet. AOL kondigt aan dat het zijn geïntegreerde dienst die van Usenet begin 2005 zal beëindigen vanwege de sterke groei van onder andere webforums en weblogs.

Bronnen, noten en/of referenties