Werbung
Reddit geht aktuell immer härter gegen Webcrawler vor. Laut einem Bericht von 404 Media hat Reddit in den letzten Wochen damit begonnen, Suchmaschinen daran zu hindern, aktuelle Beiträge und Kommentare anzuzeigen, es sei denn, die Suchmaschine zahlt dafür.
Derzeit ist Google daher die einzige Suchmaschine, die neue Ergebnisse liefern kann. Dies liegt wahrscheinlich daran, dass Google einen 60 Millionen US-Dollar schweren Deal mit Reddit abgeschlossen hat, der es dem Unternehmen ermöglicht, seine KI-Modelle auf Inhalten von Reddit zu trainieren. Damit bleiben Bing, DuckDuckGo und andere alternative Suchmaschinen derzeit außen vor. Ursächlich dafür ist eine geänderte robots.txt-Datei. Suchmaschinen nutzen Reddit-Threads dabei gerne, um Antworten auf gestellte Fragen zu liefern.
Microsoft bestätigte dies gegenüber dem Magazin Search Engine Land: "Bing hat das Crawlen von Reddit eingestellt, nachdem sie am 1. Juli ihre aktualisierte robots.txt-Datei implementiert haben, die jegliches Crawlen ihrer Website verbietet."
Seitens Reddit ist dies ein mutiger Schritt, kommt aber auch nicht überraschend. Bereits im Laufe des letzten Jahres hat Reddit seine Daten kontinuierlich besser geschützt, um so weitere Einnahmequellen zu erschließen und neue Investoren zu überzeugen. Auch die API für einige Drittentwickler wurde bereits verteuert.
Gegenüber The Verge äußerte sich Reddit zu seinem aktuellen Vorgehen wie folgt: "Wir haben mit mehreren Suchmaschinenanbietern Gespräche geführt. Wir konnten nicht mit allen eine Einigung erzielen, da einige nicht in der Lage oder nicht willens sind, durchsetzbare Zusagen bezüglich ihrer Verwendung von Reddit-Inhalten zu machen, einschließlich ihrer Verwendung für KI."