„Common Crawl is an attempt to create an open and accessible crawl of the web“: Ein „Crawl“ ist das Ergebnis der automatischen Durchforstung und Analyse des Internet. Common Crawl macht Dutzende Terabyte solcher Indexdaten frei zugänglich für die Auswertung durch alle und jede_n. Ein Datenberg wie der, den Google schürft, um seine Milliarden zu machen – frei zugänglich. „The Common Crawl Foundation’s goals are to facilitate broad access to the crawl, and not to monetize the crawl. Thus, we provide unrestricted access to our crawl buckets.“ Nicht nur Suchmaschinen setzen auf solchen Datenbergen auf, sondern auch die statistische Beantwortung soziologischer und polit-ökonomischer Fragestellungen.

Tags: Infrastruktur, Open Access, open data, Open Source, Suchmaschine