Scrapy (Software)
| Scrapy
| |
|---|---|
| |
| Basisdaten
| |
| Entwickler | Zyte Limited |
| Erscheinungsjahr | 26. Juni 2008 |
| Aktuelle Version | 2.11.2[1] (14. Mai 2024) |
| Betriebssystem | Microsoft Windows[2], Linux[2], macOS[2], Berkeley Software Distribution[3] |
| Programmiersprache | Python[4] |
| Kategorie | Webcrawler, Screen Scraping |
| Lizenz | 3-Klausel-BSD[5][6] |
| scrapy.org, GitHub | |
Scrapy () ist ein „Free and Open Source“-Webcrawling- und Scraping-Framework, das in der Programmiersprache Python geschrieben wurde.[7] Ursprünglich wurde Scrapy für Webscraping designt, jedoch kann es als Allzweck-Webcrawler oder auch zur Extraktion von Daten mittels API genutzt werden. Gegenwärtig wird es von der Firma Zyte Limited (früher Scrapinghub Ltd.) betreut.
Die Architektur baut auf sogenannten Spiders auf. Dies sind in sich geschlossene Crawler, denen eine Reihe von Anweisungen gegeben werden. Nach dem Prinzip anderer „Don’t repeat yourself“-Frameworks, wie beispielsweise Django,[8] vereinfacht das Framework den Aufbau und die Skalierung von großen Crawling-Projekten, indem es Entwicklern erlaubt, den Code wiederzuverwenden. Scrapy bietet auch eine Shell, die Entwickler nutzen können, um ihre Annahmen auf das Verhalten einer Website zu testen.[9]
Einige Unternehmen und Produkte, die Scrapy nutzen, sind:[10]
Geschichte
[Bearbeiten | Quelltext bearbeiten]Scrapy entstand in dem in London ansässigen E-Commerce-Unternehmen Mydeco, wo es von Angestellten von Mydeco und Insophia (ein Unternehmen für Web-Beratung, ansässig in Montevideo, Uruguay) entwickelt und betrieben wurde. Die erste Veröffentlichung fand im August 2008 unter der BSD-Lizenz statt; die Version 1.0 erschien im Juni 2015.[17] Im Jahre 2011 wurde Scrapinghub der offizielle Betreuer des Projekts.[18][19]
Weblinks
[Bearbeiten | Quelltext bearbeiten]- Offizielle Website (englisch)
Einzelnachweise
[Bearbeiten | Quelltext bearbeiten]- ↑ Release 2.11.2. 14. Mai 2024 (abgerufen am 17. Mai 2024).
- ↑ a b c Installation guide. (abgerufen am 9. April 2022).
- ↑ Scrapy. (abgerufen am 9. April 2022).
- ↑ The scrapy Open Source Project on Open Hub: Languages Page. In: Open Hub. (abgerufen am 18. Juli 2018).
- ↑ directory.fsf.org. In: Free Software Directory. (abgerufen am 26. März 2017).
- ↑ The scrapy Open Source Project on Open Hub: Licenses Page. In: Open Hub. (abgerufen am 18. Juli 2018).
- ↑ Scrapy auf GitHub
- ↑ Frequently Asked Questions. Abgerufen am 28. Juli 2015.
- ↑ Scrapy shell. Abgerufen am 28. Juli 2015.
- ↑ Scrapy | Companies using Scrapy. Abgerufen am 9. April 2022 (englisch).
- ↑ Eddie Bell, Jonathan Heusser: Scalable Scraping Using Machine Learning. Archiviert vom am 9. Oktober 2016; abgerufen am 28. Juli 2015. Info: Der Archivlink wurde automatisch eingesetzt und noch nicht geprüft. Bitte prüfe Original- und Archivlink gemäß Anleitung und entferne dann diesen Hinweis.
- ↑ Scrapy | Companies using Scrapy
- ↑ Andrew Montalenti: Web Crawling & Metadata Extraction in Python.
- ↑ Scrapy Companies. In: Scrapy website.
- ↑ Hyphe v0.0.0: the first release of our new webcrawler is out!
- ↑ World Govt Data site uses Django, Solr, Haystack, Scrapy and other exciting buzzwords http://bit.ly/5jU3La #opendata #datastore.
- ↑ Scrapy 1.0 official release out! 19. Juni 2015.
- ↑ Pablo Hoffman: List of the primary authors & contributors. 2013 (github.com [abgerufen am 18. November 2013]).
- ↑ Interview Scraping Hub.
