Scrapy
![]() Logo programu | |
Autor | Scrapinghub |
---|---|
Pierwsze wydanie | 28 czerwca 2008 |
Aktualna wersja stabilna | 1.8.0 (28 października 2019; ponad 4 lata temu)[1] |
Język programowania | Python |
System operacyjny | Microsoft Windows, macOS, Linux |
Rodzaj | framework |
Licencja | Licencja BSD |
Strona internetowa |
Scrapy – otwartoźródłowy szkielet do tworzenia aplikacji napisany w języku programowania Python i służący do pisania robotów internetowych, które przeszukują strony internetowe i wydobywają z nich określone dane[2].
Scrapy ma „selektory“, czyli własny mechanizm pozwalający na ekstrakcję danych. Jednakże może być w łatwy sposób łączony z bibliotekami do parsowania takimi jak: BeautifulSoup, czy lxml. Wspiera wykorzystywanie pośredników HTTP. Używa kolejki LIFO do przechowywania oczekujących żądań, co oznacza, że wykorzystuje przeszukiwanie w głąb. Jednakże umożliwia zmianę ustawień skutkującą przeszukiwaniem wszerz. Dodatkowo Scrapy odbiera i przechowuje ciasteczka wysyłane przez serwery i odsyła je w kolejnych żądaniach, w taki sam sposób jak robi to przeglądarka internetowa[2].
Aby wykorzystywać framework, potrzebny jest Python w wersji 2.7 lub 3.5 (implementacja CPython) albo 5.9 (implementacja PyPy)[2].
Przypisy
[edytuj | edytuj kod]- ↑ Release notes. doc.scrapy.org. [dostęp 2020-01-03]. (ang.).
- ↑ a b c Frequently Asked Questions. doc.scrapy.org. [dostęp 2018-03-27]. (ang.).