Web Crawler developed in the Special Topics in Computer and Algorithms: Information Recovery class in the Federal Center of Technological Education in Minas Gerais.
Authors: Josué Rocha Lima, Túlio Coqueiro, Caio Silva Gonçalves
Advisor: Daniel Hasan Dalip
- Configure project to be used in NetBeans. - Josué
- Store last access time for server (armazenar a última vez que um servidor foi acessado). - Caio
- Malformed HTMLs (HTMLs mal formados) - Caio
- Insert pages in the collected pages queue (inserir páginas coletadas na fila de coletados) - Túlio
- Extract links from collected pages (extrair links das páginas coletadas). - Túlio
- Existência de páginas (404). - Túlio
- Page encoding verification - Josué
- Robot exclusion protocol (Protocolo de exclusão de robôs) - Josué
- Noindex and nofollow criteria.
- Code comments.
- Crawler webpage.
- Report.