Webscraping com python - Scrapy

Se você chegou até aqui pelo site do buscador, saiba que este curso é sobre webscraping com python e scrapy e que vai te dar as noções gerais e avançadas de como montar seu próprio projeto e serviços.

Roteiro: https://pastebin.com/263LLN33

Este curso abrange mais de 70 aulas e oferece mais de 12 horas de conteúdo.

Ao longo do curso, você aprenderá a utilizar proxies, as melhores práticas de webscraping, como implantar suas spiders no render.com e integrá-las a um aplicativo web Flask. Além disso, você descobrirá como fazer integração com bancos de dados NoSQL e SQL, utilizar ORM (Object-Relational Mapping), lidar com paginação dinâmica com JavaScript, integrar com o scrapy-selenium para acessar sites que exigem JavaScript e aprenderá a acessar sites sem a necessidade de JavaScript. Também serão abordadas técnicas para descobrir e extrair dados através de APIs, além de orientações sobre como seguir as políticas e as melhores práticas estabelecidas pelos sites.

Para iniciar o curso, é recomendado ter um conhecimento básico de Python, embora muitos conceitos básicos sejam abordados para permitir que os alunos progridam. Além disso, você aprenderá a utilizar não apenas a spider padrão do Scrapy, mas também crawlspiders.

Na parte avançada do curso, serão abordados tópicos como o entendimento de pipelines e como configurar itens para melhorar o desempenho de suas spiders. Essas técnicas avançadas irão aprimorar sua habilidade de webscraping, permitindo que você extraia dados de maneira eficiente e confiável de uma variedade de sites.