¿Me recoemdais unmetodo para sacar todos los posts que tiene una web de la competencia?

En Chrome hay un plugin llamado Webscraper.

https://chromewebstore.google.com/detail/web-scraper-free-web-scra/jnhgnonknehpejjnehehllkliplmbmhn

Es una herramienta gratuita y fácil de usar para la extracción de datos web, diseñada para todos.
Características principales:

• Interfaz intuitiva: Con una simple interfaz de apuntar y hacer clic, puedes configurar el scraper en minutos y extraer miles de registros de un sitio web.
• Estructura modular: Utiliza una estructura modular compuesta por selectores que indican al scraper cómo navegar por el sitio objetivo y qué datos extraer. Esto facilita la minería de datos de sitios web modernos y dinámicos como Amazon, Tripadvisor, eBay, así como de sitios menos conocidos.
• Sin necesidad de instalación adicional: La extracción de datos se realiza en tu navegador y no requiere instalar nada en tu computadora. No necesitas experiencia en codificación con Python, PHP o JavaScript para comenzar a extraer datos.
• Automatización en la nube: Es posible automatizar completamente la extracción de datos en Web Scraper Cloud.
• Exportación de datos: Una vez que los datos son extraídos, puedes descargarlos como un archivo CSV o XLSX, que se puede importar en Excel, Google Sheets, etc.

Aplicaciones prácticas:

• Generación de leads: Extracción de correos electrónicos, números de teléfono y otros datos de contacto de varios sitios web.
• E-commerce: Extracción de datos de productos, precios, descripciones, URL, imágenes, etc.
• Crawling de contenido web: Extracción de información de portales de noticias, blogs, foros, etc.
• Monitoreo de minoristas: Seguimiento del rendimiento de productos, stock y precios de competidores o proveedores.
• Monitoreo de marca: Análisis de reseñas de productos y contenido social para análisis de sentimiento.
• Inteligencia de negocios: Recolección de datos para decisiones clave, aprendizaje de competidores.
• Extracción de big data: Para aprendizaje automático, marketing, desarrollo de estrategias comerciales, investigaciones, y más.

Cómo empezar:

1. Instala la extensión y abre la pestaña de Web Scraper en las herramientas de desarrollador (que debe estar ubicada en la parte inferior de la pantalla).
2. Crea un nuevo sitemap.
3. Agrega selectores de extracción de datos al sitemap.
4. Finalmente, inicia el scraper y exporta los datos extraídos.