¿Cómo debo raspar datos de múltiples sitios utilizando sopa hermosa de manera rápida y eficiente?

1. puede usar controladores web como selenio o WebDriver para hacer que su robot de raspado aparezca como un agente humano, ya que algunos sitios web son difíciles de eliminar utilizando bibliotecas estándar como urllib, httplib y otros.
2. Manipulación de URL con herramientas del navegador como, ‘inspeccionar elemento’ en Google Chrome, ‘firebug’ en Firefox.

Este hilo te puede ayudar a: grabar varias páginas con BeautifulSoup y Python

Gracias por preguntar. Buena suerte.