如何刮

发布日期： 2024-08-15 阅读量： 作者： 网络

抓取或网络抓取 是一种用于以自动方式从网站提取数据的技术。它包括使用程序或脚本导航网页、提取特定信息（例如文本、图像、产品价格等）并保存。

在这篇文章中，我将教我用来做

抓取的过程以及做这件事时要记住的要点。

就我而言，我将在 pccomponentes 中执行

scraping 来收集有关笔记本电脑的信息。这些数据将用于创建一个数据集，作为机器学习模型的基础，旨在根据指定的组件预测笔记本电脑的价格。

首先，需要确定脚本应该访问哪个 url 来执行

抓取：

如何刮

在这种情况下，如果我们查看 pccomponentes url，我们可以看到它通过 url 传递了一个参数，我们可以使用该参数来指定我们要搜索的内容。

完成后，我们将看到搜索结果：

如何刮

此后，我们将使用几乎所有浏览器都集成的开发者工具：

如何刮

右键单击，然后选择“检查”选项，开发者工具将打开，我们将看到以下内容：

如何刮

anchor类型的标签（），其中包含有关我们在搜索结果中看到的产品的大量信息。

如果我们查看以下区域，我们将看到几乎所有的产品数据：

如何刮

准备好了！我们有从中提取数据的区域。现在是时候创建脚本来提取它们了。

但是我们遇到了一个问题：如果你直接访问pccomponentes，它总是要求我们接受cookie策略。因此，我们无法发出 get 请求并

抓取结果，因为我们不会得到任何东西。

因此，我们必须使用selenium来模拟浏览器并能够与其交互。

我们首先执行以下操作：

from selenium import webdriver
from selenium.webdriver.firefox.options import options
from selenium.webdriver.support.ui import webdriverwait
from selenium.webdriver.support import expected_conditions as ec
from selenium.webdriver.common.by import by

options = options()
options.headless = true
#abrimos el navegador
driver = webdriver.firefox(options=options)
time.sleep(5)
#vamos a la página indicada pccomponentes.com/laptops
driver.get(url+str(i))
#esperamos 30 segundos hasta que aparezca el botón de cookies y al aparecer hace clic
accept_cookies = webdriverwait(driver, 30).until(
    ec.presence_of_element_located((by.id, 'cookiesacceptall'))
)     
accept_cookies.click()
#descargamos el html
html = driver.page_source

# webdriver

上一篇: 如何实现小程序中表单提交后自动清空内容

下一篇: 学习、成长和繁荣：我从编码训练营到软件大师的旅程

如何刮

随便看看