利用网页抓取数据赚钱的3个思路

文章目录 通过自动程序在Airbnb上花最少的钱住最好的酒店 抓取特定商品价格数据，在低价时买入 抓取公示数据，将其可视化

在大数据时代，如何有效获取数据已成为驱动业务决策的关键技能。分析市场趋势，监视竞争对手等都需要进行数据采集。而网页抓取则是数据采集的主要方法之一。

在本文中，Christopher Zita将和大家展示 3 种利用网络抓取赚钱的方法，全程只需几个小时就能学会，所用代码不到 50 行。

通过自动程序在Airbnb上花最少的钱住最好的酒店

自动程序可用于执行特定的操作，你可以将其出售给没有技术能力的人以获取收益。

为了展示如何创建和出售自动程序，Christopher Zita创建了一个Airbnb自动抓取程序。该程序允许用户输入位置，它将抓取Airbnb在该位置提供的所有房屋数据，包括价格、等级、允许入驻的客人数量等。所有的这些都是通过抓取Airbnb上的数据来完成的。

为了演示程序的实际运行，Christopher Zita在程序中输入了罗马，然后在几秒钟内获得了 272 个Airbnb的相关数据：

现在，查看所有房屋数据变得非常简单，过滤起来也容易得多。以Christopher Zita家为例，他们家有四口人，如果要去罗马，会在Airbnb上寻找价格合理且至少有 2 张床的酒店。而在得到这个表格中的数据后，excel可以非常轻松地进行过滤。从这 272 个结果中，找到了 7 个满足要求的酒店。

在这 7 家酒店中，Christopher Zita选择了梵蒂冈圣彼得丹尼尔酒店。因为通过数据对比，可以看出，这家酒店评级很高，并且是 7 家酒店中最便宜的，每晚收费仅 61 美元。选择所需链接之后，只需复制这个链接到浏览器中然后预订即可。

外出旅游度假时，寻找酒店是一项艰巨的任务。为此，有人愿意通过付费来简化这一过程。有了这个自动程序，你只需要 5 分钟就能以低廉的价格预订到让你满意的房间。

抓取特定商品价格数据，在低价时买入

网页抓取最常见的用途之一就是从网站上获得价格。通过创建程序抓取特定产品的价格数据，当价格下降到一定程度时，它会在产品售罄之前自动购买该产品。

接下来，Christopher Zita将向大家展示一个可以为大家节省很多钱同时还能赚钱的方法：

每个电商网站都会有限量特价商品，它们会显示商品的原始价格和打折后的价格，但一般不会显示在原价的基础上打了多少折扣。例如，一只手表最初的价格为 350 美元，而促销价格为 300 美元，您会认为 50 美元的折扣是一笔不小的数目，但实际上只有14.2%的折扣。而如果一件T恤最初的价格为 50 美元，而销售价格为 40 美元，你会觉得没便宜多少，但实际上它的折扣率比手表高出20%。因此，您可以通过购买折扣率高的产品来省钱/赚钱。

下面以百货商店Hudson's'Bay为例，来进行数据抓取实验，通过获取所有商品的原始价格和折扣价格，来找出折扣率高的商品。

抓取网站数据后，我们获得了 900 多种商品的数据，其中只有Perry Ellis纯色衬衫这 1 种商品的折扣率在50%以上。

由于是限时优惠，这件衬衫的价格很快将涨回 90 美元左右。因此，如果现在以 40 美元的价格购买它，并在限时优惠结束后以 60 美元的价格卖出，仍然可以赚 20 美元。

这是一种方法，如果你找到合适的利基市场，就有可能赚很多钱。

抓取公示数据，将其可视化

网络上有数百万个可供所有人免费使用的数据集，这些数据通常很容易收集。当然，还有一些数据不容易获得，且需要花费大量的时间将其可视化，销售数据就是这样演变而来。像天眼查、企查查这类的公司就是通过专注获取企业工商变更信息并将可视化，然后通过“购买会员可查”的形式销售给用户。

类似模式的还有这家体育数据网站BigDataBall，通过出售球员各项比赛数据以及其他统计信息，该网站一个赛季向用户收取 30 美元。他们定这个价并不是因为他们网站有这个数据，而是他们抓取数据后，将这些数据整理分类，然后以易于阅读且清晰的结构展示这些数据。

现在，Christopher Zita要做的是免费获取和BigDataBall相同的数据，然后将其放入结构化数据集中。BigDataBall并不是唯一拥有这些数据的网站，Basketball-Reference.com拥有相同的数据，然而该网站没有将数据结构化，用户难以过滤并下载所需的数据集。Christopher Zita利用网页抓取工具，抓取了Basketball-Reference.com网页中的所有球员数据。

所有NBA球员日志的结构化数据集

目前为止，他已经获得了本赛季超过 16000 个球员日志。通过网络抓取，在几分钟之内Christopher Zita获得了这些数据并节省了 30 美元。

当然，Christopher Zita也可以像BigDataBall一样利用网页抓取工具查找难以手动获取的数据，让计算机完成工作，然后将数据可视化并出售给对这些数据感兴趣的人。

总结

现如今，网页抓取已经成为一种非常独特且新颖的赚钱方式。如果在适当的情况下应用它，你可以很容易赚到钱。