网络爬虫(Web crawler)，就是通过网址获得网络中的数据、然后根据目标解析数据、存储目标信息。这个过程可以自动化程序实现，行为类似一个蜘蛛。蜘蛛在互联网上爬行，一个一个网页就是蜘蛛网。这样蜘蛛可以通过一个网页爬行到另外一个网页。
网络爬虫也是获取数据的一个途径。对于大数据行业，数据的价值不言而喻，在这个信息爆炸的年代，互联网上有太多的信息数据，对于中小微公司，合理利用爬虫爬取有价值的数据，是弥补自身先天数据短板的不二选择。
根据上面的分析，我们可以把网络爬虫分为四步：
获取网页数据
解析网页数据
存储网页数据
分析网页数据
第一步： 获取网页数据
获取网页数据，也就是通过网址（ URL：Uniform Resource Locator,统一资源 定位符），获得网络的数据，充当<strong style="font-size: 1em; font-family: -apple-system, BlinkMacSystemFont,