关于分布式爬虫的部署思路

 本地爬虫的编写-云端的部署-数据提供给需要的下级

参考文档https://juejin.cn/post/6844903967701336078

一文读懂分布式架构知识体系

1.分布式爬虫会用azure来做什么？

    分布式爬虫与普通本地爬虫的区别在于。他可以不断地爬取数据并传入到数据库中，而本地的普通爬虫只有在我们本地电脑运行的时候才会爬取，并存储在本地。所以我们需要一个一直运行着的电脑来不停地运行爬虫来确保效率，这时将分布式爬虫部署在云端就是最好的选择。

2.我为什么要选择azure？

    azure是世界上最大的云计算供应商之一，有几乎所有的功能，虽然我们所应用的很可能只是他最基本的服务之一。

3.什么是azure？

        微软旗下的云计算平台

优点在于随时都保持最新的状态

4.azure有哪些服务可能符合我的需求？

    1.基础架构即服务（IaaS）

    2.平台即服务（PaaS）

    3.无服务器托管