关于分布式爬虫的部署思路
本地爬虫的编写-云端的部署-数据提供给需要的下级 参考文档 https://juejin.cn/post/6844903967701336078 一文读懂分布式架构知识体系 1.分布式爬虫会用azure来做什么？ 分布式爬虫与普通本地爬虫的区别在于。他可以不断地爬取数据并传入到数据库中，而本地的普通爬虫只有在我们本地电脑运行的时候才会爬取，并存储在本地。所以我们需要一个一直运行着的电脑来不停地运行爬虫来确保效率，这时将分布式爬虫部署在云端就是最好的选择。 2.我为什么要选择azure？ azure是世界上最大的云计算供应商之一，有几乎所有的功能，虽然我们所应用的很可能只是他最基本的服务之一。 3. 什么是azure？ 微软旗下的云计算平台 优点在于随时都保持最新的状态 4.azure有哪些服务可能符合我的需求？ 1.基础架构即服务（IaaS） 2.平台即服务（PaaS） 3.无服务器托管