node.js - nodejs 多线程下载图片如何做到多张图片只请求一次？

问题描述

如题。比如

http://www.xx.com/abc.jpg，很多个这样的地址。因为是异步进行的。你每次请求之前没法判断这张图片是否已经下载获取存在过了。所以发出了很多个下载同一地址的请求。

问题解答

有两种不同的情况：请求前已经知道所有的URL和请求前不知道所有的URL第一种情况：先把请求的图片URL数组去重，再发起请求第二种情况：将请求过的URL放在一个对象中，后续检查是否请求过，如果请求过则不再发起请求

另外NodeJS的机制本身并不是多线程，而是单进程事件循环，所以可以用简单的标志位来实现哨兵机制

要么就请求过了就不再请求，不过不能保证请求的就能下载成功，下载失败再次请求

文件下载后保存的名字是不是一样的？如果一样的话，判断文件有没有，再去下载，这样可以避免重复下载。

md5以及url