node.js - nodejs爬虫如何控制请求数量?

【字号: 日期:2022-09-06浏览:28作者:雯心

问题描述

在用nodejs爬取网页内容的时候,如果请求数太多,有时候会导致抛出异常,提示 too many connections等错误.请问nodejs有没有线程锁定这样的关键字或者类库?或者怎么处理比较好?先谢谢了!

问题解答

回答1:

nodejs没有sleep之类的函数。我一般使用event配合

const EventEmitter = require(’events’).EventEmitter;const ee = new EventEmitter();ee.on(’next’,(数据)=>{ // 爬网站});// 每秒执行一次setInterval(()=>ee.emit(’next’,’数据’),1000);回答2:

async ?

相关文章: