来源 :金融界2024-01-26
金融界2024年1月26日消息,据国家知识产权局公告,启明信息技术股份有限公司申请一项名为“一种通用高效的IP代理池构建系统及方法“,公开号CN117459502A,申请日期为2023年9月。
专利摘要显示,本发明公开了一种通用高效的IP代理池构建系统及方法,系统包括代理过滤器、存储器、适配器和轮询器;所述轮询器分别通过获取代理模块和存储器模块连接至代理过滤器,所述存储器模块与代理过滤器双向连通;所述代理过滤器连接适配器,适配器还通过代理出口模块连接至用户。本发明所提出的代理池构建系统及方法基于多种爬虫框架搭建的高效代理池,能帮助提高爬取成功率,节约开发时间;解决了代理池调试不方便,无法全部适配,不能获取有效代理的问题。