来源 :金融界2023-11-26
金融界2023年11月26日消息，据国家知识产权局公告，上海英方软件股份有限公司申请一项名为“一种实现对MongoDB数据库数据的抽取转换方法及装置”的专利，公开号CN117112674A，申请日期为2023年9月。
专利摘要显示，本发明公开了一种实现对MongoDB数据库数据的抽取转换方法及装置，能够提高数据处理效率，该方法包括：步骤S1，执行全量抽取任务，记录任务开始时间，依次遍历每个集合并记录抽取开始时间，创建表结构转换任务及数据转换任务存储到待处理文档队列，从待处理文档队列里获取任务，生成相应的表结构，将表数据放入到待发送队列中，从待发送队列中获取表数据，传输到指定服务器的指定端口；步骤S2，执行增量抽取任务，从全量任务开始时间作为起点循环读取操作日志进行过滤，将过滤后的文档放入到待处理队列，从待处理队列获取文档，根据操作日志的类型，根据设计好的表数据格式将文档转换后放入待发送队列，从待发送队列获取数据传到指定服务器指定端口。