中文 | English
集成解决方案
产品中心 集成解决方案
首页 > 产品中心 > 集成解决方案
im体育运动平台:一种统一接口的数据查询方法及系统与流程
发布时间:2022-07-02 22:00:18 来源:im体育账号 作者:im体育直播

  ::随着大数据、数据挖掘相关技术的发展,越来越多的人注意到大数据下潜藏着巨大的经济价值,因此各种各样的统计数据分析工具层出不穷。例如r、python、sas、spss、tableau、stata、eviews、马克威等。从事大数据分析的工作者不仅需要掌握相关的业务知识,还需要对相应的数据统计分析工具有一定的掌握和了解,这对分析人员提出了很高的要求。目前数据统计业务人员在使用上述分析工具时可能存在以下困境:(1)业务人员需要掌握多种分析工具及其相应的数据操作方式;(2)业务人员在查询数据时直接对数据仓库进行操作,难以保证数据仓库的安全性;(3)分析人员不能有效的按照统计业务的方式操作数据。技术实现要素:针对上述技术问题,本发明提供一种统一接口的数据查询方法及系统。本发明解决上述技术问题的技术方案如下:一种统一接口的数据查询方法,包括:步骤1、当接收到用户终端发送的统一数据查询接口udi指令时,udi终端将所述udi指令作为post参数传入统计数据语言sdl引擎中;步骤2、所述sdl引擎将所述udi指令转换成数据库查询指令并执行查询操作,将查询得到的数据集返回给所述udi终端;步骤3、所述udi终端根据用户选择的接入方式,调用相应的函数,将所述查询得到的数据集导出为与所述用户选择的接入方式对应格式的数据文件。为实现上述发明目的,本发明还提供一种统一接口的数据查询系统,包括:udi终端和sdl引擎;所述udi终端,用于当接收到用户终端发送的统一数据查询接口udi指令时,将所述udi指令作为post参数传入统计数据语言sdl引擎中;所述sdl引擎,用于将所述udi指令转换成数据库查询指令并执行查询操作,将查询得到的数据集返回给所述udi终端;所述udi终端,还用于根据用户选择的接入方式,调用相应的函数,将所述查询得到的数据集导出为与所述用户选择的接入方式对应格式的数据文件。本发明的有益效果是:构成了数据仓库配套的、由udi终端和sdl引擎构成的数据应用工具体系,通过数据应用工具的建设,屏蔽了统计业务人员和外部系统对数据仓库的直接操作,保证了数据仓库的数据安全性;在统计业务基础上设计的udi终端,降低了统计业务人员操作数据的难度;通过调用与所选择的接入方式对应的函数来导出数据文件,屏蔽了查询数据仓库中不同格式数据的兼容性,允许更多统计业务人员根据工作需要灵活查询数据仓库的任意数据,为更深入更全面的开展统计数据分析与利用提供了保障。附图说明图1为本发明实施例提供的一种统一接口的数据查询方法的流程图。具体实施方式以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。图1为本发明实施例提供的一种统一接口的数据查询方法的流程图,如图1所示,该方法包括:s1、当接收到用户终端发送的统一数据查询接口udi指令时,udi终端将所述udi指令作为post参数传入统计数据语言sdl引擎中;具体的,udi(unifieddatainterface,统一数据查询接口)可提供基于r和python语言的扩展包,r或python扩展包提供的函数既遵循r或python的语法,也是面向业务的统计数据语言,业务分析人员可以直接在r和python语言终端使用扩展包提供的函数进行数据分析。扩展包提供丰富的数据和元数据查询功能。例如对数据查询的函数为sdl.data(),该函数的参数为任意符合统计业务理念的查询变量和筛选条件。第三方接入时只需要调用固定的api,并将统计数据查询语言描述作为post参数传入sdl(statisticsdatalanguage,统计数据语言)引擎即可。s2、所述sdl引擎将所述udi指令转换成数据库查询指令并执行查询操作,将查询得到的数据集返回给所述udi终端;可选地,在该实施例中,步骤s2具体包括:s2.1、所述sdl引擎解析所述udi指令,得到查询变量和筛选条件;s2.2、所述sdl引擎根据所述查询变量和筛选条件调用查询函数,在数据库中执行查询操作;s2.3、所述sdl引擎将查询得到的数据集返回给所述udi终端。具体的,sdl将udi指令转换成数据库查询指令,即对传入的post参数进行统计业务信息到技术信息的转换,并将结果返回给udi终端;例如对统计元数据进行查询,可以执行sdl.variable()函数;对统计数据进行查询,可以执行sdl.data()函数。分别介绍如下:(1)查询元数据(元数据是指描述统计数据的数据,主要是描述数据的属性),例如要查询月度数据中的以下元数据,“地方一般公共预算收入(亿元)”、“固定资产投资总额(亿元)”、“社会消费品零售总额(亿元)”、“居民消费价格指数”,通过调用sdl.variable()即可。(2)查询数据(通过查询的元数据信息提取数据)。例如,查询营业收入超过1000000的工业企业的利润总额。面向业务的统计数据查询语言描述为“变量=利润总额,营业收入=1000000~,报表类别=工业”,可以调用以下sdl.data()函数:sdl.data(变量=利润总额,营业收入,营业收入=1000000~,报表类别=工业)。s3、所述udi终端根据用户选择的接入方式,调用相应的函数,将所述查询得到的数据集导出为与所述用户选择的接入方式对应格式的数据文件。具体的,udi终端通过使用不同函数来提供数据文件导出功能,通过该功能将数据导出成不同格式(sas、spass、马克威等)的文件,来满足业务人员在各个分析工具上进行的作业。例如,在扩展包中,使用sdl.data()函数查询出相关数据集,然后可以执行sdl.exportsas()函数将查询出的数据集导出为sas文件和csv数据文件,或者执行sdl.exportspass()函数将查询出的数据集导出为spass文件和csv数据文件,以及导出为excel格式的函数等等一系列操作,以便于在各个分析工具中应用。本发明还提供一种统一接口的数据查询系统,该系统包括:udi终端和sdl引擎;所述udi终端,用于当接收到用户终端发送的统一数据查询接口udi指令时,将所述udi指令作为post参数传入统计数据语言sdl引擎中;所述sdl引擎,用于将所述udi指令转换成数据库查询指令并执行查询操作,将查询得到的数据集返回给所述udi终端;所述udi终端,还用于根据用户选择的接入方式,调用相应的函数,将所述查询得到的数据集导出为与所述用户选择的接入方式对应格式的数据文件。可选地,在该实施例中,所述sdl引擎,具体用于:解析所述udi指令,得到查询变量和筛选条件;根据所述查询变量和筛选条件调用查询函数,在数据库中执行查询操作;将查询得到的数据集返回给所述udi终端。本发明中的udi是以国际统计标准(ddi)为指导思想,对元数据和数据获取方式进行了有效的封装,形成标准的、统一的数据获取方式,从而降低了分析人员在使用udi时的准入门槛。udi提供了一种面向统计业务的查询语言。它解决了对不同开发语言的接入问题及屏蔽了查询数据仓库中不同格式数据的兼容性。udi是各种技术平台和开发语言访问数据仓库的通道,udi的开发遵循标准的http协议,可供java语言、c语言、r语言等多种开发语言直接调用。此外,udi提供一套完整的面向业务的统计查询语言,数据分析人员只需要懂得业务便可以写出udi指令,通过sdl指令转换为数据仓库可执行的指令,从而降低对分析人员技术要求。udi提供了r语言和python语言的扩展包,即udi终端,终端直接调用sdl来进行业务数据查询和分析。udi终端构成了数据仓库配套的应用工具体系。通过数据应用工具的建设,屏蔽了统计业务人员和外部系统对数据仓库的直接操作,保证了数据仓库的数据安全性;在统计业务基础上设计的udi,降低了统计业务人员操作数据的难度,允许更多统计业务人员根据工作需要灵活查询数据仓库的任意数据,为更深入更全面的开展统计数据分析与利用提供了保障。以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。当前第1页12当前第1页12


上一篇:为什么欧盟要统一移动充电接口?统一接口后产生什么样的影响呢?
下一篇:统一数据交换平台解决方案