⑴ 数据仓库中查询与分析模式是什么样的
星形模式是基于关系数据库的数据仓库中的一个着名概念,由于星形连接模式的设计思想能够满足人们从不同观察角度(维)分析数据的需求,所以在基于关系数据库的数据仓库的设计中广泛地使用了星形模式。
在使用数据仓库来回答综合性问题的场合,通常可以使用OLAP工具实现记录不多的较高粒度表的维度旋转来满足不同分析的需要;
而在数据仓库中较高粒度表中记录非常多或者还要经常回答细节问题的场合,则还必须对数据仓库中记录非常多的较高粒度的表或者细节级表进行维度转换。
但通常的OLAP工具难以处理几十万条记录数据表的维度旋转,针对这种应用场合,笔者提出了一种”有选择地使用维的星形模式”,在事实表中避开使用要旋转的维,用存贮过程编写程序高效地实现OLAP工具相应的功能,对星形模式下维的使用原则做出了一定的探索。
⑵ 哪些商业应用在数据仓库中即使拥有过期的数据也依然有效
在大数据成为趋势,成为国家战略的今天,如何最大限度发挥大数据的价值成为人们思考的问题。无论是对于互联网企业、电信运营商还是数量众多的初创企业而言,大数据的变现显得尤为重要。谁最先一步找到密码,谁就能够抢占市场,赢得发展。在探索大数据商业模式的同时,大数据正加速在各行各业的应用,大数据不仅为人们的购物、出行、交友提供了帮助,甚至还在高考这样重要的事件中发挥作用。大数据产业具有无污染、生态友好、低投入高附加值特点,对于我国转变过去资源因素型经济增长方式、推进“互联网+”行动计划、实现国家制造业30年发展目标有战略意义。前几年,国内大数据产业讨论较多、落地较少,商业模式处于初探期,行业处于两种极端:一种是过热的浮躁带来了一定的泡沫和产业风险;一种是怀疑大数据只是炒作,依然坚持传统管理理念、经营模式。但是进入2015年之后,大数据产业告别了泡沫,进入更务实的发展阶段,从产业萌芽期进入了成长期。当前,如何将大数据变现成为业界探索的重要方向。B2B大数据交易所国内外均有企业在推动大数据交易。目前,我国正在探索“国家队”性质的B2B大数据交易所模式。2014年2月20日,国内首个面向数据交易的产业组织—中关村大数据交易产业联盟成立,同日,中关村数海大数据交易平台启动,定位大数据的交易服务平台。2015年4月15日,贵阳大数据交易所正式挂牌运营并完成首批大数据交易。贵阳大数据交易所完成的首批数据交易卖方为深圳市腾讯计算机系统有限公司、广东省数字广东研究院,买方为京东云平台、中金数据系统有限公司。2015年5月26日,在2015贵阳国际大数据产业博览会暨全球大数据时代贵阳峰会上,贵阳大数据交易所推出《2015年中国大数据交易白皮书》和《贵阳大数据交易所702公约》,为大数据交易所的性质、目的、交易标的、信息隐私保护等指明了方向,奠定了大数据金矿变现的产业基础。咨询研究报告国内咨询报告的数据大多来源于国家统计局等各部委的统计数据,由专业的研究员对数据加以分析、挖掘,找出各行业的定量特点进而得出定性结论,常见于“市场调研分析及发展咨询报告”,如“2015~2020年中国通信设备行业市场调研分析及发展咨询报告”、“2015~2020年中国手机行业销售状况分析及发展策略”、“2015年光纤市场分析报告”等,这些咨询报告面向社会销售,其实就是O2O的大数据交易模式。各行各业的分析报告为行业内的大量企业提供了智力成果、企业运营和市场营销的数据参考,有利于市场优化供应链,避免产能过剩,维持市场稳定。这些都是以统计部门的结构化数据和非结构化数据为基础的专业研究,这就是传统的一对多的行业大数据商业模式。数据挖掘云计算软件云计算的出现为中小企业分析海量数据提供了廉价的解决方案,SaaS模式是云计算的最大魅力所在。云计算服务中SaaS软件可以提供数据挖掘、数据清洗的第三方软件和插件。业内曾有专家指出,大数据=海量数据+分析软件+挖掘过程,通过强大的各有千秋的分析软件来提供多样性的数据挖掘服务就是其盈利模式。国内已经有大数据公司开发了这些架构在云端的大数据分析软件:它集统计分析、数据挖掘和商务智能于一体,用户只需要将数据导入该平台,就可以利用该平台提供的丰富算法和模型,进行数据处理、基础统计、高级统计、数据挖掘、数据制图和结果输出等。数据由系统统一进行管理,能够区分私有和公有数据,可以保证私有数据只供持有者使用,同时支持多样数据源接入,适合分析各行各业的数据,易学好用、操作界面简易直观,普通用户稍做了解即可使用,同时也适合高端用户自己建模进行二次开发。大数据咨询分析服务机构及企业规模越大其拥有的数据量就越大,但是很少有企业像大型互联网公司那样有自己的大数据分析团队,因此必然存在一些专业型的大数据咨询公司,这些公司提供基于管理咨询的大数据建模、大数据分析、商业模式转型、市场营销策划等,有了大数据作为依据,咨询公司的结论和咨询成果更加有说服力,这也是传统咨询公司的转型方向。比如某国外大型IT研究与顾问咨询公司的副总裁在公开场合曾表示,大数据能使贵州农业节省60%的投入,同时增加80%的产出。该公司能做出这样的论断当然是基于其对贵州农业、天气、土壤等数据的日积月累以及其建模分析能力。政府决策咨询智库党的十八届三中全会通过的《中共中央关于全面深化改革若干重大问题的决定》明确提出,加强中国特色新型智库建设,建立健全决策咨询制度。这是中共中央文件首次提出“智库”概念。近几年,一批以建设现代化智库为导向、以服务国家发展战略为目标的智库迅速成立,中国智库数量从2008年的全球第12位跃居当前第2位。大数据是智库的核心,没有了数据,智库的预测和分析将为无源之水。在海量信息甚至泛滥的情况下,智库要提升梳理、整合信息的能力必然需要依靠大数据分析。研究认为,93%的行为是可以预测的,如果将事件数字化、公式化、模型化,其实多么复杂的事件都是有其可以预知的规律可循,事态的发展走向是极易被预测的。可见,大数据的应用将不断提高政府的决策效率和决策科学性。自有平台大数据分析随着大数据的价值被各行各业逐渐认可,拥有广大客户群的大中型企业也开始开发、建设自有平台来分析大数据,并嵌入到企业内部的ERP系统信息流,由数据来引导企业内部决策、运营、现金流管理、市场开拓等,起到了企业内部价值链增值的作用。在分析1.0时代,数据仓库被视作分析的基础。2.0时代,公司主要依靠Hadoop集群和NoSQL数据库。3.0时代的新型“敏捷”分析方法和机器学习技术正在以更快的速度来提供分析结果。的企业将在其战略部门设置首席分析官,组织跨部门、跨学科、知识结构丰富、营销经验丰富的人员进行各种类型数据的混合分析。大数据投资工具证券市场行为、各类指数与投资者的分析、判断以及情绪都有很大关系。2002年诺贝尔经济学奖授予了行为经济学家卡尼曼和实验经济学家史密斯,行为经济学开始被主流经济学所接受,行为金融理论将心理学尤其是行为科学理论融入金融中。现实生活中拥有大量用户数据的互联网公司将其论坛、博客、新闻报道、文章、网民用户情绪、投资行为与股票行情对接,研究的是互联网的行为数据,关注热点及市场情绪,动态调整投资组合,开发出大数据投资工具,比如大数据类基金等。这些投资工具直接将大数据转化为投资理财产品。定向采购线上交易平台数据分析结果很多时候是其他行业的业务基础,国内目前对实体经济的电子商务化已经做到了B2C、C2C、B2B等,甚至目前O2O也越来越流行,但是对于数据这种虚拟商品而言,目前还没有具体的线上交易平台。比如服装制造企业针对某个省份的市场,需要该市场客户的身高、体重的中位数和平均数数据,那么医院体检部门、专业体检机构就是这些数据的供给方。通过获取这些数据,服装企业将可以开展精细化生产,以更低的成本生产出贴合市场需求的服装。假想一下,如果有这样一个“大数据定向采购平台”,就像淘宝购物一样,可以发起买方需求,也可以推出卖方产品,通过这样的模式,外加第三方支付平台,“数据分析结论”这种商品就会悄然而生,这种商品不占用物流资源、不污染环境、快速响应,但是却有“供”和“需”双方巨大的市场。而且通过这种平台可以保障基础数据安全,大数据定向采购服务平台交易的不是底层的基础数据,而是通过清洗建模出来的数据结果。所有卖方、买方都要实名认证,建立诚信档案机制并与国家信用体系打通。非营利性数据征信评价机构在国家将公民信息保护纳入刑法范围之前,公民个人信息经常被明码标价公开出售,并且形成了一个“灰色产业”。为此,2009年2月28日通过的刑法修正案(七)中新增了出售、非法提供公民个人信息罪,非法获取公民个人信息罪。该法条中特指国家机关或者金融、电信、交通、教育、医疗等单位的工作人员,不得将公民个人信息出售或非法提供给他人。而公民的信息在各种考试中介机构、房产中介、钓鱼网站、网站论坛依然在出售,诈骗电话、骚扰电话、推销电话在增加运营商话务量的同时也在破坏整个社会的信用体系和公民的安全感。虽然数据交易之前是交易所规定的经过数据清洗的数据,但是交易所员工从本质上是无法监控全国海量的数据的。数据清洗只是对不符合格式要求的数据进行清洗,主要有不完整的数据、错误的数据、重复的数据三大类。因此,建立非营利性数据征信评价机构是非常有必要的,将数据征信纳入企业及个人征信系统,作为全国征信系统的一部分,避免黑市交易变成市场的正常行为。除了征信评价机构之外,未来国家公共安全部门也许会成立数据安全局,纳入网络警察范畴,重点打击将侵犯企业商业秘密、公民隐私的基础数据进行数据贩卖的行为。结语:大数据已经从论坛串场、浮躁的观点逐步走向国家治理体系建设、营销管理、生产管理、证券市场等方面,其商业模式也多种多样。市场经验表明,存在买卖就存在商品经济,具体哪种商业模式占主流将由市场决定。而最终的事实将证明,大数据交易商品经济必然成为“互联网+”的重要组成部分。
⑶ 数据仓库和数据挖掘技术在企业管理中的典型应用分析
它能有效地从大量的、不完全的、模糊的实际应用数据中,提取隐含在其中的潜在有用的信息和知识,揭示出大量数据中复杂的和隐藏的关系,为决策提供有用的参...探讨管理会计中应用数据挖掘技术的可行性,探讨数据挖掘技术在管理会计中应...
⑷ 数据库,数据仓库和数据挖掘技术之间的区别
先说说数据仓库和数据挖掘的关系,再说说数据库与数据仓库的关系
数据仓库与数据挖掘的联系
(1) 数据仓库为数据挖掘提供了更好的、更广泛的数据源。
(2) 数据仓库为数据挖掘提供了新的支持平台。
(3) 数据仓库为更好地使用数据挖掘这个工具提供了方便。
(4) 数据挖掘为数据仓库提供了更好的决策支持。
(5) 数据挖掘对数据仓库的数据组织提出了更高的要求。
(6) 数据挖掘还为数据仓库提供了广泛的技术支持。
数据仓库与数据挖掘的差别
(1) 数据仓库是一种数据存储和数据组织技术, 提供数据源。
(2) 数据挖掘是一种数据分析技术, 可针对数据仓库中的数据进行分析。
1、数据库:是一种逻辑概念,用来存放数据的仓库,通过数据库软件来实现。数据库由很多表组成,表是二维的,一张表里面有很多字段。字段一字排开,对数据就一行一行的写入表中。数据库的表,在于能够用二维表现多维的关系。如:oracle、DB2、MySQL、Sybase、MSSQL Server等。
2、数据仓库:是数据库概念的升级。从逻辑上理解,数据库和数据仓库没有区别,都是通过数据库软件实现存放数据的地方,只不过从数据量来说,数据仓库要比数据库更庞大德多。数据仓库主要用于数据挖掘和数据分析,辅助领导做决策;
区别主要总结为以下几点:
1.数据库只存放在当前值,数据仓库存放历史值;
2.数据库内数据是动态变化的,只要有业务发生,数据就会被更新,而数据仓库则是静态的历史数据,只能定期添加、刷新;
3.数据库中的数据结构比较复杂,有各种结构以适合业务处理系统的需要,而数据仓库中的数据结构则相对简单;
4.数据库中数据访问频率较高,但访问量较少,而数据仓库的访问频率低但访问量却很高;
5.数据库中数据的目标是面向业务处理人员的,为业务处理人员提供信息处理的支持,而数据仓库则是面向高层管理人员的,为其提供决策支持;
6.数据库在访问数据时要求响应速度快,其响应时间一般在几秒内,而数据仓库的响应时间则可长达数几小时
⑸ 简述数据库 数据仓库 和数据挖掘三者之间的关系
先说说数据仓库和数据挖掘的关系,再说说数据库与数据仓库的关系
数据仓库与数据挖掘的联系
(1) 数据仓库为数据挖掘提供了更好的、更广泛的数据源。
(2) 数据仓库为数据挖掘提供了新的支持平台。
(3) 数据仓库为更好地使用数据挖掘这个工具提供了方便。
(4) 数据挖掘为数据仓库提供了更好的决策支持。
(5) 数据挖掘对数据仓库的数据组织提出了更高的要求。
(6) 数据挖掘还为数据仓库提供了广泛的技术支持。
数据仓库与数据挖掘的差别
(1) 数据仓库是一种数据存储和数据组织技术, 提供数据源。
(2) 数据挖掘是一种数据分析技术, 可针对数据仓库中的数据进行分析。
1、数据库:是一种逻辑概念,用来存放数据的仓库,通过数据库软件来实现。数据库由很多表组成,表是二维的,一张表里面有很多字段。字段一字排开,对数据就一行一行的写入表中。数据库的表,在于能够用二维表现多维的关系。如:oracle、DB2、MySQL、Sybase、MSSQL Server等。
2、数据仓库:是数据库概念的升级。从逻辑上理解,数据库和数据仓库没有区别,都是通过数据库软件实现存放数据的地方,只不过从数据量来说,数据仓库要比数据库更庞大德多。数据仓库主要用于数据挖掘和数据分析,辅助领导做决策;
区别主要总结为以下几点:
1.数据库只存放在当前值,数据仓库存放历史值;
2.数据库内数据是动态变化的,只要有业务发生,数据就会被更新,而数据仓库则是静态的历史数据,只能定期添加、刷新;
3.数据库中的数据结构比较复杂,有各种结构以适合业务处理系统的需要,而数据仓库中的数据结构则相对简单;
4.数据库中数据访问频率较高,但访问量较少,而数据仓库的访问频率低但访问量却很高;
5.数据库中数据的目标是面向业务处理人员的,为业务处理人员提供信息处理的支持,而数据仓库则是面向高层管理人员的,为其提供决策支持;
6.数据库在访问数据时要求响应速度快,其响应时间一般在几秒内,而数据仓库的响应时间则可长达数几小时
⑹ 数据仓库在证券业如何应用
那么究竟数据仓库的“行”在何处:它可以为我们带来什么?为什么“不行”:它的应用为什么不能达到其预期的效果?怎样才能使数据仓库从“不行”的模式转到到“行”的模式?本文试对此进行探讨,并认为数据的集中统一是数据仓库应用的基础;确立合理的数据模型是数据仓库应用的核心;高效的应用系统是数据仓库应用的动力;良好的外部环境是数据仓库成功应用的外部保障。 数据仓库的“行” 这里所说的数据仓库的“行”主要是指数据仓库可以做什么,它的使用能为证券业带来哪些好处,为什么对券商来说是一个行之有效的工具。 数据仓库(Data Warehouse)是在数据库基础上发展而来的,是一个面向主题的、集成的、稳定的、不同时期的数据集合,用以支持企业经营管理中的决策过程。它通常由三个部分构成:数据仓库、联机分析处理及数据挖掘,它们之间具有极强的互补关系。数据仓库用来对大量的数据按一定的结构进行组织存储;联机分析处理则可进行灵活丰富的多维分析与查询,可以从不同的角度去分析企业的运作情况,并对未来进行预测;数据挖掘则是对现有数据进行深层次的研究分析,从中找出对经营管理有用的结论。 由上述对数据仓库的叙述,不难看出特别是对券商这种数据密集型的企业而言,数据仓库技术的应用在以下三个方面有其得天独厚之处和现实的意义: 提升客户服务 虽然大部分券商已积累了大量的客户信息和交易数据,但现在还没有办法对客户的贡献度、盈亏情况、持仓情况及操作习惯等进行统计和分析,为客户提供针对其个人习惯的投资组合建议。而通过建立数据仓库,为客户资料的统计分析提供基本的信息源和辅助工具,已成为券商提高市场竞争能力和客户服务水平的关键。 提高资产质量 数据仓库中强大的分析和预测功能为此提供了有力的支持,可根据股市行情走势、上市公司的资料以及宏观微观经济数据等对未来市场进行预测,为客户和自有资产的经营管理提供合理的建议,从而有效地提高资产质量、防范经营风险。 降低成本 数据仓库的建立可使券商更加及时、准确地掌握自身的经营状况、资金情况、利润情况、客户群分布等重要的信息,从而能有效地提高管理水平、降低经营成本,使整个证券公司的经营管理更加高效、科学、规范。 数据仓库的“不行” 虽然从理论上说数据仓库技术的应用可以为券商带来很大的收益,但实际情况却并不尽如人意,完全意义上的数据仓库的应用在证券业中还鲜有成功的案例,这也使得相当部分券商对它“望而却步”,为什么数据仓库从“行”变成了“不行”,不能有效发挥其应有的作用呢?究其主要原因就是数据仓库技术没有做到与证券业务的有机融合 。 系统平台不统一 目前大部分券商所用的业务系统平台并不统一,如交易系统用一种软件,清算系统又用另一种软件,还有的证券公司中各家营业部所采用的业务系统的平台也不一样,而且大部分采用的都是分布的管理模式,这种情况造成了数据的分散、数据结构的多样。而数据仓库的基础是大量集中的、丰富的、按统一规则组织存放的数据,分散的、结构不同的数据使得数据采集困难,数据仓库不能有效地发挥其作用。 技术与业务部门欠协调 数据仓库的提出和应用通常都是技术部门在其中扮演重要角色,业务部门参与得较少,但实际上没有业务部门与技术部门之间的很好协调,数据仓库是不可能应用成功的。因为数据仓库技术是管理科学、计算机科学、网络科学和分析手段的大融合,从技术上来说数据库技术的发展已使数据仓库的实现并不困难,而关键在于怎样使用它。数据仓库的成功使用离不开管理思想和业务经验的完美结合,在有了相应的技术支持以后,只有同时具备丰富的业务经验和先进的管理思想的使用者才能成功使用数据仓库,得到有用的信息。 缺乏管理经验 数据仓库不乏失败的案例,如美国在对越战争中根据越军对美军攻击的时间和次数而得出了一个“越军在有月亮的晚上最易展开攻击”的无用结论。数据仓库使用时一个重要问题是建立模型,数据仓库的产品一般可使用多种建模方法,如关联法、依赖法、时序法、神经网络以及利用统计分析等等,然后利用模型去对问题进行分析得出相应结论,建立在数据仓库之上的系统都是决策支持系统。而要进行决策,针对一个具体的问题怎样分析,从什么角度进行分析,何种因素是主要的、何种因素是次要的,采用何种方法建模以及怎样建模都要依使用者的经验而定,这就要求使用者对相关的业务非常熟悉并具备相应的管理和分析能力,否则得出的结论就很可能是无用的。而对我国大部分券商而言,缺少的恰好就是这种经验,而且券商经营管理中的不规范也为数据仓库的成功应用增加了难度。 受政策影响较大 人们将市场对经济的自动调节比喻为“一只看不见的手”,而股市则是反映经济情况的晴雨表,经济学家一直试图通过对市场的研究找出经济发展的规律,数据仓库的主要效用之一也就是通过对已有数据的分析借以揭示市场内在的发展规律,从而得出市场可能的走向。但纵观中国证券市场十多年的风风雨雨,国家政策与宏观调控这只“看得见的手”在其中起了举足轻重的作用,当然这是由于我国证券市场先天基础不好,发展不规范使得国家不得不采取措施加以调整,但这也使得证券市场无可避免地打上了国家政策的烙印。这种情况下,单纯根据市场规律,用数据仓库进行分析得到的预测结果与实际情况就会有所偏差。 从“不行”到“行” 如何将数据仓库的“不行”变为“行”,使其在我国的证券业发展中发挥巨大的作用,是广大券商普遍关心的一个问题 。那么在找出“不行”的原因之后我们就可“对症下药”采取相应的措施了。 数据的集中统一是数据仓库应用的基础。首先要统一券商所用信息系统的平台,各营业部均应采用统一的系统平台,同时各业务系统也采用统一的平台,统一数据结构。并采用集中的经营管理模式,使所有的数据都按相同的结构集中存放在一起,方便数据采集,做好数据仓库应用的基础工作。 确立合理的数据模型是数据仓库应用的核心。电脑技术人员知道数据仓库可以“做什么”,业务人员则知道具体的分析要“怎么做”,为此应将技术部门与相关的业务部门进行很好的协调,充分发挥技术人员和业务人员的优势,根据证券业和本公司的具体情况选用合适的方法建立模型,这些模型经过检验正确后就可作为整个数据仓库的核心,为经营管理提供决策建议。 高效的应用系统是数据仓库应用的动力。数据模型建好以后,要使其发挥应有的作用就应在其上建立相应的应用系统,包括客户关系管理系统、市场分析和风险控制系统等等,只有当建立于数据仓库基础之上的应用系统在券商的发展中起了很好的作用以后,证券公司的老总们才能充分意识到数据仓库的重要性,这就是数据仓库应用发展的动力所在。 良好的外部环境是数据仓库成功应用的外部保障。令人欣慰的是国家已意识到证券市场健康稳定的重要性,证监会等领导机构对券商和上市公司的要求越来越严格,监管力度不断加强,这一切都促使中国股市朝健康稳定的方向发展。我们有理由相信随着我国证券市场的逐步规范,股市也必将按市场规律进行发展,数据仓库就会发挥越来越大的作用。 结束语 数据仓库的应用在国外取得了很大的成功,但中国与外国在数据仓库的应用环境方面有很大的区别,所以数据仓库在中国的应用成功的案例并不多。为了促进这项技术在证券业的成功应用,除了证监会等领导机构对证券市场进行规范为其创造良好的外部环境之外,更重要的是各证券公司注意业务系统平台的集中统一和技术与业务的有机融合,做好数据仓库应用的准备,勇敢面对加入WTO所带来的挑战。
⑺ 请问数据挖掘在证券投资分析中的应用
证券股票的趋势,股票关联等
⑻ 求数据挖掘的论文!
数据挖掘、OLAP在财务决策中的应用
杨春华
(杭州商学院财务与会计学院,杭州,310012)
[摘要]数据挖掘、OLAP是当前基于大型数据库或数据仓库的新型信息分析技术,在许多领域得到广泛应用,取得了很好的成效。如何将其应用于财务决策以提高决策的正确性、及时性,降低决策的风险,已成为财务管理领域的重要研究课题。本文在介绍数据挖掘、OLAP技术及其相互关系的基础上,分析了财务决策领域应用这两种技术的现实必要性,并进一步论述了财务决策中数据挖掘和OLAP的应用流程。
[Abstract]In this paper, the author introced Data Mining and OLAP at first. And then, the author analyzed the practical necessity for the firms to apply these two techniques in the area of financial decision-making. In the end, the author brought forward the flow of the appliance.
[关键词]数据挖掘,联机分析处理,财务决策
[Key words]Data Mining,OnLine Analysis Process(OLAP),Financial Decision-making
正文
随着计算机技术和Internet技术的发展,以及企业在以往事务型处理中数据的不断积累,一方面企业数据资源日益丰富,信息超载,另一方面数据资源中蕴涵的知识企业却至今未能得到充分的挖掘和利用,“数据丰富而知识贫乏”是常见现象。如何才能不被信息的汪洋大海所淹没,并能从中及时发现有用的知识,提高信息的利用效率,已成为企业急需面对的一个问题。正是在这种背景下,数据挖掘、OLAP技术应运而生。这是两种基于大量数据库或数据仓库的新型数据分析技术。将其应用到财务决策领域则有利于提高决策的正确性、及时性,降低决策的风险。
一、数据挖掘与OLAP
1.数据挖掘
关于数据挖掘,一种较为公认的定义是由G.Piatetsky-Shapiro等人提出的。他们认为:数据挖掘是从大型数据库中提取人们感兴趣的知识,这些知识是隐含的、事先不知的,潜在有用的信息。数据挖掘涉及到机器学习、模式识别、统计学、智能数据库、知识获取、数据可视化、高性能计算、专家系统等各个领域。它不仅面向特定数据库的简单检索查询调用,而且要对这些数据进行微观、中观乃至宏观的统计、分析、综合和推理,以指导实际问题的求解,企图发现事件间的相互关联,甚至利用已有的数据对未来的活动进行预测。这样一来,就把人们对数据的应用从低层次的末端查询操作,提高到为各级经营决策者提供决策支持。
2.OLAP
联机分析处理(OLAP)的概念最早是由关系数据库之父E.F.Codd于1993年提出的,它是基于大型数据库或数据仓库的信息分析过程,是大型数据库或数据仓库的用户接口部分,其目的是满足决策支持或多维环境特定的查询和报表要求。简单地讲,OLAP就是共享多维信息的快速分析。它是跨部门、面向主题的,其基本特点是快速性、可分析性、多维性、信息性和共享性。也就是说,OLAP能快速响应用户的要求,能处理与应用有关的任何逻辑分析和统计分析,能提供多维数据分析的多维视图,能及时获得信息和管理大容量的信息,以及能在大量用户群中共享潜在的数据。其中“多维性”是其核心灵魂。
3.数据挖掘与OLAP
数据挖掘和OLAP都是基于大型数据库或数据仓库的数据分析技术,有着一定的联系和区别。数据挖掘和OLAP最本质的区别在于,数据挖掘是一种挖掘性的分析工具,它主要是利用各种分析方法主动地去挖掘大量数据中蕴涵的规律,产生一些假设,帮助人们在这些假设的基础上更有效地进行决策;而OLAP则是一种求证性的分析工具,一般由用户预先设定一些假设,然后使用OLAP去验证这些假设,提供可以使用户很方便地进行数据分析的手段。但就工具而言,数据挖掘和OLAP这两种分析工具本身又是相辅相成的,且界限正在逐渐模糊。OLAP的分析结果可以补充到系统知识库中,给数据挖掘提供分析信息并作为数据挖掘的依据;数据挖掘发现的知识可以指导OLAP的分析处理,拓展OLAP分析的深度,以便发现OLAP所不能发现的更为复杂、细致的信息。
二、财务决策中应用数据挖掘、OLAP的必要性
财务决策是企业决策中最重要的组成部分之一。任何好的财务决策都需要事实和数字支持。一个财务决策的正确程度取决于所使用的事实和数字的正确程度。随着竞争的增加,财务决策的时效性也变得越来越重要了。因此,在财务决策领域应用数据挖掘、OLAP是企业现实的需要。
1.有利于提高财务信息的利用能力。
解决企业财务决策问题需要询问为中心的数据图解,其以序列导向和多维为特征。而传统的财务数据查询是一种事务处理(OLTP),它是面向应用,支持日常操作的,对查询得到的数据信息缺乏分析能力,决策者不能够在大量历史数据的支持下对某一主题的相关数据进行多角度的比较、分析,得出科学的分析结果。因此,财务决策问题自身的多维特性驱动了数据挖掘、OLAP在其领域的应用,以提高财务信息的利用能力。
2.有利于解决财务信息的噪音问题。
科学财务决策必须以尽可能真实、及时、充分的信息为依据。这些信息既包括诸如企业目标、企业现状、事物状况等企业的内部资料,又包括诸如客户、供应商等企业的关联方资料,还包括诸如市场等企业所需的外部资料。由于网络技术的发展,企业可以通过Intranet、Extranet、Internet方便获取各种企业内部、关联方及外部资料。因此,现今的问题已不是信息缺乏,而是信息过量,难以消化,且信息真假难辨,可靠性难以保证。所以,对企业来说,这时就需要高效的数据分析工具——数据挖掘、OLAP在浩瀚的信息流中分辨、析取、整理、挖掘对财务决策有用的信息,减少信息噪音的影响。
3.有利于满足财务信息智能化的需求。
由于决策本身的动态性、复杂性,决策者本身素质层次的多样性,不同的情况应有不同的处理方式。传统的数据析取是依靠程序人员在系统开发过程中设计的专用程序来实现,非常机械化。随着数据量的增大,查询的复杂化,这种方式越来越不可取。决策者希望信息的析取过程能够智能化,如不仅能对自己想到的信息进行访问,还能对自己想不到却需要的信息进行访问,对同样数据进行多次访问时,不必须做重复操作;不同决策者作相似访问时,也不必进行重复操作等。数据挖掘能够利用现有的数据来获取新的有用信息,支持查询、存储的优化,使信息的析取具有较强的自我学习功能,满足财务信息智能化的需求。
三、财务决策中数据挖掘、 OLAP的应用流程
1.基于数据挖掘、OLAP的财务决策支持系统模型
数据挖掘、OLAP是在大型数据库或数据仓库基础上进行深入的数据分析,从而获取海量数据中隐藏的关键信息的主要手段。因此,为了进一步提高财务决策的支持能力,可以将它们结合起来构成一种新型的财务决策支持框架,如图1所示。
这个模型中,在数据仓库为财务决策提供完整、及时、准确和明了的综合数据的基础上,OLAP
图1 基于数据挖掘、OLAP的财务决策支持系统
通过进行有效集中分析和深入研究,可以发现趋势,看到异常,并得到重要细节,而数据挖掘则可通过使用一系列方法进行分析,从中识别和抽取隐含、潜在的有用知识,并充分利用这些知识辅助财务决策。
2.财务决策中数据挖掘流程
财务决策中的数据挖掘流程一般由财务决策问题识别、数据准备、数据开采和结果表达和解释四个主要阶段构成,如图2所示。
图2 数据挖掘流程
(1)财务决策问题识别。典型的财务决策有投资决策、筹资决策、成本决策、销售决策等。在进行数据挖掘前,必须先对具体财务决策问题进行识别,即要确定进行什么决策、达到什么样的决策目标等。然后再将财务决策目标转换成数据挖掘目标,并进行定义。
(2)数据准备。这个阶段又可分成3个子步骤,即数据集成、数据选择和数据预处理。数据集成是将多文件或多数据库运行环境中的数据进行合并处理,解决语义模糊性、处理数据中的遗漏和清洗脏数据等。数据选择的目的是辨别出需要分析的数据集合,缩小处理范围,提高数据挖掘的质量。而预处理则是为了克服目前数据挖掘工具的局限性。
(3)数据采掘。这一阶段主要进行实际的数据挖掘工作,主要包括决定如何产生假设、选择合适的工具、发掘知识的操作和证实发现的知识等步骤。
(4)结果表达和解释。根据用户的财务决策目的对提取的信息进行分析,把最有价值的信息区分出来,并提交给用户。如果结果不能让决策者满意,则重复进行上述过程。
3.财务决策支持中OLAP流程
财务决策中的OLAP流程一般由财务决策信息确认、维度分析、信息集成、数据切片和数据掘进五个主要阶段构成,如图3所示。
图3 OLAP流程
(1)财务决策信息确认。在进行OLAP之前,必须先确认要查询、分析的目标数据及其属性,即事实和维。然后用事实表来存储与之相关联的维信息和事实信息。
(2)维度分析。对每个目标属性做进一步的分析,如维的层次、成员类别等,并将这些信息用维表保存下来。维表与事实表通过关键字相关联。
(3)信息集成。当维数增加和事实表增大时,采用一定的综合、汇总等方法将信息进行集成,并用综合表存储。在综合表中,数据由多维构成,每个维又划分为多个汇总层次,所有元素及其层次关系构成树型结构。各维的层次划分,基本确定了每一维垂直的汇总路径。
(4)数据切片。在综合表中,将某一路径与不同方向的其他若干路径作任意组合,就可实现面与块的切割,获取任意组合信息。
(6)数据掘进。在数据切片中,沿其中任一条路径进行自上而下的分析,就可获取相应的详细信息。
参考文献
[1]马丽娜、刘弘、张希林. 数据挖掘、 OLAP在决策支持系统中的应用[J]. 计算机应用研究,2001,(11):10-12.
[2]胡彦. 基于数据仓库的决策支持工具的比较研究[J]. 计算机应用,2000,20(6):20-24.
[3]喻钢、周定康. 联机分析处理(OLAP)技术的研究[J]. 计算机应用,2001,21(11):80-84.
[4]于丹. 数据挖掘走向Internet——孟小峰先生谈面向Internet的数据挖掘技术[J]. 微电脑世界,2000,14(3):36-38.
[5]胡侃、夏绍玮. 基于大型数据仓库的数据采掘:研究综述[J]. 软件学报,1998,9(1):53-117.
[6]范小军、王方华. 数据挖掘在营销领域中的应用[J]. 外国经济与管理,2001,23(12):38-42.
[7]刘明杰、张晓京、刘洪杰、王秀峰、王治宝. 数据仓库在证券交易中的研究与应用[J].计算机工程,2000,26(2):47-49、94.
[8]李竹平、吴相林. 基于数据仓库的企业管理型会计信息系统研究[J]. 华中理工大学学报,28(
⑼ 数据仓库与数据挖掘问题
公众交流平台
1 介绍
数据仓库是面向主题的、集成的、与时间相关的、不可修改的数据集合。数据仓库技术是基于信息系统业务发展的需要,基于数据库系统技术发展而来,并逐步独立的一系列新的应用技术。数据仓库系统可以看作是基于数学及统计学严谨逻辑思维的并达成“科学的判断、有效的行为”的一个工具,也是一种达成“数据整合、知识管理”的有效手段。随着数据仓库技术应用的不断深入,越来越多的企业开始使用数据仓库技术建设自己的数据仓库系统,希望能对历史数据进行具体而又有针对性的分析与挖掘,以期从中发现新客户和客户新的需求。
目前主要的数据仓库产品供应商包括Oracle、IBM、Microsoft、SAS、Teradata、Sybase、Business Objects(已被SAP收购)等。Oracle公司的数据仓库解决方案包含了业界领先的数据库平台、开发工具和应用系统,能够提供一系列的数据仓库工具集和服务,具有多用户数据仓库管理能力,多种分区方式,较强的与OLAP工具的交互能力,及快速和便捷的数据移动机制等特性;IBM公司的数据仓库产品称为DB2 Data Warehouse Edition,它结合了DB2数据服务器的长处和IBM的商业智能基础设施,集成了用于仓库管理、数据转换、数据挖掘以及OLAP分析和报告的核心组件,提供了一套基于可视数据仓库的商业智能解决方案;微软的SQL Server提供了三大服务和一个工具来实现数据仓库系统的整合,为用户提供了可用于构建典型和创新的分析应用程序所需的各种特性、工具和功能,可以实现建模、ETL、建立查询分析或图表、定制KPI、建立报表和构造数据挖掘应用及发布等功能;SAS公司的数据仓库解决方案是一个由30多个专用模块构成的架构体系,适应于对企业级的数据进行重新整合,支持多维、快速查询,提供服务于OLAP操作和决策支持的数据采集、管理、处理和展现功能;Teradata公司提出了可扩展数据仓库基本架构,包括数据装载、数据管理和信息访问几个部分,是高端数据仓库市场最有力竞争者,主要运行在基于Unix操作系统平台的NCR硬件设备上;Sybase提供了称为Warehouse Studio的一整套覆盖整个数据仓库建立周期的产品包,包括数据仓库的建模、数据集成和转换、数据存储和管理、元数据管理和数据可视化分析等产品;Business Objects是集查询、报表和OLAP技术为一身的智能决策支持系统,具有较好的查询和报表功能,提供多维分析技术,支持多种数据库,同时它还支持基于Web浏览器的查询、报表和分析决策。
根据IDC发布的2006年数据仓库市场分析报告,上述公司占据了全球近90%的市场份额,提供的数据仓库产品的功能特性已经成为市场的主流。这些公司在推出各自的数据仓库产品的同时也提供了相应的数据仓库解决方案。本文后续内容将针对这些数据仓库产品和解决方案的主要支撑技术进行比较,并结合IDC和ChinaBI相关报告给出相应的市场情况分析。
2 支撑技术
在数据仓库系列技术中,主要的支撑技术包括数据库技术、ETL技术、OLAP技术、报表技术、数据挖掘技术。
2.1 数据库技术
数据库技术是支撑数据仓库技术的基础技术。尽管在数据仓库技术存储模型方面,基于数据库技术而发展的关系模式的理念已经被颠覆,取而代之是各种各样的数据仓库数据模型,如星型模型,雪花模型等。然而,在已有的数据仓库实践中,关系数据库仍然是实质的数据库存储工具,只是将数据库表改称为了事实表和维表,将属性域之间的关系重新定义为维度,量度,层次,粒度等。
成熟的数据仓库后台数据库包括Oracle、DB2、SQL Server、Teradata和Sybase IQ。在查询效率方面,Sybase IQ由于采用了列存储技术,查询效率比较高;在兼容性方面,Teradata从软件到硬件都必须是专用的,因而兼容性最差;在管理平台和海量数据管理方面,Oracle、DB2和SQL Server都提供了一系列完整的工具,相对于其它产品有着明显的优势;在磁盘空间利用方面,Sybase IQ的压缩比是所有数据库中最好的,而Teradata最为浪费。
另外,SAS公司和BO公司也拥有自己的数据管理能力,但对于大型数据仓库的数据管理,仍然需要使用上述数据库产品,SAS和BO都提供了与这些数据库进行连接的专门接口。
2.2 ETL技术
数据仓库系统是集成的、与时间相关的数据集合,ETL作为数据仓库的核心,负责将分布的、异构数据源中的数据进行抽取、清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。ETL能够按照统一的规则集成并提高数据的价值,是负责完成数据从数据源向目标数据仓库转化的过程,是实施数据仓库的重要步骤。要实现数据仓库中数据的自动更新运转,ETL技术是必不可少的关键技术之一。
主流数据仓库产品供应商都拥有各自的ETL能力。IBM的ETL工具称为IBM WebSphere DataStage,它为整个ETL过程提供了一个图形化的开发环境,支持对多种操作数据源的数据抽取、转换和维护,并将其输入数据集或数据仓库;Teradata的ETL工具称为ETL Automation,它利用Teradata数据库本身的并行处理能力,通过SQL语句实现数据的转换,提供对ETL流程的支持,包括前后依赖、执行和监控等;SAS的ETL工具称为ETL Studio,提供管理ETL流程和建立数据仓库、数据集市和OLAP结构的单控制点。其他几家公司则将其工具融合在大的数据仓库组件中,如Oracle的Oracle Warehouse Builder (OWB)、SQL Server的Integration Services、Sybase的Data Integration Suite、BO的可扩展数据整合平台Data Integrator。
上述各公司提供的ETL相关工具功能相近,在易用性、效率、价格等方面各有千秋,但就工具的二次开发、集成和开放性而言,与专业的数据集成平台,如Informatica公司的PowerCenter,相比还是存在一定的差距。
2.3 OLAP技术
联机分析处理(OLAP)是针对特定问题的联机数据访问和分析,通过对信息进行快速、稳定、一致和交互式的存取,对数据进行多层次、多阶段的分析处理,以获得高度归纳的分析结果。联机事务处理(OLTP)已不能满足终端用户对数据库查询分析的需要,SQL对大数据库进行的简单查询也不能满足用户分析的需求。用户的决策分析需要对关系数据库进行大量计算才能得到结果,而查询的结果并不能满足决策者提出的需求,由此出现了多维数据库和多维分析的概念。
目前主流的OLAP产品有Oracle Express/Discoverer、SQL Server Analysis Services、DB2 OLAP Server、SAS OLAP Server等,这些产品都可以生成多维数据立方体,提供多维数据的快速分析,支持所有主流关系型数据库如DB2,Oracle,SQL Server,Sybase等,同时可读取关系数据库中细节数据,实现混合在线分析(HOLAP)或关系型在线分析(ROLAP)。并且,各厂商的OLAP Sever对自己的数据库产品的支持均好于其它数据库,各自的分析工具也都基于开放的OLE DB标准,可以访问支持OLE DB标准的数据立方体。
BO公司和Sybase公司则分别提供了各自的OLAP分析工具OLAP Intelligence和Power Dimension,支持标准OLAP API,如OLEDB for OLAP,能够对Microsoft、IBM等OLAP数据进行划分、钻取等处理,兼容第三方报表和展现工具。Teradata尽管不提供独立的OLAP工具,但提供了相关技术,用于提升运行于Teradata数据库上的OLAP应用系统的性能。
2.4 报表技术
报表技术主要是将集成在数据模型里的数据,按照复杂的格式、指定行列统计项,计算形成的特殊表格。一般的简单报表可以使用通用的前台展现技术实现,而复杂的报表则需要使用特定的报表技术。主流的报表技术都可以灵活的制定各种报表模版库和指标库,并根据每个区块或单元格的需要引用指标,实现一系列复杂的符合要求的报表的自动生成。
主流数据仓库厂商的报表工具中较为有影响包括IBM的Cognos ReportNet、BO的Crystal Reports、Oracle的Oracle Reports。IBM通过收购Cognos公司获得了完整的报表产品Cognos ReportNet,覆盖了各种报表需求,包括管理报表、商业报表、账单和发票等;BO公司提供了一个完整的企业报表解决方案Crystal Reports Server,支持通过Web快速便捷的创建、管理和交付报表;Oracle Reports工具提供了自由的数据格式方式,可以自动生成个性化字母或矩阵风格的布局,包括动态、数据驱动的图表;SQL Server的报表功能包含在Reporting Services (SSRS)中,包括处理组件、一整套可用于创建和管理报表的工具、在自定义应用程序中集成和扩展数据和报表处理的API。与上述产品相比,Sybase的InfoMaker、Teradata的BTEQ和SAS的Report Studio等报表产品在功能、性能、二次开发等方面都还存在着一定的差距。
总的来说,这些产品在大部分通用软件领域相对国产软件都要优秀,但在有中国特色的报表领域内却是例外,在处理能力存在一定的不适应性。另外这些产品的数学模型都是基于SQL/OLAP理论设计的,在技术上也不能满足国内复杂报表的制作需求。
2.5 数据挖掘技术
当数据积累到一定数量时,某些潜在联系、分类、推导结果和待发现价值隐藏在其中,可以使用数据发掘工具帮助发现这些有价值的数据。数据挖掘就是从海量数据中,提取隐含在其中的、人们事先不知道的但又可能有用的信息和知识的过程。通过数据挖掘能找出数据库中隐藏的信息,实现用模型来拟合数据、探索型数据分析,数据驱动型的发现,演绎型学习等功能。
目前,IBM公司的IBM Intelligent Miner支持典型数据集自动生成、关联发现、序列规律发现、概念性分类和可视化呈现,可以自动实现数据选择、数据转换、数据发掘和结果呈现这一整套数据发掘操作;Oracle公司提供的数据挖掘平台称为Oracle Data Miner,它提供了的一个图形用户界面,通过简单易用的向导来指导完成数据准备、数据挖掘、模型评估和模型评价过程,根据需要自动生成将数据挖掘步骤转换成一个集成的数据挖掘/BI应用程序所需的代码;SAS公司的SAS Enterprise Miner将数据挖掘过程简单流程化,支持关联、聚类、决策树、神经元网络和经典的统计回归技术;Teradata公司的挖掘工具称为Teradata Warehouse Miner,它通过将数据挖掘技术整合到数据仓库来简化数据挖掘流程,该工具还可实现将多家厂商的数据挖掘技术嵌入Teradata企业级数据仓库环境中运行;Microsoft数据挖掘平台不同于传统数据挖掘应用程序,它支持组织中数据的整个开发生命周期,允许第三方添加自定义算法以支持特定的挖掘需求,支持实时根据挖掘的数据集进行数据验证。对比于上述公司,Sybase和BO公司并没有推出专门的数据挖掘平台或工具。
和前几项支撑技术相比,数据挖掘技术的专业性更强,与应用领域的特殊背景结合得更加紧密。上述产品除了在性能、通用性、数据展示、二次开发上有一定差异外,没有一个能够占据绝对技术和市场优势,反而是一些专门领域内的专业挖掘工具更具竞争性,如Fair Isaac公司占据了全球信用卡积分市场近7成的份额。
3 市场分析
国际权威市场分析机构IDC将数据仓库平台工具市场细分为数据仓库生成(Data Warehouse Generation)工具市场和数据仓库管理(Data Warehouse Management)工具市场两个部分,前者涵盖数据仓库的设计和ETL过程的各种工具,后者指数据仓库后台数据库的管理工具,如DBMS。根据IDC发布的《全球数据仓库平台工具2006年度供应商市场份额》分析报告,2006年该市场增长率为12.5%,规模达到57亿美元,其中数据仓库生成工具和数据仓库管理工具两个市场的比重分别为23.3%和76.7%,相对于数据仓库管理工具市场,数据仓库生成工具市场的增长进一步放缓。可以预见,整个数据仓库市场将进一步向拥有强大后台数据库系统的传统厂商倾斜。从供应商看,Oracle公司继续占据数据仓库管理领域的领先供应商地位,并且与其主要竞争者IBM之间的这种领先优势正逐渐扩大。Microsoft紧追IBM之后,与其之间的差距则在逐渐缩小。
在国内,商业智能已经成为企业信息化中最重要的组成部分,而数据仓库相关技术在其中扮演着无可替代的重要角色。据ChinaBI统计,2007年中国大陆地区的BI市场份额约为20亿元人民币,同比2006年增长35%,其中BI产品许可证约为9亿元人民币,BI系统集成约为11亿元人民币。现有BI厂商包括产品提供商、集成商、分销商、服务商等有近500家,在未来几年内商业智能市场需求旺盛,市场规模增长迅速。从国内数据仓库实践看,根据ChinaBI评选的2007年中国十大数据仓库的初步结果,传统数据库厂商占据7个,分别是IBM 3个、Oracle 3个、SQL Server 1个,其余3个属于NCR/Teradata公司;从数据仓库规模来看,传统数据库厂商更占有巨大优势,总数据量为536.3T,Teradata则为54T。涉及的行业包括通信、邮政、税务、证券和保险等。
在数据仓库市场快速发展的同时,市场竞争也日趋激烈,其中尤其以Oracle收购Hyperion、SAP收购BO、IBM收购Cognos具有代表意义。截至2007年底,混乱的市场已经基本明朗化,三个层次逐渐浮现出来。Oracle,IBM,Microsoft和SAP位居第一层次,能够提供全面的解决方案;第二层次是NCR Teradata和SAS等产品相对独立的供应商,可以提供解决方案中的部分应用;第三层次是只专注于单一领域的专业厂商,但其在并购的硝烟中日趋难以存活。
⑽ 数据分析技术的主要研究领域及其前景
数据分析技术的主要研究领域及其前景_数据分析师考试
随着分析技术在BI领域重要性的不断提升,厂商们围绕分析技术的竞争也在逐渐升温。分析技术正在不断地成熟之中。随着商业智能(BI)软件成本在IT预算中所占份额的不断上涨,以及数据收集与存储成本越来越受到分析使用的驱使,DBMS和企业应用厂商都将其在产品差异化的努力集中在分析技术方面。 然而,却很少有企业会进行大量的计划工作,以迎接正在蓬勃发展的分析技术。诚然,许多企业在数据仓库方面进行了非常仔细的设计。
但是,在大多数的企业里,部门性的BI应用和分析应用的安装几乎都是杂乱无章的。 现在是采取更严肃的态度来看待分析性IT战略计划的时候了。这不仅仅是因为分析技术在你的预算中占有更大的份额。分析技术不仅比以前所占的份额更大,而且它还拥有更多的集成点,其中包括分析范围内以及交易系统之外的集成点。 现在,就让我们来探讨一下目前分析技术集成的5个主要研究领域。
1. 集成监控、评估与信息发送 从历史的角度看来,BI技术包含了信息发送与分析工具的混合体――例如实时查询、实时报告、企业报告、多维分析、图形数据可视化等。这一切如今正在集成于新一代的技术之中。 随着时间的推移,传统的BI技术变得越来越不那么重要了。用户的中央监控工具将是门户或仪表板。这种格式会首先显示有哪些指标超出预期的范围之外,并仅在事后让用户了解报告的准确数字。 通常,这是一种对传统以报告为中心的系统的改进,这种系统可能提供大量的数据,然后让用户自行搜索和查找异常情况。而在时间就是金钱的时代里,异常情况的警告可以直接发送至手机或其他移动设备上。
2. 监控、评估与事务处理应用 过去,BI技术一直是只读的,而且与事务处理数据库的拷贝相互抵触。因此,从技术上讲,把BI技术与事务处理系统集成起来似乎很不自然。但是,我们不妨从业务流程的角度来看待这个问题。当管理人员注意或得到警告,在度量中出现了异常情况――到底是“什么原因导致警告”呢? 这个原因通常都将成为采取行动的一个过程,也许是在生产或购买过程当中,但是也很有可能是在企业的其他所有领域。 全新一代的混合分析/事务处理应用正在出现,以支持这些新的流程。你可以等待获得此类打包应用,或许也可以使用一些流程规范工具。但是,无论使用上述哪种方式,对于你来说,流程(以及由此而出现的应用)将是至关重要的。
3. 内部分析技术 分析技术的传统工作就是要准确地弄清楚要向哪位客户提供什么服务,以便让这种关系尽可能地带来利润。 在某些环境里,例如手机服务提供商的呼叫中心等,实时地进行此类分析将是极其重要的。因此,分析工具――通常是统计工具――必须按照顺序运行事务处理系统。与此同时,某些客户营销应用正试图对测试和统计分析系统化,以使其作为事务处理直邮业务流程的一部分。
4. 计划及其他 几乎每一个组织都有各自庞大的预算与计划过程。但是,现代企业计划技术已使数千个企业的计划过程多多少少地被规范化了。即便如此,大多数企业的预测体系仍然是得不到有效支持的。随着计划技术的不断发展,事务处理应用、监控/评估、计划自身甚至统计分析随时都会有合并的可能,以形成更好、更及时的预测系统,并且制订更有用的项目计划。
5. 集成分析数据管理 一些核心服务器的技术问题也需要考虑。把企业报告、实时查询以及各种不同的分析集成至一个单一的服务器可能是一件非常费力的任务,它要求在选择分析技术的厂商时要进行细致的评估。但是,服务器方面的问题比这个问题还要更广泛。DBMS厂商正在着力进行数据的聚合。BI厂商也正在努力,尽可能地使DBMS的性能变得不再是必不可少的。数据高速缓存也正在以有趣的方式集成到应用服务器之中,而且一些着名的BI产品还包含了其自己的应用服务器。
此外,一些专业MOLAP(多维联机分析处理)数据库服务器的厂商则由于其核心利益受到关系型DBMS技术进步的侵蚀,正在更加疯狂地试图为自己寻找发展方向。
以上是小编为大家分享的关于数据分析技术的主要研究领域及其前景的相关内容,更多信息可以关注环球青藤分享更多干货