如果将数据视作一种新的“石油”，那么数据智能就是“炼油厂”。数据智能通过分析数据取得价值，将原始数据加工为信息和科学知识，进而转化成为决策或行动，已沦为推展数字化转型不可或缺的关键技术。数据智能的重要性更加突显，并在近年来获得较慢发展。数据智能技术彰显我们探究数据空间中不得而知部分的能力，在有所不同领域里蕴育出有极大的机会。

众多基于互联网的新型业务，还包括搜索引擎、电子商务以及社交媒体应用于等，从本质上就是创建和运作在数据智能的基础之上。数据智能技术正在重塑传统的商业分析或商业智能领域。根据Gartner的调研，一种新的 “强化分析”的分析模式正在政治宣传旧有方式，预计在几年内将沦为商业智能系统订购的主导驱动力。

这种“强化分析”模式正是由数据智能技术赋能，获取了自然语言查找和描述、强化的数据打算、自动的高级分析、基于可视化的数据探寻等多种核心能力。那么，数据智能领域的技术进展如何？未来，数据智能的研究又有哪些热点？ 数据智能的技术进展数据智能涉及的核心技术大体可以分成数据平台技术、数据整理技术、数据分析技术、数据交互技术、数据交互技术、数据可视化技术等部分。与传统意义上的数据处理、数据分析比起，数据智能面对很多新的挑战、新问题。

在解决问题这些问题和挑战的过程中，各种技术创新层出不穷。大数据系统与平台为了反对大规模的数据处理与分析任务，全新的数据存储系统必须需要容纳和反对高效数据陡然、低可伸缩性和低容错性。传统的数据库OLTP面向交易型市场需求而设计，无法符合大数据统计分析类的查找市场需求和应用于。当前的大数据系统更为特别强调读取效率、数据容量以及系统的可扩展性。

具体来说，将数据拆分成块，并将每块拷贝多份后集中到有所不同物理机器上存储，用校验的数据块来避免因个别机器损毁对数据完整性的影响。数据的校验留存不但提升了系统的可靠性，同时也可以提升了系统在数据加载时的所发性能。另外，为降低成本，现代的大数据系统运营在价格比较便宜的普通服务器上；这些机器通过高速网络连接，构建高效的数据传输。处置和分析大数据牵涉到大量的计算出来，促成了很多分布式NoSQL数据处理系统。

在计算出来模型上，MapReduce的发售给大数据并行处理带给了革命性的影响。在MapReduce基础上更进一步明确提出了新的计算出来模型Spark。Spark充分利用在内存中计算出来的优势，并且大大优化了原本MapReduce中Shuffle所带给的效率问题。

经过几年的发展，Spark早已替代MapReduce沦为业界尤为最重要的大数据处理框架，并且发展了非常丰富的应用于生态。此外，基于流 (Streaming) 的计算出来模型被研发出来以反对大大变化和改版的大数据应用于。在流计算出来模型中，为了超过更加动态的改版，每抵达一个数据事件的时候就展开一次处置。

Spark Streaming、Storm、Flink都是较为风行的流计算出来平台。在反对对大数据展开在线交互式的查找和分析方面，来自有所不同领域的技术正在较慢融合，联合建构更为动态高效的大数据交互查找平台。以ElasticSearch为代表的一类技术，糅合搜寻系统的索引构架和技术，对大规模非结构化和半结构化数据展开分块、索引来反对较慢查找。以Spark Kylin为代表的另一类技术则将传统的数据立方体技术推广到大数据领域，通过将预先计算出来的部分数据立方体内存一起，大大提高了运营时的查找速度。

随着技术的发展，对数据展开低语义级别的自动分析显得更加最重要。自动分析技术往往必须频密计算出来在有所不同查找条件下的单体结果，一个分析查找有可能牵涉到成百上千次非常简单的单体查找。

这就对查找性能明确提出了更高的拒绝。为了解决问题这个问题，同时也考虑到大数据分析中绝大多数任务对数据的完整性不过于脆弱这一特点，学术界又明确提出了BlinkDB、BigIN4等技术和系统，期望利用通过取样或者预计算数获得的部分数据来对用户的查找结果展开估算，从而超过较慢计算出来的目的。其中BlinkDB企图利用分层使用的方法来增加估算的误差，而BigIN4则企图通过贝叶斯估算方法来优化用户查找的估计误差。基于自然语言的交互为了减少数据分析的门槛，用于自然语言作为交互方式似乎是一个理想方案，可以很大地方之后普通用户较慢、有效地展开数据探寻与数据分析。

近年来，随着自然语言处置和人工智能技术的较慢变革，用于自然语言来查找和分析数据显得更为有可能。自然语言数据分析要解决问题的最重要的问题是语义解析。语义解析技术是将自然语言必要转化成可以继续执行的程序 (例如 SQL语句)。

基于关系数据库/数据表的语义解析技术是解决问题自然语言交互式查找的重要途径。早期主要使用基于模式匹配的方法，后来经常出现了基于语法分析与语义分析的第二代方法。

近年来，随着深度自学技术的发展，辈出了一系列的端到端的语义解析模型。一般的末端到末端模型使用sequence-to-sequence的方法，将自然语言展开序列编码，然后逐步分解SQL语句，但是这种方法的缺点是更容易产生不准确的或者不能继续执行的SQL语句。因此，在端到端的方法的基础上不会融合各种科学知识来增加搜寻空间，减少约束，还包括映射SQL语法科学知识，引进表格信息，甚至是引进外部的知识库，比如WordNet。

分析的自动化数据分析是数据智能中最核心的部分，大体可以分成描述性分析、临床性分析、预测性分析、指导性分析等四个类别，每个类别基于数据问有所不同的问题，可玩性更加大，所能带给的价值更加低，所用于的技术也更加简单。数据智能分析工具的发展经历了如下四个最重要的阶段和层次。阶段1：数据智能专家了解自学和理解特定领域的问题，建构末端到末端 (end-to-end)的分析流程和平台，以特定领域的数据分析师为主要用户，以解决问题特定领域的专业问题为主要任务。

阶段2：数据智能专家通过对各个领域的深刻印象总结，提炼出在有所不同领域的任务中所联合倚赖的一些适当的市场需求单元，比如产于差异分析、主驱动因素分析、预测分析等等。把各个市场需求单元对应的数据智能技术以积木块搭起的形式构成一个分析平台，获取给各个领域用于。用户按照自己分析任务的市场需求，可以在分析流程中自由选择适当的技术模块。阶段3：更进一步充分发挥机器的“智能”性，在分析任务的各个环节，通过主动获取涉及洞察 (Insight) 的形式，为用户的下一步决策或行动获取信息充裕的引导性建议，从而更大程度地提升人类智能与机器智能的有序，已完成更加高效的协作。

阶段4：在前三个阶段中，数据的处置、特征的挑选、模型的设计以及参数的优化等等核心环节相当严重依赖机器学习专家的科学知识和技能。随着机器学习理论的更进一步发展，Auto ML技术开始经常出现并发展一起，其核心是基于对有数机器学习成果的总结，将上述重要环节展开系统化的抽象化，并融合大大较慢发展的计算机处置能力，使其渐渐自动化，从而更进一步减少数据智能模块的研发门槛，拓宽对长尾任务的反对，推展人类智能和机器智能的更进一步融合，也使有所不同领域的普通用户以自助方式按须要自定义针对具体任务的数据智能模块显得有可能。数据融合的自动化如何有效地整理、融合如此多样且繁复的数据对于数据智能领域十分最重要。数据融合的涉及技术在整体上必须解决问题以下关键问题。

首先，在机器从数据中提供智能之前，机器需要正确地背诵各种各样的数据。对于机器友好关系的数据是类似于关系数据库的结构化数据。

然而，现实世界里不存在着大量的非结构化数据，比如自然语言的文本；还有介于两者之间的半结构化数据，比如电子表格。目前机器还很难解读这些非结构化的方面，必须将数据处理成对机器友好关系的结构化数据，机器才能充分发挥其特长，从数据中提供智能。非结构化数据、特别是在是半结构化数据向结构化数据的转化成，是构建数据智能不可或缺的先决任务。其次，数据并不是孤立无援的，数据智能必须充分利用数据之间不存在的关联，把其他数据源或数据集所涵括的信息传送并统合过来，可以为数据分析任务获取更加非常丰富的信息和角度。

最后，数据并不是极致的，提早检测并修缮数据中不存在的缺陷或错误，是确保数据智能得出结论准确结论的重要环节。数据可视化数据可视化本质上是为了感官和交流数据而不存在的，牵涉到到有所不同的领域，诸如嵌入式、图形设计、心理学等。在当前大数据流行的时代，数据可视化渐渐崭露头角，扮演着更加最重要的角色。

可视化技术用作分析，已沦为数据智能系统不可或缺的部分。这些技术一般来说不会构建在一个图形界面上，展出一个或多个可视化视图。

用户必要在这些视图上展开搜寻、挑选出、过滤器等交互操作者，对数据展开探寻和分析。可视化工具更进一步渐趋形式化、大众化，使一些高阶的分析显得更为非常简单。

一些高级的可视化设计，如 Word Cloud、Treemap、Parallel Coordinates、Flowmap、ThemeRiver等，也逐步沦为主流。在决策过程中，可视化也充分发挥着最重要的起到，它能将信息展出得更加精确、更加非常丰富、更容易解读，从而很大提升人与人之间的交流效率。可视化故事情节 (visual storytelling) 研究如何将可视化用作信息的展出和交流。当今主流的数据分析平台，例如Power BI、Tableau、Qlik等，都获取了可视化故事情节的模式。

可视化故事情节的研究目前还处在一个较为早期的阶段，人们还在探寻它的各个方面，例如标记形式、故事情节方式、交互手段、上下文、记忆性等。如何评估一个可视化故事情节也尚待更进一步研究。基于隐私维护的数据分析近年来，随着数据隐私问题沦为注目的焦点，以及涉及数据保护的法律 (比如GDPR) 开始实行，研究人员开始积极探索维护隐私的数据分析技术，即在维护数据隐私的情况下，对数据展开管理和处置。一个方向是获取可信计算环境去继续执行脆弱操作者。

用户的数据一直是加密的，只有在可信计算的环境中才不会解密及处置。另一个方向是必要对加密数据展开处置获得想的结果，因为数据没解密，隐私获得了确保。

选择性加密技术早就普遍应用于多媒体内容维护，但很难扩展到其他类型的数据。另一种适用性更加甚广的方法是同态加密，它容许对密文展开某些同态操作者，例如乘法和/或乘法，使得密文下的运算结果在解密后与对明文继续执行适当操作者的结果完全一致。数据智能技术的未来热点数据智能研究与众不同当今大数据时代各领域、各行业从数据中挖出、构建价值，展开数字化转型的迫切需要，因而在近年来获得了充份推崇，发展很快。随着数据智能在更好领域的落地和发展，新的应用于和场景、新的问题和挑战将更进一步唤起和驱动数字智能研究维持强大的发展势头，迈进更高的层次。

展望未来，数据智能技术将朝着更加自动、更加智能、更加可信、更加普适、更加高效的方向之后发展。热点1：在更高的语义解读水平上展开分析为了更为智能地分析数据，必须对数据有更为非常丰富的语义解读。与科学知识图谱 (Knowledge Base) 有所不同，虽然数据分析中最常用的关系数据模型也是对实体和关系的建模，但是关系数据模型的建模是为查找和存储性能而优化的，往往遗失了大量语义信息。如何引进领域科学知识和常识型科学知识对于更佳地解读数据至关重要。

如何从表格数据和其他更容易取得的文本数据 (如web网页) 中自动提供语义信息来强化和非常丰富表格数据是一个必须研究的最重要方向。比如，确认表格中行或佩的实体类型 (还包括人名、地名、机构名等命名实体以及时间、地址、货币等数据类型)。表格往往不具备文本中的非常丰富的上下文信息，因此表格中的实体辨识不同于其他自然语言处置任务中的实体辨识，十分具备挑战性。

除了处置实体辨识外，数据表格中实体关系的挖出和分析也至关重要。充份挖出实体之间的关联关系可以已完成一些实体类型的引荐和问数据分析的问题。热点2：结构标准化科学知识和模型的框架人类对科学知识和方法需要举一反三，触类旁通。明确到数据分析领域，分析中中用的科学知识和模型必须在有所不同数据对象和分析任务之间分享和迁入。

在机器学习领域，早已有很多涉及工作，也明确提出了一些方法，比如迁入自学、多任务自学、实自学模型等等。要构建这个“举一反三”的目标，除了必须深入研究明确的机器学习算法，也必须从模型和科学知识的框架体系来思维，研究合适数据分析领域的标准化科学知识和模型的原语体系，以及科学知识和模型的迁入分享的统一框架。热点3：创建高质量的训练数据集和基准测试数据集由于训练数据的缺少，人工智能、深度自学等技术在数据智能领域的更进一步应用于遇上了相当大的艰难。

正如ImageNet数据对于计算机视觉领域的研究起着了明显的推展起到一样，数据智能领域的研究也急需创建起一整套公用的大规模、高质量的训练数据集和基准测试数据集。一旦有了非常丰富的训练数据，数据智能领域的很多研究，诸如自动分析、自然语言交互、可视化引荐等等，将不会获得突破性的进展。

热点4：获取具备可解释性的分析结果用户将仍然符合于意味着倚赖白盒式的智能、末端到末端地起到于整个任务，而必须更加细粒度的、有针对性的、更加半透明的数据智能。例如，数据智能用作财务审核系统中，精确引荐最有风险的交易记录展开优先审查，以超过在最小化系统风险的前提下，最大化审核效率。在这类系统的研发中，必须建构可解读性强劲的模型。

在引荐高风险交易记录的同时，尽可能获取系统是依据哪部分信息、通过怎样的逻辑辨别这是一条高风险交易的涉及依据。这与过去一般来说用于的黑盒技术路线有了显著的变化，将沦为今后技术发展的一个趋势。热点5：人类智能和机器智能更为密切融合现有人工智能技术从本质上仍然只是被动遵从人类原作的既定逻辑然后自动地运营，归根到底还是无法突破人类传授的自学框架，没创造力。因此在可意识到的未来，数据智能将仍然无法挣脱人与机器协作的模式，必须全面地总结人类在数据分析方面的智能和经验，便于转化成为机器算法，系统化地构建到有数的智能系统当中。

热点6：强劲的指导性分析沦为主流数据分析的核心目标之一乃是指导行动，无论分析确有多好，如果不采取行动，那么分析的价值就会获得实质的反映，这就是指导性分析的最重要价值所在。例如，根据详细的分析，数据智能预测某品牌在接下来一个季度的销量不会下降10%。如果分析任务完结于此，那么数据智能并没尽到全部的责任，人还必须根据先前分析融合自己的经验去搞清楚怎样才能减低甚至防止潜在的销量下降。适当的指导性分析可以是，如果想要维持下季度销量不下降，应当采行怎样的行动。

指导性分析的结果可以是把某一类子产品的产量增加20%，同时把另两类子产品的产量各减少10%等等。现在的数据智能技术在得出指导性分析的同时，并没不具备充足解释性的模型，无法获取充裕的依据，从而足以让人类用户充份信任自动引荐的结果。获取具备更佳解释性的指导性分析是一个趋势。

热点7：基于隐私维护的数据分析更为成熟期完备通过从法律、技术、到用户参予等全方位的共同努力，隐私维护将被更进一步划入到未来的数据分析中。从技术层面, 应当保证个人数据由数据主体掌控如何搜集、管理、处置和分享，并在整个生命周期获得维护，同时不应研发并部署维护隐私的数据处理技术，以便在维护隐私的前提下，数据以求处置并取得想的结果。热点8：智能分析助手获得普及智能代理 (Intelligent Agent) 技术与数据分析技术的融合是一个最重要的方向。

在旋即的将来，智能的数据分析助手需要协助人类更为高效地分析和利用数据。这些数据分析智能助手通过自然语言对话的方式与人交流数据分析的任务和结果，解读分析的背景和上下文，可以已完成人类转交的特定数据分析任务 (根据分析的语义层级有所不同，可分成基本分析命令和高级数据挖掘任务)，也可以把具备商业价值的数据事实引荐给涉及人类用户 (比如自动从数据中挖出到的数据洞察)，并对某些数据事件作出智能辨别和必要的反应 (比如自动对数据中必须留意的变化展开提醒和警报)。这样的智能体还具备一定的自学能力，需要通过与人类分析师的对话交流累积特定领域的科学知识，从而需要更为具备针对性和更为智能地展开自动数据分析。热点9：协作简化的可用分析随着各种交流工具的蓬勃发展和普及，协作简化的可用分析不会沦为热点。

不同于传统的面对面、小规模的协作，新的协作分析往往是异步的和大规模的，人们在有所不同的时间和地点，用于有所不同的设备，对同一个数据展开可用分析。在此过程中，如何协商人们的协作？如何防止重复性的工作？如何确保有所不同人在有所不同的显示终端上看见的数据是完全一致的？如何分享各种信息？如何搭起一个高效的协作平台？这些都是必须解决问题的技术挑战。热点10：可视化将无所不在在更加将来的将来，我们坚信可视化必将显得半透明。

就像文字和语音一样，普遍渗透到我们的日常生活中。为此必须有三个方面的技术储备：首先，可视化视图必需需要被较慢地生产和消费。目前，多数可视化视图的分解还是必不可少人的参予，但是在人工智能的协助下，未来在人工智能的协助下，可视化视图将能被大规模和准确地分解，从而大大降低可视化创作的支出。

其次，要展开交互方式的变革。传统的基于键盘、鼠标的交互模式不是最大自然的方式，各种人类更加习惯的方式 (例如手势、笔纸、触控等) 必须渐渐演化成更加成熟期的交互手段。最后，必须表明设备的普及。

表明设备必将被构建到人的生活中去，无论是穿着式的、手执的，还是经常出现在人们日常生活的物品表面上的。只有当表明设备无处不在的时候，可视化才能确实变为一种交流的基本方式。特约稿件，予以许可禁令刊登。

下文闻刊登须知。

本文来源：半岛平台官网-www.styleitlikeyoustoleit.com