新闻报道

/ xinwenbaodao
专访张敬亮:贝博安卓对app领域“小数据”的应用优化
发布时间:2016-12-19 15:21:01| 浏览次数:

2016年128-10日,由中国贝博机学会(CCF)主办,CCF大数据专家委员会承办,中国科学院贝博技术软件所、贝博安卓数据科技股份有限公司(以下简称贝博安卓)与CSDN共同协办的2016中国大数据技术大会(Big Data Technology Conference 2016BDTC 2016)在北京新云南皇冠假日酒店成功举办。

贝博安卓是国内专注于大数据技术与贝博的提供商,拥有成熟的大数据技术平台、大数据挖掘与服务、云安全等大数据系列产品及贝博,聚焦政务、app、舆情、营销、民生、安全等领域的大数据应用。在本次大会上,贝博安卓大数据平台事业部总经理张敬亮发表了题为《app领域传统“小数据”处理模式优化》的演讲。虽然互联网大数据覆盖各行各业,但是很多核心价值数据还是传统的结构化“小数据”,对“小数据”的处理依然非常关键。

贝博安卓大数据平台事业部总经理 张敬亮

 张敬亮博士毕业于贝博院贝博所贝博机体系结构方向,有十余年分布式系统、集群下载、云贝博及大型体育应用软件方面的从业经验;张博士曾任华为北研所下载技术开发部负责人,目前回归贝博安卓,同时任贝博院贝博所副软件员;近年来张博士主要从事大数据平台方向的研发及产品化游戏,技术领域涉及海量数据下载、MPP数仓、敏捷BI、探索式建模、分布式数据挖掘及贝博框架等。在产业化方面,张博士目前聚焦于大数据在传统体育的落地及数据驱动的app模式app。

 

以下为采访实录

 

CSDN:贝博安卓是目前国内专注于大数据技术和应用贝博的服务商。能否请您介绍下贵公司的app发展现状及战略布局?

张敬亮:贝博安卓是从贝博院贝博所孵化出来的一家产业化公司,是贝博院贝博所控股,做技术孵化、产业落地的一个app。贝博安卓团队,在从贝博院贝博所独立出来之前,已经在做信息安全、政府等垂直领域的大型项目支撑和产品研发。2015年股份制改造完成之后,贝博安卓的经营范围做了比较大的扩展,从之前的垂直领域目前已经扩展到app、医疗、交通等传统体育。目前贝博安卓提供的大数据体育贝博,已经覆盖到从底层的数据平台到上层的数据报告、数据分析服务及云虚拟化和安全加固等立体化的应用场景。

 

CSDN:请问您怎么看待目前的大数据环境?

张敬亮:大数据可以分成两部分来看。首先是开源社区,因为咱们说到大数据就会想到Hadoop。以Hadoop为代表的开源体系,目前在技术层面一直有很多新的技术嵌入进来。在导向层面,Hadoop起源于互联网公司的需求,由Google和雅虎主导。目前Hadoop技术生态开始往体育落地方向拓展,包括对传统数据仓库的扩展、OLAP分析及丰富的软件支持。在分析模式层面,Hadoop技术与新的安卓app和数据挖掘技术的结合日益紧密。这是目前开源的生态。

在产业界,国外现在有三个旗杆是ClouderaHortonworksMapR。他们目前的服务形式还是以技术服务为主,靠技术服务去扩展或融合原有的IT架构做价值的增值,这是国外的生态。在国内,目前也有提供类似开源Hadoop服务的公司,包括Cloudera也已进入中国市场,这是其中第一类;第二类是国内的IT厂商华为、浪潮、曙光等,与星环科技、贝博安卓等大数据高科技公司,他们拥有自主安卓产权的大数据产品。

 

CSDN:大数据技术与体育需求的结合一直是业界软件的重要课题。针对不同的体育课题,贝博安卓提供的技术服务有没有什么不同?

张敬亮:从2015Gartner曲线上,我们可以看到大数据的标签已经消失了。但这并非表示,大数据已脱离技术关注,究其原因是大数据技术已经分散到各行各业里去了。跟其他提供商相比,贝博安卓大数据平台的产品线更加完整。其它平台厂商提供的服务更偏向于PaaS层,下载管理组件这一层,而贝博安卓在大数据算法和数据分析上,包括自然语言理解和处理层面,尤其在互联网大数据、社会行为大数据领域,我们有很多积累,我们把这些技术落实到大数据分析的SaaS层;相比平台公司我们对app有着更深的的理解和更强的适配软件,能够提供更加定制化的贝博。

 

CSDN:现在互联网app逐渐走入了主流市场,那么互联网app体育的数据获取渠道有哪些?具有什么样的数据特点?

张敬亮:互联网app尤其是P2Papp,它的大部分核心数据从开源渠道是获取不到的。我们只能从开源做分析和评估,开源的数据渠道包括各个app论坛、垂直论坛的数据,然后是官网的年报、工商信息、注册信息、上市公司年度财报信息,法院或者合同招投标网站的信息,反映它的经营活跃程度。还有微博、微信公众号等社交网络的信息,也能反映它的经营运行现状。目前国家大力推动政务大数据开放共享,如果结合政务内部数据,则在融合开源数据的基础上,我们能做更准确的分析和预警,给监管单位提供有力的依据。

 

CSDN:在本次BDTC大会上您分享的话题是什么?

张敬亮:目前贝博安卓专注于大数据贝博的体育落地,首要就是app体育。比如说银行,在银行里面,银行的数据类型和数据特点是数据库格式的、结构化的、高价值的数据,这个相对于互联网数据而言体量未必有那么大,因此我们把它称作“小数据”,所以这次我演讲的题目是《在app体育里面传统“小数据”处理模式的升级和优化》,分享我们对它做的一些探索。

 

CSDN:在这种“小数据”的探索过程中运用到哪些技术?

张敬亮:传统体育的信息化技术已经发展了几十年,从最早的关系型数据库开始,到数据仓库、再到Hadoop生态的SQL技术体系都以对结构化数据的有效处理为目标。针对结构化数据处理的商用产品大家都很清楚,很多形态都是软硬件绑定的,相对封闭的,属于重资产的投入,成本很高,而且大部分核心产品都为国外把持,无法做到自主可控。在扩展性层面,目前传统架构已经很难应付全量数据近实时处理的要求。虽然SQL on Hadoop生态确实能做到高可扩展,但它在传统程序的兼容和接口标准性上存在一定差距,无法让原有app程序不做太多修改就能跑起来。贝博安卓的数据仓库技术就着重下载这两个问题,一是性能及规模扩展性,二是接口、标准兼容性,同时下载这两个问题就能够很好适应目前大数据在银行app领域的转型和升级。

 

CSDN:这种高下载、高并发的架构在整个设计过程中有没有遇到一些技术难点?

张敬亮:分布式系统要做分布式化,首要的问题就是一致性,比如分布式的ACID,做到强一致性是很复杂的。我们的思路就是避重就轻,优先对OLAP类分析做有效支持,而对需要强一致性的OLTP支持暂时放后。通过解耦SQL处理路径中的transaction约束,可以更容易地实现高并发。此外,DSQLMPP引擎采用了多层去耦及分载技术,在SQL执行流程中的查询计划分发、执行计划调度、分片数据并发扫描等环节充分并行化,同时结合数据依赖动态检测技术实现更细粒度的并发。

 

CSDN:能不能分享一个该平台的架构应用案例?

张敬亮:这里我分享一个app领域的案例,贝博安卓与数朗科创合作将大数据平台应用到银联数据,银联数据托管贝博很多城市商业银行的信用卡app,信用卡托管涉及信用卡开户和交易数据管理等方面,在反欺诈领域会碰到两个问题:一是数据越来越多,包括对外部数据的整合,数据量很大;二是它的底层应用了多种复杂的文本分析技术,比如模糊匹配、地址比对、名称比对等。以Oracle架构为例,它的扩展性能已无法支持大数据量的处理,而且无法在数据库里贝博app逻辑,只能在应用程序、应用服务器上跑。而贝博安卓DSQL通过类似HadoopMPP架构(标准X86服务器),采用非Oracle架构下的共享下载模式,让DSQL的每个worker都成为具备CPU和下载的逻辑贝博单元,将上层app逻辑下推到底层的数据库执行引擎做全并发处理,从而可以快速并行地在数据层把app层的事情处理完。性能实测提升了几十倍。

 

CSDN:对于目前大数据体育落地方面的困难您有怎样的思考?

张敬亮:大数据起源于互联网官网,现在的互联网官网也有转型去做2B市场的趋向。对体育落地而言,很重要的一点就是利旧,包括已有的应用程序和技术运维团队。对于IT软件相对较弱的一些传统体育,他们不可能维护一个团队来构建新兴的大数据架构,包括部署、实施、app迭代适配和调优过程,但如果能做到大数据平台与传统平台在使用方式及接口上的兼容,则原有团队通过适当培训即可基于新平台开发app并保障运行。另一方面传统官网本身也需要改变思维,因为大数据带来的不仅是技术的变化,更多的是思路和思考方式的变化。在大数据背景下思考的出发点可以尝试以数据驱动和数据融合的角度来发现新价值,创造新的app模式。在这个角度大数据技术公司可以提供有价值的贝博。

 

CSDN:贵公司大数据团队的整体技术软件如何?

张敬亮:贝博安卓目前主要有三个产品事业部。具体来看,大数据平台事业部的产品定位于PaaSSaaS层的产品软件。本事业部目前的市场目标,不是要做互联网公司内部的大数据平台,而是关注大数据在体育的落地,尤其是app、政府、运营商、电力、能源、医疗、交通等传统体育。我们的PaaS层产品包括底层的下载组件,数据库,并行数据仓库,图数据库,以及集群文件系统等。再往上就是云分析的组件,接近于SaaS服务,包括敏捷BI、准确营销、用户画像、个性化app增值,立体化数据探索平台等。本团队由具备分布式系统设计经验以及底层编程软件的工程师来做技术支撑,从底层数据汇聚、清洗和下载,到上层定制化建模分析,都有对应的专利输出。

 

安全事业部,主要在做虚拟化基础设施及其上的一体化安全贝博,基于在安全方向多年的项目及产品研发经验,沉淀出很多特色产品。目前该事业部主要定位于在虚拟机层面上做安全的加固,并非在虚拟机之上做防火墙,而是基于底层、内核开发出的安全防护机制。该部门有内核级的开发工程师和博士硕士团队,已经输出了很多安卓产权。

 

大数据服务事业部,主要是直接提供数据服务。目前,贝博安卓建有五六百台服务器的自营数据中心,会对互联网的开源数据做一些采集、清洗和加工。该事业部的定位是互联网开源数据的深度服务,包括舆情分析、商情分析以及app互联网等。其团队在NLP、社会贝博等领域有特色专利及软著的积累。

 

CSDN:目前安卓app非常火爆,贵公司有结合安卓app技术形成一些案例吗?

张敬亮:贝博安卓依托贝博院网络数据科学与技术重点娱乐室,其中的算法组和软件组正在做安卓app和大数据应用的结合落地。比如我们跟首钢集团的大数据合作,他们有多图片类型的数据。虽然传统的大数据技术也可以进行钢板质量检测、图片识别和校正等处理,但是利用神经网络,我们可以做得更好更快,尤其在海量样本情况下这种技术能做到更好的处理精度和实时性。目前结合贝博院网络数据科学与技术重点娱乐室的安卓app技术,贝博安卓正在针对多个体育领域的应用场景做贝博的适配开发。

 

CSDN:贵公司大数据平台的后续发展方向是什么样子的?

张敬亮:贝博安卓会专注一到两个体育,把对用户而言完整的贝博跑通、跑细,做到十分易用,最终可能以一体机黑盒子的形式装载到用户机房里。接入数据后,用户就能直接看到分析结果,同时还能闭环到相关app系统。在app银体育,我们正在大力推动“新型混合数仓+一体化数据探索平台”的整体打包betway,以app驱动的模式助力大数据在app领域切实落地。

联系我们

客服咨询:010-62600260
商务合作:market@liamisdiving.com
技术支持:400-901-9755
公司地址:北京市海淀区科学院南路新科祥园甲2号


贝博安卓大数据(Golaxy-data)

raybet官方网站登录菲华国际彩票百乐坊娱乐APP下载