1、大数据平台目前业界也没有统一的定义,但一般情况下,使用了Hadoop、Spark、Storm、Flink等这些分布式的实时或者离线计算框架,建立计算集群,并在上面运行各种计算任务,这就是通常理解上的大数据平台。
2、至于一家企业什么时候需要大数据平台,这取决于这么几方面:
业务需求:业务需求引导是必须的,不能光为了建平台而建平台,建立平台的最终目的是为了服务业务,让业务发展的更好。企业内大数据平台一般是信息管理部门、IT部门承建并承接一些数据需求,业务部门其实不关心你是不是用大数据平台还是用Oracle数据库计算出来的,那么这怎么评估呢?其实主要还是数据量,比如业务部门是不是偶尔会提“去年全年的XX怎么样?”、“去年全年的销售按照渠道、产品类别几个维度进行细分”、“需要用户行为数据、订单数据结合来做用户画像”、“需要给用户打标签”、“设备传感器的数据都有了,需要做实时的故障预测”等等,在承接各种业务需求的时候,是不是偶尔会出现任务运行很久的情况?会不会出现有些需求根本难以实现,因为计算量太大的问题?这就说明,业务上已经有大数据的诉求了,技术上并没有满足。
说到业务需求,企业内的信息管理部门也要注意,自己不能光承担需求,更重要的是要深入业务,理解业务,本部门对技术了解,如果对业务也多了解一下,就能够利用技术优势做到“想业务部门所未想”,实现比业务部门能提出更好的需求,并且能用大数据技术实现这个需求,这时候,信息管理部门的价值就更突出了,在企业内就再也不是一个承接需求或者背锅的部门了。
数据量与计算量:涉及到数据量的评估,也包括2方面:
现有的情况:现在有多少数据?都存储在哪里?业务部门提的各种指标需求,每天需要多长时间计算完成?每天什么时候完成昨天经营情况的数据更新?
增长的情况:每天、每周、每个月的数据增量有多少?按照这个增速,现有的配置还能满足多长时间的需求?
以上2个方面需要综合评估,现有数据量较多或者增长较快,那就需要做大数据平台的打算了。
先进性:本企业在技术上的布局是否需要一定前瞻性?需要早在数据量不太大的时候就进行技术探索?亦或是未来会上马新项目,新项目会产生大量数据。
公有云与私有云的选择:如果企业对公有云比较接受,其实可以考虑直接数据上公有云,公有云在国内主要就是阿里云、腾讯云、百度云等,其中阿里云的技术最为成熟,此外还有亚马逊的AWS等,但这里说的是搭建自己的大数据平台,就不深入展开了。
3、如何搭建大数据平台
建设一个大数据平台不是一朝一夕能完成的,不是下载安装几个开源组件那么简单。
涉及到:
技术层面:如何进行系统架构设计?集群资源如何评估?需要哪些组件?Hadoop、Spark、Tez、Storm、Flink,这些组件有什么区别?它们之间如何有机的组合起来?
团队层面:现有的技术团队配比如何?有没有人力搭建并且运维这个平台?有没有能力运营好这个平台?
对于非常重视主营业务的传统企业,信息技术部门的团队规模一般比较有限,建设一个大数据平台的成本是很高的,这个成本不仅是经济成本,还包括人才投入的成本、时间消耗的成本等等,如何能快速满足企业的大数据平台需求。这时候就可以考虑直接采购商用的大数据平台。
商用的大数据平台,市场上也有很多可以选择,比如星环、华为,此外还有袋鼠云数栈。
数栈的目标是通过产品化的方式,帮助企业构建数据共享能力中心。数栈不仅仅是一个大数据平台,同时附加各类数据处理工具,包括:
开发套件:一站式大数据开发平台,帮助企业快速完全数据中台搭建
数据质量: 对过程数据和结果数据进行质量校验,帮助企业及时发现数据质量问题
数据地图: 可视化的数据资产中心,帮助企业全盘掌控数据资产情况和数据的来源去向
数据模型: 使企业数据标准化,模型化,帮助企业实现数据管理规范化
数据API: 快速生成数据API、统一管理API服务,帮助企业提高数据开放效率
主要特点有:
1一站式。一站式数据开发产品体系,满足企业建设数据中台过程中的多样复杂需求。
2兼容性强。支持对接多种计算引擎,兼容离线&实时任务开发。
3开箱即用。基于Web的图形化操作界面,开箱即用,快速上手。
4性价比高。满足中小企业数据中台建设需求,降低企业投入成本。
有了数栈,企业搭建数据平台就不再是什么问题,核心需求也就会从搭建数据平台转为满足更多的业务诉求,实现真正的企业数据共享能力中心
欢迎分享,转载请注明来源:品搜搜测评网