什么是大数据及大数据技术

别再忽视大数据了，努力固然重要，但是把握住时代发展潮流，选择好方向也必不可少，甚至更重要。

目前企业提供的大数据岗位按照工作内容要求，可以分为以下几类：

①初级分析类，包括业务数据分析师、商务数据分析师等。②挖掘算法类，包括数据挖掘工程师、机器学习工程师、深度学习工程师、算法工程师、AI工程师、数据科学家等。③开发运维类，包括大数据开发工程师、大数据架构工程师、大数据运维工程师、数据可视化工程师、数据采集工程师、数据库管理员等。④产品运营类，包括数据运营经理、数据产品经理、数据项目经理、大数据销售等。

大数据本身是一个抽象的概念。从一般意义上讲，大数据是指无法在有限时间内用常规软件工具对其进行获取、存储、管理和处理的数据集合。

目前，业界对大数据还没有一个统一的定义，但是大家普遍认为，大数据具备 Volume、Velocity、Variety 和 Value 四个特征，简称“4V”，即数据体量巨大、数据速度快、数据类型繁多和数据价值密度低，如图 1 所示。下面分别对每个特征作简要描述。

1）Volume：表示大数据的数据体量巨大。

数据集合的规模不断扩大，已经从 GB 级增加到 TB 级再增加到 PB 级，近年来，数据量甚至开始以 EB 和 ZB 来计数。

例如，一个中型城市的视频监控信息一天就能达到几十 TB 的数据量。百度首页导航每天需要提供的数据超过 1-5PB，如果将这些数据打印出来，会超过 5000 亿张 A4 纸。图 2 展示了每分钟互联网产生的各类数据的量。

2）Velocity：表示大数据的数据产生、处理和分析的速度在持续加快。

加速的原因是数据创建的实时性特点，以及将流数据结合到业务流程和决策过程中的需求。数据处理速度快，处理模式已经开始从批处理转向流处理。

业界对大数据的处理能力有一个称谓——“ 1 秒定律”，也就是说，可以从各种类型的数据中快速获得高价值的信息。大数据的快速处理能力充分体现出它与传统的数据处理技术的本质区别。

3）Variety：表示大数据的数据类型繁多。

传统 IT 产业产生和处理的数据类型较为单一，大部分是结构化数据。随着传感器、智能设备、社交网络、物联网、移动计算、在线广告等新的渠道和技术不断涌现，产生的数据类型无以计数。

现在的数据类型不再只是格式化数据，更多的是半结构化或者非结构化数据，如 XML、邮件、博客、即时消息、视频、照片、点击流、 日志文件等。企业需要整合、存储和分析来自复杂的传统和非传统信息源的数据，包括企业内部和外部的数据。

4）Value：表示大数据的数据价值密度低。

大数据由于体量不断加大，单位数据的价值密 度在不断降低，然而数据的整体价值在提高。以监控视频为例，在一小时的视频中，有用的数据可能仅仅只有一两秒，但是却会非常重要。现在许多专家已经将大数据等同于黄金和石油，这表示大数据当中蕴含了无限的商业价值。

通过对大数据进行处理，找出其中潜在的商业价值，将会产生巨大的商业利润。

大数据对我们的普通人的意义到底是什么呢最近一两年，“大数据时代”、“互联网思维”在微dao博和微信上非常火爆，有一股“分享不谈大数据，读尽诗书也枉然”的势头。对于企业公关，广告行业来说，大数据和互联网思维确实是一种全新的理念，对于个人而言，大数据时代究竟意味着什么呢下面就从身边的案例着手，用逆向思维的来分析下大数据对我们有什么样的改变和意义。

第一，广告主用媒体资源价值制定广告投放策略，普通人可以通过广告投放来判断媒体资源价值。我们大多数人都有这样的情况，某某电视台新出了一档火爆的电视栏目，朋友推荐了一本自己不怎么清楚的专业杂志，我们到底怎么样判断这个栏目或者杂志的专业度呢很多朋友是通过百度，通过百科、相关宣传介绍了解该栏目或者杂志的专业度、人群。

这有没有错没有错。毕竟很多基本信息都可以通过百度、官网了解，但是你有没有发现这种情况，比如重庆的三家报纸，《重庆晨报》、《重庆晚报》、《重庆时报》、《重庆商报》，每一家都宣传自己是重庆最好的报纸，无论是发行还是广告收入都是第一，这种情况下，我们应该如何判断呢

媒体自己宣传可能会夸大，但是在媒体上的广告投放都是真金白银。企业选择在一个电视栏目投放广告，一定是认真了解了受众学历、年龄、收入、爱好、收视率的基础上，所以，你通过一个电视节目中植入广告的水平，就可以判断该节目的水平，以此类推。

笔者非常喜欢杨澜访谈录，它的冠名单位基本上都是奥迪、招商银行、华晨汽车等，中国好声音的冠名商加多宝就是看中了该节目在年轻人群体中的影响，香飘飘、步步高、韩束冠名非诚勿扰，说明该节目的收视人群偏年轻、偏女性化，等等。

第二，企业通过大数据分析了解消费者行为进行相关产品和服务的推荐，普通人可以通过推送和推荐信息来判断自身行为。现代生活中，社交活动越来越多，认识的朋友也越来越多，但是对于自己的认识却越来越觉得不够，很多人反映，经常莫名的郁闷和苦恼，不知道自己最近学习和工作思路对不对，那么，大数据时代的逆向思维或许可以给你一些启发。