大数据都需要学什么？

首先我们要了解Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。

大数据

Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据基础。

Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。

Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapReduce程序。有的人说Pig那它和Pig差不多掌握一个就可以了。

Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapReduce、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

Kafka：这是个比较好用的队列工具，队列是干吗的排队买票你知道不数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。

Spark：它是用来弥补基于MapReduce处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。

大数据课程知识点较多，学起来有一定难度！

“大数据”就是一些把我们需要观察的对象数据化，然后把数据输入计算机，让计算机对这些大量的数据进行分析之后，给出我们一些结论。

大数据学习内容主要有：

①JavaSE核心技术；

②Hadoop平台核心技术、Hive开发、HBase开发；

③Spark相关技术、Scala基本编程；

④掌握Python基本使用、核心库的使用、Python爬虫、简单数据分析；理解Python机器学习；

⑤大数据项目开发实战，大数据系统管理优化等。

你可以考察对比一下南京课工场、北大青鸟、中博软件学院等开设有大数据专业的学校。祝你学有所成，望采纳。

北大青鸟中博软件学院大数据毕业答辩

自学大数据学习路线：（前提：以Java语言为基础）

总共分为四个模块：

大数据基础

大数据框架

大数据项目

其他

第一模块：大数据基础

Java基础：集合，IO流

JVM：重点是项目调优

多线程：理论和项目应用

Linux：最基本的操作

这一个模块的重点是为了面试做准备，个人根据自己的情况去复习，复习的时候理论部分建议看书和博客资料，应用部分建议看视频和Demo调试。

下面分别去详细的介绍一下：

Java基础：集合，IO流

主要是理论部分，可以看书或者博客总结，这一块没什么推荐的，网上很多资料可以找到。

JVM：重点是项目调优

多线程：理论和项目应用

这两块重点要结合到项目中，通过项目中的实际使用，然后反馈到对应的理论基础，这一块建议在B站上看对应的视频。B站”尚硅谷“官网上的视频很详细。

Linux：最基本的操作

这一块有时间，先把《鸟哥的Linux私房菜》这本书看一遍，然后装个Linux系统自己玩玩，对应的最常使用的命令自己敲敲。

如果没时间，就把最常用的命令自己敲敲，网上有对应的总结，自己很容易搜到。一定要自己敲敲。

第二模块：大数据框架

Hadoop：重点学，毕竟大数据是以Hadoop起家的，里面就HDFS，MapReduces，YARN三个模块。

Hive：先学会怎么用，当作一个工具来学习。

Spark：重点学，用来替代Hadoop的MapReduces的，里面重点有三块：Spark Core，Spark SQL，Spark Streaming。

Flink：我还没学。

Hbase：当作一个工具来学习，先学习怎么用。

Kafka：先学怎么用，其实里面的模块可以先理解成两部分：生产者和消费者。所有的核心都是围绕这两个展开的。

Flume：当作一个工具来学习，先学习怎么用。

Sqoop：当作一个工具来学习，先学习怎么用。

Azkaban：当作一个工具来学习，先学习怎么用。

Scala：这个是一门编程语句，基于Java 而来的，可以工作后在学习。

Zookeeper：当作一个工具来学习，先学习怎么用。

以上的学习视频和资料可以在B站的”尚硅谷“和”若泽大数据“里找到，很详细。资料目前最详细的资料就是各个框架对应的官网。视频里也是对着官网一步一步讲的。官网都是英文的，可以用Google浏览器的翻译插件，翻译成中文后在看。

第三模块：大数据项目

B站的”尚硅谷“和”若泽大数据“。

第四模块：其他

分布式：知道最基本的概念，有个分布式项目的经验。分布式项目可以在B站的”尚硅谷“里找到。

算法：网上有详细的总结，书：推荐《剑指Offer》和《算法4》，看算法的目的是先掌握实现算法的思路然后才是实现方式。

SQL：主要是调优，网上有很详细的总结。

除此之外：Storm框架不要学了。

很多准备前期都是为了面试，例如：JVM和多线程，SQL调优和算法。这些东西真正使用的过程中千差万别，但核心知识不变，所以面试的时候总是会问，这一块的前期以通过面试为主要点。

学习了差不多了，例如：Hadoop，Hive 和Spark学完了，就去面试面试，通过面试的情况在来调整自己的学习。

以下是关于如何成功使用大数据的一些方法。

1敏捷

敏捷地掌握新兴技术的最新进展。顾客的需求往往在变化，因此，技术必须灵活适应客户的苛刻需求。如果想成功，应该调整收集的数据并处理，以满足客户的需求。‍

2实时操作

实时操作业务，以了解客户遇到的各种问题。最好的方法是使用实时数据。因此，要了解业务的缺点，并实施适当的步骤来促进最佳的用户体验和更高的生产力。‍

3多种设备

使用不同的设备来收集有关客户的相关信息，包括智能手机，笔记本电脑和平板电脑，因为客户会使用各种设备访问公司的产品。‍

4使用所有的数据

全面使用数据来捕获汇总数据中的重要见解。从客户的经验和行为中收集的数据对于提高产品品牌和业务生产力非常重要。‍

5捕获所有信息

在数据采集过程中，要掌握所有客户的信息，深入了解客户，避免盲点。还应该收集可能影响到客户的信息，从而提升品牌知名度

问题一：怎样获得大数据？ 很多数据都是属于企业的商业秘密来的，你要做大数据的一些分析，需要获得海量的数据源，再此基础上进行挖掘，互联网有很多公开途径可以获得你想要的数据，通过工具可以快速获得，比如说象八爪鱼采集器这样的大数据工具，都可以帮你提高工作效率并获得海量的数据采集啊

问题二：怎么获取大数据 大数据从哪里来？自然是需要平时对旅游客群的数据资料累计最终才有的。

如果你们平时没有收集这些数据 那自然是没有的

问题三：怎么利用大数据，获取意向客户线索 大数据时代下大量的、持续的、动态的碎片信息是非常复杂的，已经无法单纯地通过人脑来快速地选取、分析、处理，并形成有效的客户线索。必须依托云计算的技术才能实现，因此，这样大量又精密的工作，众多企业纷纷借助CRM这款客户关系管理软件来实现。

CRM帮助企业获取客户线索的方法：

使用CRM可以按照统一的格式来管理从各种推广渠道获取的潜在客户信息，汇总后由专人进行筛选、分析、跟踪，并找出潜在客户的真正需求，以提供满足其需求的产品或服务，从而使潜在客户转变为真正为企业带来利润的成交客户，增加企业的收入。使用CRM可以和网站、电子邮件、短信等多种营销方式相结合，能够实现线上客户自动抓取，迅速扩大客户线索数量。

问题四：如何进行大数据分析及处理？ 大数据的分析从所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。基于如此的认识，大数据分析普遍存在的方法理论有哪些呢？1 可视化分析。大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。2 数据挖掘算法。大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。3 预测性分析。大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。4 语义引擎。非结构化数据的多元化给数据分析带来新的挑战，我们需要一套工具系统的去分析，提炼数据。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。5数据质量和数据管理。大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。大数据的技术数据采集：ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。数据存取：关系数据库、NOSQL、SQL等。基础架构：云存储、分布式文件存储等。数据处理：自然语言处理(NLP，Natural Language Processing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机”理解”自然语言，所以自然语言处理又叫做自然语言理解(NLU，Natural Language Understanding)，也称为计算语言学(putational Linguistics。一方面它是语言信息处理的一个分支，另一方面它是人工智能(AI, Artificial Intelligence)的核心课题之一。统计分析：假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、bootstrap技术等等。数据挖掘：分类（Classification）、估计（Estimation）、预测（Predic胆ion）、相关性分组或关联规则（Affinity grouping or association rules）、聚类（Clustering）、描述和可视化>>

问题五：百度股票大数据怎么获取？ 用“百度股市通”软件。

其最大特色是主打大数据信息服务，让原本属于大户的“大数据炒股”变成普通网民的随身APP。

问题六：通过什么渠道可以获取大数据 看你是想要哪方面的，现在除了互联网的大数据之外，其他的都必须要日积月累的

问题七：通过什么渠道可以获取大数据 有个同学说得挺对，问题倾向于要的是数据，而不是大数据。

大数据讲究是全面性（而非精准性、数据量大），全面是需要通过连接来达成的。如果通过某个app获得使用该app的用户的终端信息，如使用安卓的占比80%，使用iPhone的占比为20%, 如果该app是生活订餐的应用，你还可以拿到使用安卓的这80%的用户平时网上订餐倾向于的价位、地段、口味等等，当然你还会获取这些设备都是在什么地方上网，设备的具体机型你也知道。但是这些数据不断多么多，都不够全面。如果将这部分用户的手机号或设备号与电子商务类网站数据进行连接，你会获取他们在电商网站上的消费数据，倾向于购买的品牌、价位、类目等等。每个系统可能都只存储了一部分信息，但是通过一个连接标示，就会慢慢勾勒出一个或一群某种特征的用户的较全面的画像。

问题八：如何从大数据中获取有价值的信息 同时，大数据对公共部门效益的提升也具有巨大的潜能。如果美国医疗机构能够有效地利用大数据驱动医疗效率和质量的提高，它们每年将能够创造超过3万亿美元的价值。其中三分之二是医疗支出的减少，占支出总额超过8%的份额。在欧洲发达国家， 管理部门利用大数据改进效率，能够节约超过14900亿美元，这还不包括利用大数据来减少欺诈，增加税收收入等方面的收益。

那么，CIO应该采取什么步骤、转变IT基础设施来充分利用大数据并最大化获得大数据的价值呢我相信用管理创新的方式来处理大数据是一个很好的方法。创新管道(Innovation pipelines)为了最终财务价值的实现从概念到执行自始至终进行全方位思考。对待大数据也可以从相似的角度来考虑：将数据看做是一个信息管道(information pipeline)，从数据采集、数据访问、数据可用性到数据分析(4A模型)。CIO需要在这四个层面上更改他们的信息基础设施，并运用生命周期的方式将大数据和智能计算技术结合起来。

大数据4A模型

4A模型中的4A具体如下：

数据访问(Access)：涵盖了实时地及通过各种数据库管理系统来安全地访问数据，包括结构化数据和非结构化数据。就数据访问来说，在你实施越来越多的大数据项目之前，优化你的存储策略是非常重要的。通过评估你当前的数据存储技术并改进、加强你的数据存储能力，你可以最大限度地利用现有的存储投资。EMC曾指出，当前每两年数据量会增长一倍以上。数据管理成本是一个需要着重考虑的问题。

数据可用性(Availability)：涵盖了基于云或者传统机制的数据存储、归档、备份、灾难恢复等。

数据分析(Analysis)：涵盖了通过智能计算、IT装置以及模式识别、事件关联分析、实时及预测分析等分析技术进行数据分析。CIO可以从他们IT部门自身以及在更广泛的范围内寻求大数据的价值。

用信息管道(information pipeline)的方式来思考企业的数据，从原始数据中产出高价值回报，CIO可以使企业获得竞争优势、财务回报。通过对数据的完整生命周期进行策略性思考并对4A模型中的每一层面都做出详细的部署计划，企业必定会从大数据中获得巨大收益。 望采纳

问题九：如何获取互联网网大数据 一般用网络蜘蛛抓取。这个需要掌握一门网络编程语言，例如python

问题十：如何从网络中获取大量数据 可以使用网络抓包，抓取网络中的信息，推荐工具fiddler

随着互联网的不断发展，大数据开发崛起，在互联网行业中备受关注。很多人开始对大数据越来越感兴趣，但是很大一部分人之前没有了接触过计算机，对编程语言更是不了解，对于零基础的人来说，能否学习大数据呢？其实是可以学习的。大数据学习是可以理解的，对于零基础的学生来说并不是非常困难，只要努力学习可以很快的掌握大数据。下面北京电脑培训为大家介绍大数据额学习技巧。

一、了解大数据的理论知识

要学习大数据课程，首先需要对课程有一个简单的了解，了解课程的内容，并学习主要知识。最重要的是需要知道什么是大数据。开始应该简单地了解大数据，看看您是否真的对大数据学习感兴趣。如果你在不知道大数据的情况下开始学习，最后你可能会发现自己不感兴趣，这会浪费很多时间和精力，并且也可能浪费金钱。因此，北京IT培训建议如果您想学习大数据，您需要对大数据有一个大致的了解。

二、了解计算机编程语言

对于零基础的学习的人来说，入门是非常困难的。因为你必须掌握一种计算机编程语言，所以每个学习大数据的人都应该知道更多的计算机编程语言，其中北京IT培训发现需要学习R，C语言，JAVA语言等。

三、大数据的相关课程

在开始的时候学习编程语言，后期就需要进入大数据的知识学习。一般情况下，学习大数据的时间会比学习Java的时间短。北京电脑培训发现大数据的部分课程主要包括大数据技术的引入，海量数据高级分析语言，海量数据存储分布式存储，海量数据分析等分布式计算，Linux，Hadoop，Scala，HBase，Hive，Spark等专业课程。想要掌握大数据，这是课程是非常关键的。

大数据在手机领域的应用有用户画像分析，营销策略优化，故障预警和维护。

1、用户画像分析：手机厂商和移动运营商可以通过大数据分析获取用户的使用习惯、兴趣爱好、消费能力等信息，从而对用户进行画像分析，为产品的开发和推广提供数据支持。

2、营销策略优化：手机厂商和移动运营商可以通过大数据分析了解市场需求和消费者反馈，从而优化产品营销策略，提高产品的市场份额和用户满意度。

3、故障预警和维护：手机厂商可以通过大数据分析预测手机故障的概率和出现的时间，从而提前进行维护和保养，减少用户的维修和维护成本。