Hadoop系列之HDFS架构

HadoopDistributedFileSystem(HDFS)是高容错、高吞吐量、用于处理海量数据的分布式文件系统。HDFS一般由成百上千的机器组成，每个机器存储整个数据集的一部分数据，机器故障的快速发现与恢复是HDFS的核心目标。

HDFS典型的块大小是128MB。因此，HDFS文件被分割为128MB的块，可能的话每个块都位于不同的DataNode上。当客户端以复制因子3写入HDFS文件时，NameNode以复制目标选择算法replicationtargetchoosingalgorithm检索DataNodes列表。

HDFS（HadoopDistributedFileSystem）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。

在配置好Hadoop集群之后，可以通过浏览器访问http：//[NameNodeIP]：9870，查询HDFS文件系统。通过该Web界面，可以查看当前文件系统中各个节点的分布信息。

AMD于今日正式揭露旗下第二代G系列产品，除了架构的更新外，AMD也首度将之前整合处理器、北桥与图形的APU再次强化，将I/O控制也纳入架构内，构成完整的SoC（SystemonChip）产品，并且强调其为业界第一款x86架构之4核SoC产品。

跳转继续

而AMD近期转型已经告一段落，强调他们看到PC市场的现况以及嵌入式市场后续的市场需求，除了成功切入游戏机供应炼外先前也并购SeaMicro，未来将会持续强化嵌入式市场的布局，预估今年第四季嵌入式领域将占AMD营收20%，在未来嵌入式领域将占AMD总营收至少40-50%；另外在与大数据趋势相关的低功耗数据伺服器领域，AMD将会采取x86以及ARM架构双管齐下的策略。

AMD这次的第二代G系列有几项产品要点，首先从核心架构介绍起，由先前的Bobcat山猫改为与PS4处理器相同架构的Jaguar猎豹核心，采两核心为一个群组的设计，最大可达4核心，时脉从1GHz至2GHz，L2也一举从512KB提升到2MB，搭配全新的GCN架构的HD8000系列整合GPU，预估CPU运算效能比起上一代提升113%，而GPU还可提升20%。

此外除了整合I/O控制外，加入大量满足不同需求的原生I/O支援，并且也可支援ECC记忆体，更为了满足工控领域需求，G系列SoC可在-40度至最高85度的宽温环境下正常作业，更满足如厂房、车用电子等特殊环境的需求。

虽然这次整合I/O管理，但拜28nm制程所赐，DIE体积反而比先上一代G系列APU更小，也不需要在额外搭配I/OHub晶片，加上原生多种I/O支援，不需要透过PCIe搭配额外的转换晶片，主板设计也能更简化，产品线TDP也自9W到最高25W，有助于进行无风扇产品设计。

由于G系列APU整合AMD的高效能图形GPU，故如用于生产检测的机器视觉，亦能透过平行运算提供所需的效能，此外如用于厂房用的控制器、POS系统、车载通讯系统，亦能利用高效能的HD8000GPU提供3D的GUI。虽然G系列与PS4专用的处理器同样为Jaguar核心设计，不过由于目的不同，包括时脉设定、整合的GPU等级、I/O的支援以及其它为了游戏主机订制的设计，两者之间的关联并不深。

目前AMD在效能对照表公布四款第二世代G系列的处理器，分别为GX-420、GX-415、GX-275以及GX-210（图表中GT系列为第一世代G系列APU），AMD强调相较竞争对手它们在每瓦效能比以及效能的均衡性有更佳的优势，目前也获得多家嵌入式软硬体厂商，包括研华、华擎、等采用，AMD意图透过第二世代的G系列嵌入式SoC的发表，为其企业转型大举进军嵌入式领域打下良好的基础。

日前，英特尔宣布推出 Xeon（至强）W-3300 系列处理器，它使用相同的 Ice Lake Xeon 芯片，并且将提供从12到38核的不太规格处理器，同时支持高达 4 TB 的内存。

至强 W-3300 系列

这是英特尔至强 W 处理器系列的第三代产品，最初的亮点是基于 Skylake 企业 CPU 架构系列的可超频 28 核至强 W-3175X。英特尔在该处理器的发布上做出了巨大努力，并紧随其后推出了基于 Cascade Lake 的至强 W-3200 系列，提供更多 PCIe 通道和频率增加。新的 Ice Lake Xeon W 系列使用英特尔的 Ice Lake 架构，正如我们在对该平台的最初 Xeon Scalable 评测中所强调的那样，与之前的 Intel 处理器相比，提供了相当大的 gen-on-gen 性能提升。在该评论中，我们强调了 Ice Lake 提供了 +19% 的 IPC 增加，并且核心数量和 TDP 的增加提供了提升，尽管与 Cascade Lake 相比频率有所下降。

虽然至强可扩展产品线提供多达 40 个内核的变体，但至强 W-3300 将达到 38 个内核，但英特尔主要专注于 32 核版本作为其主要产品。具有 32 核的新型 Xeon W-3365 旨在与 AMD 的 Threadripper Pro 3975WX 竞争。

华为经过持续的管理变革， 已经取得明显的收益， 体现在绩效指标良好， 建立了一套与国际接轨的管理体系。

表现在经营结果上， 人均效益明显提升， 利润率保持领先。

M 合作伙伴:说实话和你们合作， 就是因为被你们这套 ipd 流程打动。

B 电信认证团： 你们深圳和上海的研发中心的运作实际上达到了 CMM5 级电信来访 VP:你们的数据中心和人员技能给我留下了深刻的印象。

挪威船级社： 比我们认证的平均水平好十倍（信息安全）

为什么要变革呢？

社会 政治动荡（ 社会 矛盾泛滥、 物质心理失衡、 利益格局调整， 政策法规影响）

经济金融波动（宏观经济走势， 金融汇率股市， 融资政策与工具， 全球一体化）

管理技术创新（新的管理理论、 技术一日千里， 信息工具革新， 人员技能素养）

客户行业产品（价值链一体化， 需求细分深化， 对手伙伴频变， 产品生命周期缩短）

不变等死

一个公司如果沿着自己过去的成功经验走下去， 就会进入-----死亡谷！（1970 年的世界 500强到 1990 年， 近一半在榜上消逝）

在企业丛林中， “能生存下来的并不是最强壮的， 也不是最聪明的， 而是那些对变化反应能力最强的物种”……达尔文

华为为此确定了“以客户为中心”的核心价值观。 实现客户价值是华为存在的唯一理由。 质量好、 服务好、 运作成本低、 优先满足客户需求。

我们不追求利润最大化， 而是通过和周边伙伴密切合作， 共同取得可持续的发展和成功。

企业发展的宏观商业模式:产品发展的路标是客户需求导向， 企业管理的目标是流程化组织建设。

微观商业模式:运用一整套和谐的方法论， 以最简单最有效的方式， 来实现端到端流程贯。

这个端到端， 就是客户的需求端来， 到准确及时地满足客户需求端去。

这驱动华为从流程、 组织和 IT 方面进行坚持不懈地改进：

……组织： 通过资源的协调配合来支撑流程活动的完成。

……流程:通过一系列有序的活动来确保业务目标的达成！

……IT:通过信息技术来提高流程、 组织的运作效率（是的偌大的组织运作起来跟一个人一样协调、 效率高）

基于端到端流程框架， 华为持续实施了一系列的变革项目：

……主流程： 市场管理（需求管理、 市场与组合分析）、 产品开发（需求管理、 IPD、 BOM）、客户关系管理、 集成供应链（BOM、 ISC、 采购管理）、 客户服务（第三方满意度）

……IT 与流程（数据中心， IT 策略规划）

……财务（账务体系， 海外财务）

……人力资源（Hay 项目、 组织设计、 考核及资源池）

在组织、 流程、 IT 方面， 华为从 1998 年以来， 开展了一系列重要的管理变革， 主要目的是提升对客户需求的理解、 实现、 交付能力。

华为公司 IT 发展历程:

……自行开发（管理信息系统、 局部业务、 最动化）

……重点实施（协同办公自动化系统、 MRPII、 人力资源管理系统）

……全面建设（IT 战略规划、 业务变革 IPD/

ISC/财务四统一， 企业数据中心、 数据仓库、 WEB 应用平台）

1998 年， 华为就进行了 IT 战略规划

……业务愿景与策略

……IT 愿景与策略

……企业 IT 架构

……IT 规划

如今的华为流程和 IT 取得了巨大的成功

变革管理体系组织：

……变革管理体系负责对全公司的变革活动进行分层分级地管理（决策层、 规划层、 执行层

（分领域））

……成立 BPE/FPE 负责支撑变革管理团队的日常运作（业务流程管理部门）， 负责流程建设与管理、 IT 需求分析与管理等， 网络遍及各分支机构。

……成立公司级的变革项目管理部(PPMD)

……成立业务信息管理部（BIE）

变革工作流程:

……借用了宏观 IPD 的流程思路， 有需求管理流程（RM）、 变革项目年度规划流程（MM）、流程管理运作流程（PMOP）（IPD）， 设置 DCP 点。

……PMOP 流程分概念、 计划、 开发、 验证、 推行、 生命周期六个阶段。 其中验证阶段有流程的试点， 类似于 Beta 测试。

流程文件评审的责任体系：

……在流程开发过程中， 不同层级的流程， 和系统设计一样， 分系统级和子系统以及模块级，直到流程文件、 指导书和模板等， 由不同的流程设计负责组织（BPE/FPE） ,组织业务变革管理团队和 IT 团队， 以及利益相关人进行评审。（FPE:功能流程管理）

流程文件会签上网责任体系:

……不同层级的流程由流程的 owner 审核发布申请审核（产品线总监、 体系总监）

……对应的业务流程管理组织进行文件审核和文控。（质量体系或流程与 it 体系）

……文件会签（评审组织）

……文件批准（BT&IT MT 主任）

文件的起草、 组织评审、 发布后的文控由实体组织来完成， 管理团队主任来审批， 流程 owner来发布申请审核， 不会仔细看流程的内容， 对其不负责。

流程稽核与审计:

……流程适用性的审视:每年， 识别出继续使用的流程、 需要优化的流程、 需要作废的流程，并制定出相应的行动计划。

……流程执行情况审计：

质量部负责， 对本业务领域流程进行例行审计， 重点发现流程执行中的问题并推动改进。（包括流程本身的问题和执行问题）

……流程绩效评估:

流程绩效评估主要指对流程效率和效果的评估， 并指出改进机会。

《赋能》作者是斯坦利  麦克利斯特尔，美国陆军四星级上将，其通过在伊拉克的战斗实践，阐述了面对错综复杂的环境，一个组织应该怎么去革新自己，增加韧性去适应新的环境，在战斗中生存并取得胜利。

这对现代企业管理者，在组织管理企业团队中，尤其是面对互联网信息化时代错综复杂的环境，企业管理者应该怎么保持自己的竞争力，打造一支韧性十足的团队，有非常好的启发作用。

如果你是企业管理者，不妨也读读《赋能》一书。

一、优势不再有效 

美军结束对萨达姆政权的战争后，同时也揭开了另外一场战争，对伊拉克”基地”组织的打击。

与击败萨达姆政权摧枯拉朽般的容易不同，面对伊拉克”基地”组织的战斗，强大的美军不仅没有获得迅速的胜利，还常常处于劣势。

这也引起了，美军领导者的深刻反思，论训练、后勤资源、技术侦查手段等，美军在全球都是首曲一指的。

为何在面对伊拉克“基地”组织，这样缺乏后援、训练不足、纪律松散的“军队”，美军过去的管理经验、战技战术没有起到应有的作用，反而在行动中屡屡受挫。

二、反思 

面对资源、训练、技术等都不如自己的伊拉克”基地”组织，美军在新的战争环境中摸索，并学习敌人的优势，进而采取“信息共享、去中心化”等措施，重新建立组织架构，以适应错综复杂的战场环境。

要学习敌人的优势，需要弄清楚伊拉克”基地”组织的特征：没有明显的组织层级关系，即网状化、去中心化。

这个特征使其有极强的环境适应能力，同时去中心化的小团体利用互联网的快速传播，使其造成的影响力呈指数级增长。这是在过去信息、通信手段相对单一的时代所不能想象的。

伊拉克“基地”组织头目阿布-穆萨布-扎卡维就是通过网络招募恐怖分子，同时在线教他们制造炸弹，用于打击美军，制造恐怖袭击。

组织结构去中心化、网状化的韧性优势，使得伊拉克“基地”组织在资源、训练、技术处于绝对劣势的状态下，依然给予美军特遣队造成巨大的损失。

特遣队虽比其他部队快速、灵活，但在伊拉克”基地”面前，其仍然是庞然大物。

且其组织结构相对传统，层级关系之间的信息指令沟通，呈”线性“结构，对于错综复杂的战场环境，线性结构的沟通往往贻误战机，造成失败结果。

试想一支正在执行任务的特遣队，把信息层层上报，再层层下发指令是多么愚蠢的做法。

这可以窥见，为啥现代企业管理，更加趋向扁平化，也是由于现代商业环境更加错综复杂，层级管理过深，已不再适应21世纪的商业环境。

三、管理方式需要创新  

先讲一个英国海军击败法国与西班牙联合舰队的故事。

19世纪初，英国海军上将霍拉肖·纳尔逊 率领英国海军在特拉法尔加海域，迎战法西联合舰队，传统海战是双方一字排开，相互攻击，但霍拉肖·纳尔逊却把舰队设置成两列纵队，直接插入一字排开的法西联合舰队，造成非常混乱的战场态势。

虽然是同样混乱的场面，但双方将领的表现云泥之别。一方，传统管理法西联合舰队的将领，严格执行上级指令，面对瞬息万变的战场，“线性”结构组织没办法传达指令。

另一方，英国海军在混乱的局势下，即时捕捉战机，各自为战，经此一战也确立了英国海军的霸主地位。

霍拉肖·纳尔逊核心成功原因，正是管理方式的创新，耐心培养下属才干，与面对错综复杂环境的自我调整能力。

因此，在场面极其混乱的环境下，英国海军依然能有效指挥，以网状的节点，各自为战，发起对联合舰队的攻击，并最终获胜。

读到这，你会发现，这个类似现象不就是重现在美军特遣队与伊拉克“基地”组织身上吗？

现代技术手段的多样化，使得战场环境更加错综复杂，但本质上是一样的，传统“线性”结构的管理与现代“非线性”结构管理方式的博弈。

那这种传统“线性”结构的管理，是前几个世纪一直沿用的，非常有效率的管理，甚至一直是美军的骄傲，它来自哪里呢？

四、还原论-泰勒主义 

泰勒主义来源于被誉为第一位“管理大师”弗雷德-里克温斯洛-泰勒，其理论与实践对制造生产管理产生深远的影响。

其提出的标准化、规范化，极大地提升了生产的效率，且降低生产成本。

如一枚炮弹一般的生产时间是10个小时，但是经过规范化与标准化，只需要30分钟即可完成；原本2000人完成的工作，经过规范化与标准化，现在只需要1200人完成。

而常常规范的细节可以做到，像拧紧子母扣这样的动作都要有一套标准动作和流程。

规范化与标准化，使得技术能力与组织运转方式得到最大化的适配，从而将技术潜力极大发挥出来，成为实际的生产力。

“把凭直觉做事的人换掉，组织以一群分散的，通过还原性方式，能够发挥最大效率的人去完成生产任务。”

这正是“还原论”的由来，其使得一个未经训练的佃农，在几个月之内就能成为炮舰甲板的焊接工和造船匠。

美国在二战时期爆发出来的战争能量，也正是泰勒还原论的具体表现。

泰勒的还原论系统形成的管理制度，在每一个层级中，管理者各自检视目标，并将目标分割成相互剥离的任务，再将其打包分派出去。

组织、团体运作高效归功于“泰勒主义”，其影响生活、工作、方方面面，至今已数百年。

（待续……)

本文从社区活跃度、产品特点、成功案例、产品缺点等维度，全方位对比Spring Cloud Config、Apollo、Nacos、Disconf、Spring Cloud Consul、Spring Cloud Zookeeper等几款Spring Cloud生态的配置服务器，帮助你选择合适的配置服务器。

一、Spring Cloud Config

GitHub地址

https://githubcom/spring-cloud/spring-cloud-config ，Star数1178，官方组件，社区较活跃

开源厂商

Pivotal（Spring官方团队）

产品特点

演示环境

暂无

成功案例

N多，目前用Spring Cloud的大多团队都是用的Spring Cloud Config

缺点

二、Apollo

GitHub地址

https://githubcom/ctripcorp/apollo ，Star数11169，社区很活跃

开源厂商

携程

产品特点

成功案例

携程、网易蜂巢、中国平安等，更多公司详见https://githubcom/ctripcorp/apollo

演示环境

http://1061225204:8070/

账号/密码：apollo/admin

缺点

暂未发现

三、Nacos

GitHub地址

https://githubcom/alibaba/nacos ，Star数3820，社区非常活跃

开源厂商

阿里巴巴

产品特点

成功案例

阿里巴巴、虎牙直播、工商银行软件开发中心、爱奇艺等，更多公司详见https://githubcom/alibaba/nacos/issues/273

演示环境

http://consolenacosio/nacos/indexhtml

缺点

暂未发现明显缺点

四、Disconf

GitHub地址

https://githubcom/knightliao/disconf ，Start数4505，社区活跃度一般

开源厂商

原百度员工，现在蚂蚁金服

产品特点

成功案例

百度、滴滴出行、顺丰、网易等，更多公司详见https://githubcom/knightliao/disconf

缺点

最新的版本发布于两年前，有点久了。

五、Spring Cloud Consul

GitHub地址

https://githubcom/spring-cloud/spring-cloud-consul ，Star数493，官方组件，社区较活跃

开源厂商

Pivotal（Spring官方团队）

产品特点

成功案例

暂未发现

演示环境

暂无

缺点

六、Spring Cloud Zookeeper

GitHub地址

https://githubcom/spring-cloud/spring-cloud-zookeeper ，Star数330，官方组件，社区较活跃

开源厂商

Pivotal（Spring官方团队）

产品特点

演示环境

暂无

成功案例

暂未发现

缺点

其他

如果使用的是Spring Cloud Kubernetes，或者将Spring Cloud应用部署在Kubernetes环境中，还可以选择ConfigMap，这种方式就笔者了解，业界这么玩的还不多，暂时不分析了。已经将Spring Cloud Kubernetes列入博客19年更新名单中了，敬请期待。

结论