什么是集群
集群：一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群是一个独立的服务器。
集群配置是用于提高可用性和可缩放性。 和传统的高性能计算机技术相比，集群技术可以利用各档次的服务器作为节点，系统造价低，可以实现很高的运算速度，完成大运算量的计算，具有较高的响应能力，能够满足日益增长的信息服务的需求。
集群技术是一种通用的技术，其目的是为了解决单机运算能力的不足、IO能力的不足、提高服务的可靠性、获得规模可扩展能力，降低整体方案的运维成本。只要在其他技术不能达到以上的目的，或者虽然能够达到以上的目的，但是成本过高的情况下，就可以采用集群技术
如何理解分布式与集群，二者区别是什么
分布式是指不同的业务分布在不同的地方，集群指的是将几台服务器集中在一起，实现同一业务。白话理解的话，比如公司项目上线初期（举例电子商务网站）
初期：用户访问量低，只弄了一台服务器，一个tomcat项目运行一个web工程。
中期：用户访问量提高，服务器崩了，为了解决这个问题，购买服务器，增加服务器数量，然后每个服务器中个各放了一份，使用nginx代理转发。（这就是运用集群原理）
后期：用户访问量不断增加，响应速度变慢，服务器又崩了，在不考虑增加服务器带宽、内存和CPU的情况下如何解决这个问题？先解决响应速度变慢，用户频繁调用数据库，在客户端与数据库之间，使用redis缓存。解决之后，又发现问题：由于每台服务器运行一个tomcat，放着一个web工程，用户有可能在商品详情存在大幅度调用数据库，而订单列表调用幅度小，此时就存在着模块之间耦合度高，一个功能升级其他也需要升级，扩展性差，不能灵活部署。是该考虑项目重构，把项目按照模块分为不同的系统（使用zookeeper进行模块之间通信），例如：订单系统，会员系统、搜索系统、商品信息系统。把每个模块进行拆分，用户在哪个系统访问频繁，就针对哪个系统进行对症下药，增加缓存还是使用其他技术。（这样我们就可以单独对这个模块进行服务性能的提升，不用全部都一起提升。也降低了代码的耦合度，模块之间互不影响，即使后期增加开发人员，也可按照敏捷开发思想只对其负责模块进行开发，效率大大提升）。这样一个web工程就拆分成多个web工程（多个tomcat部署）。那这个项目就可以在一台服务器部署多个工程（不同端口进行通信）或者多台服务器运行单个项目。（这就是分布式原理）
总而言之，分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。
集群的好处
一、服务器集群是什么?
服务器集群(Cluster)是由两台或多台节点机(服务器)构成的一种松散耦合的计算节点集合，为用户提供网络服务或应用程序(包括数据库、Web服务和文件服务等)的单一客户视图，同时提供接近容错机的故障恢复能力。集群系统一般通过两台或多台节点服务器系统通过相应的硬件及软件互连，每个群集节点都是运行其自己进程的独立服务器。这些进程可以彼此通信，对网络客户机来说就像是形成了一个单一系统，协同起来向用户提供应用程序、系统资源和数据。除了作为单一系统提供服务，集群系统还具有恢复服务器级故障的能力。集群系统还可通过在集群中继续增加服务器的方式，从内部增加服务器的处理能力，并通过系统级的冗余提供固有的可靠性和可用性。
服务器集群是什么？优缺点描述！
二、服务器集群优缺点描述
我们知道，集群服务器相对单台服务器或者热备份服务器系统来说，都具有非常明显的优势。同时，它与其他服务器扩展技术相比，也具有较强优势。如与广泛采用的SMP技术相比，集群技术更易于实现，开发周期短，而且造价低，可扩展性远远超过了SMP，在一个集群中可以很轻松地支持256个以上的CPU。
综合起来看，使用服务器集群技术的好处主要有以下几个方面：
1、服务器集群之强扩展能力：
其他扩展技术，通常仅能支几十个CPU的扩展，扩展能力有限，而采用集群技术的集群系统则可以扩展到包括成百上千个CPU的多台服务穗，扩展能力具有明显优势。集群服务还可不断进行调整，以满足不断增长的应用需求。当集群的整体负荷超过集群的实际能力时，还可以添加额外的节点。
2、服务器集群之实现方式容易：
服务器集群技术相对其他扩展技术来说更加容易实现，主要是通过软件进行的。在硬件上可以把多台性能较低、价格便宜的服务器，通过集群服务集中连接在一起即可实现整个服务器系统成倍，甚至几十几百倍地增长。无论是从软硬件构成成本上来看，还是从技术实现成本上来看，都较其他扩展方式更低。
3、服务器集群之高可用性：
使用集群服务拥有整个集群系统资源的所有权，如磁盘驱动器和IP地址将自动地从有故障的服务器上转移到可用的服务器上。当集群中的系统或应用程序出现故障时，集群软件将在可用的服务器上重启失效的应用程序，或将失效节点上的工作分配到剩余的节点上。在切换过程中，用户只是觉得服务暂时停顿了一下。
4、服务器集群之易管理性：
可使用集群管理器来管理集群系统的所有服务器资源和应用程序，就像它们都运行在同一个服务器上一样。可以通过拖放集群对象，在集群里的不同服务器间移动应用程序，也可以通过同样的方式移动数据，还可以通过这种方式来手工地平衡服务器负荷、卸载服务器，从而方便地进行维护。同时，还可以从网络的任意地方的节点和资源处，监视集群的状态。当失效的服务器连回来时，将自动返回工作状态，集群技术将自动在集群中平衡负荷，而不需要人工干预。
服务器集群系统的不足之处在于：
我们知道服务器集群中的应用只在一台服务器上运行，如果这个应用出现故障，其它的某台服务器会重新启动这个应用，接管位于共享磁盘柜上的数据区，进而使应用重新正常运转。不过，整个应用的接管过程大体需要三个步骤：侦测并确认故障、后备服务器重新启动该应用、接管共享的数据区，因此在切换的过程中需要花费一定的时间，原则上根据应用的大小不同切换的时间也会不同，越大的应用切换的时间越长。
“分布式”与“集群”的区别是什么
简单说，分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。
例如：
如果一个任务由10个子任务组成，每个子任务单独执行需1小时，则在一台服务器上执行改任务需10小时。
采用分布式方案，提供10台服务器，每台服务器只负责处理一个子任务，不考虑子任务间的依赖关系，执行完这个任务只需一个小时。(这种工作模式的一个典型代表就是Hadoop的Map/Reduce分布式计算模型）
而采用集群方案，同样提供10台服务器，每台服务器都能独立处理这个任务。假设有10个任务同时到达，10个服务器将同时工作，10小后，10个任务同时完成，这样，整身来看，还是1小时内完成一个任务！
以下是摘抄自网络文章：
一、集群概念
1. 两大关键特性
集群是一组协同工作的服务实体，用以提供比单一服务实体更具扩展性与可用性的服务平台。在客户端看来，一个集群就象是一个服务实体，但事实上集群由一组服务实体组成。与单一服务实体相比较，集群提供了以下两个关键特性：
· 可扩展性－－集群的性能不限于单一的服务实体，新的服务实体可以动态地加入到集群，从而增强集群的性能。
· 高可用性－－集群通过服务实体冗余使客户端免于轻易遇到out of service的警告。在集群中，同样的服务可以由多个服务实体提供。如果一个服务实体失败了，另一个服务实体会接管失败的服务实体。集群提供的从一个出 错的服务实体恢复到另一个服务实体的功能增强了应用的可用性。
2. 两大能力
为了具有可扩展性和高可用性特点，集群的必须具备以下两大能力：
· 负载均衡－－负载均衡能把任务比较均衡地分布到集群环境下的计算和网络资源。
· 错误恢复－－由于某种原因，执行某个任务的资源出现故障，另一服务实体中执行同一任务的资源接着完成任务。这种由于一个实体中的资源不能工作，另一个实体中的资源透明的继续完成任务的过程叫错误恢复。
负载均衡和错误恢复都要求各服务实体中有执行同一任务的资源存在，而且对于同一任务的各个资源来说，执行任务所需的信息视图（信息上下文）必须是一样的。
3. 两大技术
实现集群务必要有以下两大技术：
· 集群地址－－集群由多个服务实体组成，集群客户端通过访问集群的集群地址获取集群内部各服务实体的功能。具有单一集群地址（也叫单一影像）是集群的一个基本特征。维护集群地址的设置被称为负载均衡器。负载均衡器内部负责管理各个服务实体的加入和退出，外部负责集群地址向内部服务实体地址的转换。有的负载均衡器实现真正的负载均衡算法，有的只支持任务的转换。只实现任务转换的负载均衡器适用于支持ACTIVE-STANDBY的集群环境，在那里，集群中只有一个服务实体工作，当正在工作的服务实体发生故障时，负载均衡器把后来的任务转向另外一个服务实体。
· 内部通信－－为了能协同工作、实现负载均衡和错误恢复，集群各实体间必须时常通信，比如负载均衡器对服务实体心跳测试信息、服务实体间任务执行上下文信息的通信。
具有同一个集群地址使得客户端能访问集群提供的计算服务，一个集群地址下隐藏了各个服务实体的内部地址，使得客户要求的计算服务能在各个服务实体之间分布。内部通信是集群能正常运转的基础，它使得集群具有均衡负载和错误恢复的能力。
二、集群分类
Linux集群主要分成三大类(高可用集群， 负载均衡集群，科学计算集群)
高可用集群(High Availability Cluster)
负载均衡集群(Load Balance Cluster)
科学计算集群(High Performance Computing Cluster)
具体包括：
Linux High Availability 高可用集群
(普通两节点双机热备，多节点HA集群，RAC, shared, share-nothing集群等)
Linux Load Balance 负载均衡集群
(LVS等….)
Linux High Performance Computing 高性能科学计算集群
(Beowulf 类集群….)
三、详细介绍
1. 高可用集群(High Availability Cluster)
常见的就是2个节点做成的HA集群，有很多通俗的不科学的名称，比如“双机热备“，“双机互备“，“双机“。
高可用集群解决的是保障用户的应用程序持续对外提供服务的能力。 (请注意高可用集群既不是用来保护业务数据的，保护的是用户的业务程序对外不间断提供服务，把因软件/硬件/人为造成的故障对业务的影响降低到最小程度)。
2. 负载均衡集群(Load Balance Cluster)
负载均衡系统：集群中所有的节点都处于活动状态，它们分摊系统的工作负载。一般Web服务器集群、数据库集群和应用服务器集群都属于这种类型。
负载均衡集群一般用于相应网络请求的网页服务器，数据库服务器。这种集群可以在接到请求时，检查接受请求较少，不繁忙的服务器，并把请求转到这些服务器上。从检查其他服务器状态这一点上看，负载均衡和容错集群很接近，不同之处是数量上更多。
3. 科学计算集群(High Performance Computing Cluster)
高性能计算(High Perfermance Computing)集群，简称HPC集群。这类集群致力于提供单个计算机所不能提供的强大的计算能力。
3.1 高性能计算分类
3.1.1 高吞吐计算(High-throughput Computing)
有一类高性能计算，可以把它分成若干可以并行的子任务，而且各个子任务彼此间没有什么关联。象在家搜寻外星人（ SETI@HOME — Search for Extraterrestrial Intelligence at Home ）就是这一类型应用。这一项目是利用Internet上的闲置的计算资源来搜寻外星人。SETI项目的服务器将一组数据和数据模式发给Internet上参加SETI的计算节点，计算节点在给定的数据上用给定的模式进行搜索，然后将搜索的结果发给服务器。服务器负责将从各个计算节点返回的数据汇集成完整的 数据。因为这种类型应用的一个共同特征是在海量数据上搜索某些模式，所以把这类计算称为高吞吐计算。所谓的Internet计算都属于这一类。按照 Flynn的分类，高吞吐计算属于SIMD（Single Instruction/Multiple Data）的范畴。
3.1.2 分布计算(Distributed Computing)
另一类计算刚好和高吞吐计算相反，它们虽然可以给分成若干并行的子任务，但是子任务间联系很紧密，需要大量的数据交换。按照Flynn的分类，分布式的高性能计算属于MIMD（Multiple Instruction/Multiple Data）的范畴。
四、分布式（集群）与集群的联系与区别
分布式是指将不同的业务分布在不同的地方；而集群指的是将几台服务器集中在一起，实现同一业务。
分布式中的每一个节点，都可以做集群。 而集群并不一定就是分布式的。
举例：就比如新浪网，访问的人多了，他可以做一个群集，前面放一个响应服务器，后面几台服务器完成同一业务，如果有业务访问的时候，响应服务器看哪台服务器的负载不是很重，就将给哪一台去完成。
而分布式，从窄意上理解，也跟集群差不多， 但是它的组织比较松散，不像集群，有一个组织性，一台服务器垮了，其它的服务器可以顶上来。
分布式的每一个节点，都完成不同的业务，一个节点垮了，那这个业务就不可访问了。
分布式与集群的区别是什么
性质不同：分布式是不同的业务模块部署在不同的服务器上或者同一个业务模块分拆多个子业务，部署在不同的服务器上，解决高并发的问题。集群是同一个业务部署在多台机器上，提高系统可用性。
集群一般被分为三种类型，高可用集群如RHCS、LifeKeeper等，负载均衡集群如LVS等、高性能运算集群;分布式应该是高性能运算集群范畴内。
集群的使用环境
服务器常见特性：服务器集群在运行计算时，温度较高，但声音小，对办公区域环境影响较小。当一组集群因节点多方便置放，需放置机柜。
在服务器里面2U4路机器与需要IB交换机的集群，噪音偏大，不建议放在办公环境内，服务器集群建议使用环境：恒温、恒湿、独立的空间放置。
什么是Linux集群
集群通信系统是一种计算机系统，
它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。简单地说，集群(cluster)就是一组计算机，它们作为一个整体向用户提供一组网络资源。这些单个的计算机系统就是集群的节点(node)。一个理想的集群，用户是不会意识到集群系统底层的节点的。在他们看来，集群是一个系统，而非多个计算机系统。并且集群系统的管理员可以随意增加和删改集群系统的节点。
集群已不是一个全新的概念，早在七十年代计算机厂商和研究机构就对集群系统进行了研究和开发。这些系统不为大家熟知，是因为它主要用于科学工程计算。直到Linux集群的出现，集群的概念才得以广泛传播。集群系统主要分为高可用(High
Availability)集群，简称HA集群，和高性能计算(High Perfermance Computing)集群，简称HPC集群。
在Linux出现前，集群系统采用的操作系统主要有VMS、UNIX和WindowsNT。到九十年代末期，linux操作系统不断走向成熟，它的健壮性不断增强，并且提供了GNU软件和标准化的PVM、MPI消息传递机制，最重要的是Linux在普通PC机上提供了对高性能网络的支持，这样就大大推动了基于Linux的集群系统的普及和发展。
集群发展是什么意思
集群发展是产业集中在一起发展。
产业集群亦称“产业簇群”、“竞争性集群”、“波特集群”。某一行业内的竞争性企业以及与这些企业互动关联的合作企业、专业化供应商、服务供应商、相关产业厂商和相关机构(如大学、科研机构、制定标准的机构、产业公会等）聚集在某特定地域的现象。
如信息技术企业和相关厂商、相关机构等在美国硅谷的聚集。美国波特1990年在《国家竞争优势》一书中提出并详加论述。有助于相互竞争的企业提高竞争力，对特定产业的发展和国家竞争力的增强有重要作用。
产业集群的核心是在一定空间范围内产业的高集中度，这有利于降低企业的制度成本（包括生产成本、交换成本），提高规模经济效益和范围经济效益，提高产业和企业的市场竞争力。
从产业集群的微观层次分析，即从单个企业或产业组织的角度分析，企业通过纵向一体化，可以用费用较低的企业内交易替代费用较高的市场交易，达到降低交易成本的目的：通过纵向一体化，可以增强企业 生产和销售的稳定性。
通过纵向一体化行为，可以在生产成本、原材料供应、产品销售渠道和价格等方面形成一定的竞争优势，提高企业进入壁垒；通过纵向一体化，可以提高企业对市场信息的灵敏度；通过纵向一体化，可以使企业进入高新技术产业和高利润产业等。
集群名词解释
集群通信系统是一种用于集团调度指挥通信的移动通信系统，主要应用在专业移动通信领域。该系统具有的可用信道可为系统的全体用户共用，具有自动选择信道功能，它是共享资源、分担费用、共用信道设备及服务的多用途、高效能的无线调度通信系统。
集群通信的最大特点是话音通信采用PTT(Push To Talk)，以一按即通的方式接续，被叫无需摘机即可接听，且接续速度较快，并能支持群组呼叫等功能，它的运作方式以单工、半双工为主，主要采用信道动态分配方式，并且用户具有不同的优先等级和特殊功能，通信时可以一呼百应。
追溯到它的产生，集群的概念确实是从有线电话通信中的“中继”概念而来。1908年，E．C．Mo1ina发表的“中继”曲线的概念等级，证明了一群用户的若干中继线路的概率可以大大提高中继线的利用率。“集群”这一概念应用于无线电通信系统，把信道视为中继。“集群”的概念，还可从另一角度来认识，即与机电式(纵横制式)交换机类比，把有线的中继视为无线信道，把交换机的标志器视为集群系统的控制器，当中继为全利用度时，就可认为是集群的信道。集群系统控制器能把有限的信道动态地、自动地最佳分配给系统的所有用户，这实际上就是信道全利用度或我们经常使用的术语“信道共用”。
发展历程
集群
集群
中国在1989年开始引进模拟集群系统，1990年投入使用。随着数字通信技术的发展， 集群通信系统也开始向第二代的数字技术发展，最主要的特点是采用了TDMA(时分多址)和CDMA(码分多址)通信方式。但是，中国的集群通信应用主要还停留在模拟技术水平，数字集群的应用较少。同时，由于各集群使用企业为了满足其各自不同的使用要求，采用了独立建设集群通信网络的方案，所以众多企业的集群网络在网间互联互通性、频率资源使用、整体建设等方面存在诸多问题。此外，国外通信巨头通过控制核心技术并设置专利等知识产权保护壁垒，使得内部接口基本不公开，技术开放性很差，系统和终端设备市场价格居高不下，也制约了中国数字集群的产业化进程和规模应用。针对中国数字集群产业发展的“尴尬”情况，信息产业部牵头制定了中国集群技术的发展规划，并在新的《电信管理条例》中第一次将数字集群纳入基本电信业务范畴，同时组织国内六大电信运营商在国内开展800兆数字集群商用实验。从运营商的实验情况来看，有中国卫通在济南、南京及天津开展了中兴基于CDMA技术体制的GoTa共网商用实验，中国铁通在沈阳、长春、重庆开展了中兴基于CDMA技术体制的GoTa和华为基于GSM技术体制的GT800两种技术体制的数字集群共网商用实验。从近几年的商用实验情况来看并不理想，在运营成本、市场需求、运营模式、有关标准的成
搭建hadoop集群，常用配置文件是什么，以及配置哪些属性
一. 简介
参考了网上许多教程，最终把hadoop在ubuntu14.04中安装配置成功。下面就把详细的安装步骤叙述一下。我所使用的环境：两台ubuntu 14.04 64位的台式机，hadoop选择2.7.1版本。（前边主要介绍单机版的配置，集群版是在单机版的基础上，主要是配置文件有所不同，后边会有详细说明）
二. 准备工作
2.1 创建用户
创建用户，并为其添加root权限，经过亲自验证下面这种方法比较好。
1 sudo adduser hadoop2 sudo vim /etc/sudoers3 # 修改内容如下：4 root ALL = (ALL)ALL5 hadoop ALL = (ALL)ALL
给hadoop用户创建目录，并添加到sudo用户组中，命令如下：
1 sudo chown hadoop /home/hadoop2 # 添加到sudo用户组3 sudo adduser hadoop sudo
最后注销当前用户，使用新创建的hadoop用户登陆。
2.2 安装ssh服务
ubuntu中默认是没有装ssh server的（只有ssh client），所以先运行以下命令安装openssh-server。安装过程轻松加愉快～
sudo apt-get install ssh openssh-server
2.3 配置ssh无密码登陆
直接上代码：执行完下边的代码就可以直接登陆了（可以运行ssh localhost进行验证）
1 cd ~/.ssh # 如果找不到这个文件夹，先执行一下 “ssh localhost“2 ssh-keygen -t rsa3 cp id_rsa.pub authorized_keys
注意：
这里实现的是无密登陆自己，只适用与hadoop单机环境。如果配置Hadoop集群设置Master与Slave的SSH无密登陆可
三. 安装过程
3.1 下载hadoop安装包
有两种下载方式：
1. 直接去官网下载：
2. 使用wget命令下载：
3.2 配置hadoop
1. 解压下载的hadoop安装包，并修改配置文件。我的解压目录是（/home/hadoop/hadoop-2.7.1），即进入/home/hadoop/文件夹下执行下面的解压缩命令。
tar -zxvf hadoop-2.7.1.tar.gz
2. 修改配置文件：（hadoop2.7.1/etc/hadoop/）目录下，hadoop-env.sh，core-site.xml，mapred-site.xml.template，hdfs-site.xml。
(1). core-site.xml 配置：其中的hadoop.tmp.dir的路径可以根据自己的习惯进行设置。
《configuration》《property》《name》hadoop.tmp.dir《/name》《value》file:/home/hadoop/hadoop/tmp《/value》《description》Abase for other temporary directories.《/description》《/property》《property》《name》fs.defaultFS《/name》《value》hdfs://localhost:9000《/value》《/property》《/configuration》
(2). mapred-site.xml.template配置:
《configuration》《property》《name》mapred.job.tracker《/name》《value》localhost:9001《/value》《/property》《/configuration》
(3). hdfs-site.xml配置: 其中dfs.namenode.name.dir和dfs.datanode.data.dir的路径可以自由设置，最好在hadoop.tmp.dir的目录下面。
注意：如果运行Hadoop的时候发现找不到jdk，可以直接将jdk的路径放置在hadoop-env.sh里面，具体如下：
export JAVA_HOME=“/opt/java_file/jdk1.7.0_79“，即安装java时的路径。
《configuration》《property》《name》dfs.replication《/name》《value》1《/value》《/property》《property》《name》dfs.namenode.name.dir《/name》《value》file:/home/hadoop/hadoop/tmp/dfs/name《/value》《/property》《property》《name》dfs.datanode.data.dir《/name》《value》file:/home/hadoop/hadoop/tmp/dfs/data《/value》《/property》《/configuration》
配置完成后运行hadoop。
四. 运行hadoop
4.1 初始化HDFS系统
在hadop2.7.1目录下执行命令：
bin/hdfs namenode -format
出现如下结果说明初始化成功。
4.2 开启 NameNode 和 DataNode 守护进程
在hadop2.7.1目录下执行命令：
sbin/start-dfs.sh
成功的截图如下：
4.3 使用jps命令查看进程信息：
若出现如图所示结果，则说明DataNode和NameNode都已经开启。
4.4 查看web界面
在浏览器中输入
很大的集群里某台机器出错或者宕机，如何快速定位到这
推荐两种：
1.jvm监控，本地一个守护进程，连接本地所有java进程，获取jvm信息，上报给你的监控中心，可以获取cpu，内存，gc、线程数、cpu使用等信息，这个能判断jvm信息
2.做一个公共的框架，提供方法调用频率汇报或者自己心跳汇报，这个是业务层次的心跳，是相对更准确的
一般大的集群，都离不开这两种监控