所在位置:主页 > 数据处理 > Hadoop有哪些优缺点?

Hadoop有哪些优缺点?

发布时间:2023-12-05 19:09来源:www.sf1369.com作者:宇宇

Hadoop有哪些优缺点?

一、HDFS缺点:

1、不能做到低延迟:由于hadoop针对高数据吞吐量做了优化,牺牲了获取数据的延迟,所以对于低延迟数据访问,不适合hadoop,对于低延迟的访问需求,HBase是更好的选择,

2、不适合大量的小文件存储:由于namenode将文件系统的元数据存储在内存中,因此该文件系统所能存储的文件总数受限于namenode的内存容量,根据经验,每个文件、目录和数据块的存储信息大约占150字节。

3、不适合多用户写入文件,修改文件:Hadoop2.0虽然支持文件的追加功能,但是还是不建议对HDFS上的 文件进行修改,因为效率低。

4、对于上传到HDFS上的文件,不支持修改文件,HDFS适合一次写入,多次读取的场景。

5、HDFS不支持多用户同时执行写操作,即同一时间,只能有一个用户执行写操作。

二、HDFS优点:

1、高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。

2、高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。

3、高效性。Hadoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。

4、高容错性。Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配。

5、低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比,hadoop是开源的,项目的软件成本因此会大大降低。

6、Hadoop带有用Java语言编写的框架,因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写,比如 C++。

一、 Hadoop 特点

1、支持超大文件:一般来说,HDFS存储的文件可以支持TB和PB级别的数据。

2、检测和快速应对硬件故障:在集群环境中,硬件故障是常见性问题。因为有上千台服务器连在一起,故障率高,因此故障检测和自动恢复hdfs文件系统的一个设计目标芹氏。

3、流式数据访问:HDFS的数据处理规模比较大,应用一次需要大量的数据,同时这些应用一般都是批量处理,而不是用户交互式处理,应用程序能以流的形式访问数据库。

4、简化的一致性模型:对于外部使用用户,不需要了解hadoop底层细节,比如文件的切块,文件的存储,节点的管理。

5、高容错性:数据自动保存多个副本,副本丢失后自动恢复。可构建在廉价机上,实现线性(横向)扩展,当集群增加新节点之后,namenode也可以感知,将数据分发和备份到相应的节点上。

6、商用硬件:Hadoop并不需要和野运行在昂贵且高可靠的硬件上,它是设计运行在商用硬件的集群上的,因此至少对于庞唤首喊大的集群来说,节点故障的几率还是非常高的。HDFS遇到上述故障时,被设计成能够继续运行且不让用户察觉到明显的中断。

水利水电注册工程师基础考试考哪些内容

注册土木工程师(水利水电工程)基础考试大纲

一、高等数学

1.1 空间解析几何

向量代数 直线 平面 柱面 旋转曲面 二次曲面 空间曲线

1.2 微分学

极限 连续 导数 微分 偏导数 全微分 导数与微分的应用

1.3 积分学

不定积分 定积分 广义积分 二重积分 三重积分 平面曲线积分 积分应用

1.4 无穷级数

数项级数 幂级数 泰勒级数 傅里叶级数

1.5 常微分方程

可分离变量方程 一阶线性方程 可降阶方程 常系数线性方程

1.6 概率与数理统计

随机事件与概率 古典概型 一维随机变量的分布和数字特征 数理统计 参数估计 检验 方差分析 一元回归分并模析

1.7 向量分析

1.8 线性代数

行列式 矩阵 n维向量 线性方程组 矩阵的特征值与特征向量二次型

二、普通物理

2.1 热学

气体状态参量 平衡态 理想气体状态方程 理想气体的压力和温度的统计解释 能量按自由度均分原理 理想气体内能 平均碰撞次数和平均自由程 麦克斯韦速率分布律 功 热量 内能 热力学第一定律及其对理想气体等值过程和绝热过程的应用 气体的摩尔热容 循环过程 热机效率 热力学第二定律及其统计意义 可逆过程和不可逆过程 熵

2.2 波动学

机械波的产生和传播 简谐波表达式 波的能量 驻波 声速 超声波 次声波 多普勒效应

2.3 光学

相干光的获得 杨氏双缝干涉 光程 薄膜干涉 迈克尔干涉仪 惠更斯一菲涅耳原理 单缝衍射 光学仪器分辨本领 x射线衍射 自然光和偏振光 布儒斯特定律 马吕斯定律 双折射现象 偏振光的干涉 人工双折射及应用

三、普通化学

3.1 物质结构与物质状态

原子核外电晌蔽正子分布 原子、离子的电子结构式 原子轨道和电子云 离子键特征共价键特征及类型 分子结构式 杂化轨道及分子空间构型 极性分子与非极性分子 分子间力与氢键 分压定律及计算 液体蒸气压 沸点 汽化热 晶体类型与物质性质的关系

3.2 溶液

溶液的浓度及计算 非电解质稀溶液通性及计算 渗透压 电解质溶液的电离平衡 电离常数及计算 同离子效应和缓冲溶液 水的离子积及pH值 盐类水解平衡及溶液的酸碱性 多相离子平衡 溶度积常数 溶解度计算

3.3 周期表

周期表结构 周期 族 原子结构与周期表关系 元素性质 氧化物及其水化物的酸碱性递变规律

3.4 化学反应方程式 化学反应速率与化学平衡

化学反应方程式写法及计算 反应热 热化学反应方程式写法宴悔

化学反应速率表示方法 浓度、温度对反应速率的影响 速率常数与反应级数 活化能及催化剂

化学平衡特征及平衡常数表达式 化学平衡移动原理及计算 压力熵与化学反应方向判断

3.5 氧化还原与电化学

氧化剂与还原剂 氧化还原反应方程式写法及配平 原电池组成及符号 电极反应与电池反应 标准电极电势 能斯特方程及电极电势的应用 电解与金属腐蚀

3.6 有机化学

有机物特点、分类及命名 官能团及分子结构式

有机物的重要化学反应:加成 取代 消去 氧化 加聚与缩聚

典型有机物的分子式、性质及用途:甲烷 乙炔 苯 甲苯 乙醇 酚乙醛 乙酸 乙酯 乙胺 苯胺 聚氯乙烯 聚乙烯 聚丙烯酸 酯类 工程塑料(ABS) 橡胶 尼龙66

四、理论力学

4.1 静力学

平衡 刚体 力 约束 静力学公理 受力分析 力对点之矩 力对轴之矩 力偶理论 力系的简化 主矢 主矩 力系的平衡 物体系统(含平面静定桁架)的平衡 滑动摩擦 摩擦角 自锁 考虑滑动摩擦时物体系统的平衡 重心

4.2 运动学

点的运动方程 轨迹 速度和加速度 刚体的平动 刚体的定轴转动 转动方程 角速度和角加速度 刚体内任一点的速度和加速度

4.3 动力学

动力学基本定律 质点运动微分方程 动量 冲量 动量定理 动量守恒的条件 质心 质心运动定理 质心运动守恒的条件 动量矩 动量矩定理 动量矩守恒的条件 刚体的定轴转动微分方程 转动惯量 回转半径 转动惯量的平行轴定理 功 动能 势能 动能定理 机械能守恒 惯性力 刚体惯性力系的简化 达朗伯原理 单自由度系统线性振动的微分方程 振动周期 频率和振幅 约束 自由度 广义坐标 虚位移 理想约束 虚位移原理

五、材料力学

5.1 轴力和轴力图 拉、压杆横截面和斜截面上的应力 强度条件 虎克定律和位移计算 应变能计算

5.2 剪切和挤压的实用计算 剪切虎克定律 切(剪)应力互等定理

5.3 外力偶矩的计算 扭矩和扭矩图 圆轴扭转切(剪)应力及强度条件 扭转角计算及刚度条件 扭转应变能计算

5.4 静矩和形心 惯性矩和惯性积 平行移轴公式 形心主惯性矩

5.5 梁的内力方程 切(剪)力图和弯矩图 分布载荷、剪力、弯矩之间的微分关系 正应力强度条件 切(剪)应力强度条件 梁的合理截面 弯曲中心概念 求梁变形的积分法 叠加法和卡氏第二定理

5.6 平面应力状态分析的数值解法和图解法 一点应力状态的主应力和最大切(剪)应力 广义虎克定律 四个常用的强度理论

5.7 斜弯曲 偏心压缩(或拉伸) 拉—弯或压—弯组合 扭—弯组合

5.8 细长压杆的临界力公式 欧拉公式的适用范围 临界应力总图和经验公式 压杆的稳定校

六、流体力学

6.1 流体的主要物理性质

6.2 流体静力学

流体静压强

重力作用下静水压强的分布规律 总压力的计算

6.3 流体动力学基础

以流场为对象描述流动

流体运动的总流分析 恒定总流连续性方程、能量方程和动量方程

6.4 流动阻力和水头损失

实际流体的两种流态—层流和紊流

圆管中层流运动、紊流运动的特征

沿程水头损失和局部水头损失

边界层附面层基本概念和绕流阻力

6.5 孔口、管嘴出流 有压管道恒定流

6.6 明渠恒定均匀流

6.7 渗流定律 井和集水廊道

6.8 相似原理和量纲分析

6.9 流体运动参数(流速、流量、压强)的测量

七、计算机应用技术

7.1 计算机应用技术

硬件的组成及功能 软件的组成及功能 数制转换

7.2 Windows操作系统

基本知识、系统启动 有关目录、文件、磁盘及其它操作 网络功能

注:以Windows 98为基础

7.3 计算机程序设计语言

程序结构与基本规定 数据 变量 数组 指针 赋值语句 输入输出的语句 转移语句 条件语句 选择语句 循环语句 函数 子程序(或称过程) 顺序文件 随机文件

注:鉴于目前情况,暂采用FORTRAN语言

八、电工电子技术

8.1 电场与磁场

库仑定律 高斯定理 环路定律 电磁感应定律

8.2 直流电路

电路基本元件 欧姆定律 基尔霍夫定律 叠加原理 戴维南定理

8.3 正弦交流电路

正弦量三要素 有效值 复阻抗 单相和三相电路计算 功率及功率因数 串联与并联谐振 安全用电常识

8.4 RC和RL电路暂态过程

三要素分析法

8.5 变压器与电动机

变压器的电压、电流和阻抗变换 三相异步电动机的使用

常用继电—接触器控制电路

8.6 二极管及整流、滤波、稳压电路

8.7 三极管及单管放大电路

8.8 运算放大器

理想运放组成的比例 加、减和积分运算电路

8.9 门电路和触发器

基本门电路 RS、D、JK触发器

九、工程经济

9.1 现金流量构成与资金等值计算

现金流量 投资 资产 固定资产折旧 成本 经营成本 销售收入 利润 工程项目投资涉及的主要税种 资金等值计算的常用公式及应用 复利系数表的用法

9.2 投资经济效果评价方法和参数

净现值 内部收益率 净年值 费用现值 费用年值 差额内部收益率 投资回收期 基准折现率 备选方案的类型 寿命相等方案与寿命不等方案的比选

9.3 不确定性分析

盈亏平衡分析 盈亏平衡点 固定成本 变动成本 单因素敏感性分析 敏感因素

9.4 投资项目的财务评价

工业投资项目可行性研究的基本内容

投资项目财务评价的目标与工作内容 赢利能力分析 资金筹措的主要方式 资金成本 债务偿还的主要方式 基础财务报表 全投资经济效果与自有资金经济效果 全投资现金流量表与自有资金现金流量表 财务效果计算 偿债能力分析 改扩建和技术改造投资项目财务评价的特点(相对新建项目)

9.5 价值工程

价值工程的内容与实施步骤 功能分析

十、水力学

10.1 水静力学

静水压强 绝对压强 相对压强 真空及真空度 作用于物体上的静水总压力

10.2 液体运动的一元流分析法

恒定流与非恒定流 迹线与流线 流管 过水断面 流量 断面平均流速 恒定一元流连续性方程 能量方程式 渐变流 急变流

10.3 层流、紊流及其水头损失

湿周 水力半径 均匀流 非均匀流 沿程水头损失 达西公式 层流 紊流 雷诺数 谢才公式 局部水头损失

10.4 有压管中恒定均匀流计算

基本公式 串联管道 并联管道 分叉管道 沿程均匀泄流管道

10.5 明渠恒定均匀流计算

基本公式 明渠均匀流 粗糙度不同的明渠 复式断面明渠

10.6 明渠恒定非均匀流

缓流 临界流 急流 弗汝德数 临界水深 临界底坡 棱柱体明渠渐变流水面曲线分析及计算 水跃 水跃方程 共轭水深及水跃长度计算

10.7 堰流及闸孔出流的水力计算

计算公式 薄壁堰 实用堰 宽顶堰 闸孔出流

10.8 泄水建筑物下游的水力衔接与消能

底流式消能 挑流式消能 面流式消能 消力戽式消能

10.9 隧洞的水力计算

水流状态及判断 有压隧洞 无压隧洞

10.10 渗流

达西定律 渗透系数 恒定均匀渗流与非均匀渗流 恒定渐变渗流的浸润曲线形式及计算

10.11 高速水流

脉动压力 气蚀 掺气 冲击波

10.12 水工模型试验基础

力学相似: 几何相似 运动相似 动力相似

相似准则: 重力相似准则 阻力相似准则 动水压力相似准则

十一、岩土力学

11.1 土的组成和物理性质三项指标

土的三项组成和三项指标 土的矿物组成和颗粒级配 土的结构

黏性土的界限含水量 塑性指数 液性指数

砂土的相对密实度 土的最佳含水量和最大干密度

土的工程分类

11.2 土中应力分布及计算

土的自重应力 基础地面压力 基底附加压力 土中附加应力

11.3 土的压缩性与地基沉降

压缩试验 压缩曲线 压缩系数 压缩指数 回弹指数 压缩模量 载荷试验

变形模量 高压固结试验 土的应力历史 先期固结压力 超固结比

正常固结土 超固结土 欠固结土

沉降计算的弹性理论法 分层总合法 有效应力原理 一维固结理论 固结系数 固结度

11.4 土的抗剪强度

土中一点的应力状态 库仑定律 土的极限平衡条件 内摩擦角 黏聚力

直剪试验及其适用条件 三轴试验 总应力法 有效应力法

11.5 特殊性土

软土 黄土 膨胀土 红粘土 盐渍土 冻土 填土 可液化土

11.6 土压力

静止土压力 主动土压力 被动土压力

朗肯土压力理论 库仑土压力理论

11.7 边坡稳定分析

土坡滑动失稳的机理 均质土坡的稳定分析 土坡稳定分析的条分法

11.8 地基承载力

地基破坏的过程 地基破坏型式

临塑荷载和临界荷载 地基极限承载力 斯肯普敦公式 太沙基公式 汉森公式

11.9 岩石的物理性质

岩石的破坏机理与强度 岩石的变形 岩体的工程分类 围岩稳定性 岩坡稳定性分析

十二、结构力学

12.1 平面体系的几何组成

几何不变体系的组成规律及其应用

12.2 静定结构受力分析与特性

静定结构受力分析方法 反力 内力的计算与内力图的绘制 静定结构特性及其应用

12.3 静定结构位移

广义力与广义位移 虚功原理 单位荷载法 荷载下静定结构的位移计算 图乘法 支座位移和温度变化引起的位移 互等定理及其应用

12.4 超静定结构受力分析及特征

超静定次数 力法基本体系 力法方程及其意义 等截面直杆刚度方程 位移法基本未知量、基本体系、基本方程及其意义 等截面直杆的转动刚度 力矩分配系数与传递系数 单结点的力矩分配 对称性利用 超静定结构位移 超静定结构特性

12.5 影响线极其应用

静力法做影响线 机动法做影响线 连续梁的影响线 影响线的应用

12.6 结构动力特性与动力反应

单自由度体系 自振周期 频率 振幅与最大动内力 阻尼对振动的影响

十三、钢筋混凝土结构

13.1 材料性能

钢筋 混凝土

13.2 设计原则

结构功能 极限状态及其设计表达式 可靠度

13.3 承载能力极限状态计算

受弯构件 受扭构件 受压构件 受拉构件 冲切 局压 疲劳

13.4 正常使用极限状态验算

抗裂 裂缝 挠度

13.5 预应力混凝土

轴拉构件 受弯构件

13.6 肋形结构及刚架结构

整体式单向板肋形结构 双向板肋形结构 刚架结构 牛腿 柱下基础

13.7 抗震设计

一般规定 构造要求

十四、工程测量

14.1 测量工作特点

形状和大小 地面点位的确定 测量工作基本概念

14.2 水准测量

水准测量原理 水准仪的构造 使用和检验校正 水准测量方法及成果整理

14.3 角度测量

经纬仪的构造 使用和检验校正 水平角观测 垂直角观测

14.4 距离测量

卷尺量距 视距测量 光电测距

14.5 测量误差

测量误差分类与特性 评定精度的标准 观测值的精度评定 误差传播定律

14.6 控制测量

平面控制网的定位与定向 导线测量 交会定点 高程控制测量

14.7 地形图测绘

地形图基本知识 地物平面图测绘 等高线地形图测绘

14.8 地形图应用

地形图应用的基本技术 工程设计中的地形图应用 规划设计中的地形图应用

14.9 工程测量

工程控制测量 施工放样测量 安装测量 建筑物变形观测

14.10 3S技术

RS的基本技术及数字图象 GIS 的基本要求 GPS的基本要求及定位技术 3S技术在水利工程中的应用

十五、建筑材料

15.1 材料科学与物质结构

材料的组成:化学组成 矿物组成及其对材料性质的影响

材料的微观机构及其对材料性质的影响:原子结构 离子键 金属键 共价键

晶体与无定型体(玻璃体)

材料的宏观机构及其对材料性质的影响

15.2 建筑材料的性质

密度 表观密度与堆积密度 孔隙与孔隙率

15.3 建筑材料的工程特征

材料的力学性能 亲水性与憎水性 吸水性与吸湿性 耐水性 抗水性 抗冻性 导热性与变形性 脆性与韧性

15.4 无机胶凝材料

气硬性胶凝材料 石膏和石灰技术性质与应用

15.5 水硬性胶凝材料

水泥的组成 水化与凝结硬化机理 性能与应用

15.6 混凝土

原材料技术要求 拌合物的和易性及影响因素 强度性能与变形性能 耐久性 抗渗性 抗冻性 碱-骨料反应 混凝土外加计与配合比设计

15.7 建筑钢材

组成、组织与性能的关系 加工处理及其对钢材性能的影响 建筑钢材和种类与选用

15.8 土工合成材料

常见土工合成材料的特性及工程应用

十六、工程水文学基础

16.1 水文循环与径流形成

水文循环与水量平衡 河流与流域 降水 土壤水、下渗与地下水 径流

16.2 水文测验

水位观测 流量测验 泥沙测验与计算 水文调查 水文数据处理

16.3 流域产、汇流

降雨径流要素 产流计算 汇流计算

16.4 设计洪水

水文频率分析 样本分析 相关分析 设计洪水计算

16.5 设计年径流

频率分析 时程分配

勘察设计注册土木工程师(水利水电工程)

资格考试基础考试分科题量、时间、分数分配说明