`
superlxw1234
  • 浏览: 543388 次
  • 性别: Icon_minigender_1
  • 来自: 西安
博客专栏
Bd1c0a0c-379a-31a8-a3b1-e6401e2f1523
Hive入门
浏览量:43369
社区版块
存档分类
最新评论

求hadoop集群空间优化策略

 
阅读更多

1.  加机器;

 

2. 减少备份数;

 

3. 压缩存储;

 

4. 删除一些没用的临时文件(目前删了hive失败任务对应的中间文件,不知道还有其他没?)

 

除了上面的,不知道还有其他啥办法!!!

分享到:
评论
1 楼 hugh.wangp 2012-05-04  
还有一个是合并小文件

相关推荐

    Hadoop集群pdf文档

    Hadoop 集群配置详解 Hadoop_Hadoop集群(第1期)_CentOS安装配置 Hadoop_Hadoop集群(第2期)_机器信息分布表 Hadoop_Hadoop集群(第4期)_SecureCRT使用 Hadoop_Hadoop集群(第5期)_Hadoop安装配置 Hadoop_Hadoop...

    Hadoop集群高可用与性能优化

    Hadoop集群高可用与性能优化

    Hadoop集群性能优化技术研究

    Hadoop集群性能优化技术研究Hadoop集群性能优化技术研究

    脚本搭建hadoop集群

    自动化安装hadoop集群 脚本搭建hadoop集群 可以自定义主机名和IP地址 可以自定义安装jdk和hadoop(格式为*tar.gz) 注意事项 1、安装完jdk和hadoop请手动source /etc/profile 刷新环境变量 2测试脚本环境为centOS6,...

    Hadoop集群与安全

    手把手教你配置高效的Hadoop集群,充分利用Hadoop平台的优势。2. 为Hadoop生态系统实现强健的端到端的安全保障。

    Hadoop集群程序设计与开发

    《Hadoop集群程序设计与开发(数据科学与大数据技术专业系列规划教材)》系统地介绍了基于Hadoop的大数据处理和系统开发相关技术,包括初识Hadoop、Hadoop基础知识、Hadoop开发环境配置与搭建、Hadoop分布式文件系统、...

    部署全分布模式Hadoop集群 实验报告

    部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。 2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。 3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 ...

    Hadoop集群中影响应用性能的因素分析

    针对Hadoop集群中应用执行的低效率、高成本问题,首先,通过对Hadoop分布式存储技术和并行编程模型的分析,发现数据集采用单文件还是多文件方式,以及数据块划分的...该结论可对Hadoop集群环境下应用效率的优化提供参考.

    Hadoop集群构建实训报告.doc

    Hadoop集群构建实训报告

    hadoop高可用集群搭建及参数优化

    hadoop高可用集群搭建及参数优化hadoop高可用集群搭建及参数优化hadoop高可用集群搭建及参数优化

    hadoop集群信息

    搭建高可用的Hadoop集群,基于NFS共享磁盘的namenode配置,使用zookeeper进行主节点推举

    Hadoop集群(1-11期)

    Hadoop集群·CentOS安装配置(第1期) Hadoop集群·机器信息分布表(第2期) Hadoop集群·VSFTP安装配置(第3期) Hadoop集群·SecureCRT使用(第4期) Hadoop集群·Hadoop安装配置(第5期) Hadoop集群·JDK和SSH无...

    Hadoop集群性能优化技术研究.docx

    Hadoop集群性能优化技术研究.docx

    hadoop 集群部署操作

    Hadoop集群的规划,系统环境准备,配置NTP时间服务器,配置无密钥登录,安装配置JDK,,安装配置zooKeeper集群,安装配置Hadoop集群

    细细品味Hadoop_Hadoop集群(第9期)_MapReduce初级案例

    细细品味Hadoop_Hadoop集群(第9期)_MapReduce初级案例

    Hadoop集群程序设计与开发教材最终代码.zip

    Hadoop集群程序设计与开发教材最终代码.zip

    云计算Hadoop:快速部署Hadoop集群

    资源名称:云计算Hadoop:快速部署Hadoop集群内容简介: 近来云计算越来越热门了,云计算已经被看作IT业的新趋势。云计算可以粗略地定义为使用自己环境之外的某一服务提供的可伸缩计算资源,并按使用量付费。可以...

    hadoop集群搭建步骤

    hadoop集群搭建步骤 集群规划 安装步骤:安装配置zooekeeper集群、安装配置hadoop集群、验证HDFS HA

    Hadoop集群参数的自动调优

    Hadoop集群参数的自动调优,该文档写得比较详细,是个不错的资料

    hadoop集群安装步骤

    hadoop集群安装详细步骤,支持snappy hadoop 集群安装

Global site tag (gtag.js) - Google Analytics