Java自学者论坛

 找回密码
 立即注册

手机号码,快捷登录

恭喜Java自学者论坛(https://www.javazxz.com)已经为数万Java学习者服务超过8年了!积累会员资料超过10000G+
成为本站VIP会员,下载本站10000G+会员资源,会员资料板块,购买链接:点击进入购买VIP会员

JAVA高级面试进阶训练营视频教程

Java架构师系统进阶VIP课程

分布式高可用全栈开发微服务教程Go语言视频零基础入门到精通Java架构师3期(课件+源码)
Java开发全终端实战租房项目视频教程SpringBoot2.X入门到高级使用教程大数据培训第六期全套视频教程深度学习(CNN RNN GAN)算法原理Java亿级流量电商系统视频教程
互联网架构师视频教程年薪50万Spark2.0从入门到精通年薪50万!人工智能学习路线教程年薪50万大数据入门到精通学习路线年薪50万机器学习入门到精通教程
仿小米商城类app和小程序视频教程深度学习数据分析基础到实战最新黑马javaEE2.1就业课程从 0到JVM实战高手教程MySQL入门到精通教程
查看: 862|回复: 0

1.5.1、CDH 搭建Hadoop在安装之前(定制安装解决方案---使用内部包裹存储库)

[复制链接]
  • TA的每日心情
    奋斗
    2024-4-6 11:05
  • 签到天数: 748 天

    [LV.9]以坛为家II

    2034

    主题

    2092

    帖子

    70万

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

    积分
    705612
    发表于 2021-6-29 06:07:06 | 显示全部楼层 |阅读模式

    使用内部包裹存储库

    您可以通过托管内部存储库或手动将存储库文件复制到Cloudera Manager主机来为Cloudera Manager创建parcel存储库。

    托管内部包裹存储库

    要托管内部存储库,必须在Cloudera Manager主机可访问的内部主机上安装或使用现有Web服务器,然后将存储库文件下载到Web服务器主机。

    安装Web服务器

    存储库通常使用网络内主机上的HTTP进行托管。如果组织中已有Web服务器,则可以跳过下载和发布Parcel存储库

    要安装的简单Web服务器是Apache HTTP Server。

    安装Apache HTTP Server

    您可能需要响应某些提示以确认您要完成安装。
    OS Command
    RHEL compatible sudo yum install httpd
    SLES sudo zypper install httpd
    Ubuntu sudo apt-get install httpd

    启动Apache HTTPD

    OS Command
    RHEL compatible sudo service httpd start
    SLES sudo service apache2 start
    Ubuntu
    sudo service apache2 start
     
    下载和发布Parcel存储库
    下载包裹和 manifest.json  您的操作系统分发的文件来自:
    • CDH 5: Impala,Kudu,Spark 1和Search包含在CDH包裹中。
      • CDH - https://archive.cloudera.com/cdh5/parcels/
      • Accumulo - - https://archive.cloudera.com/accumulo-c5/parcels/
      • GPL附加功能 - https://archive.cloudera.com/gplextras5/parcels/
    • 用于CDH 5的Apache Spark 2的Cloudera发行版:
      • 确切的宗地名称取决于操作系统。你可以找到所有的包裹https://archive.cloudera.com/spark2/parcels/
    • Cloudera Navigator密钥受托服务器:
      • 转到Key Trustee Server 下载页面从“ 包裹”或“包裹”下拉菜单中选择“ 地块”,然后单击“立即下载”这将下载Key Trustee Server parcel和manifest.json 一个文件 名为.tar.gz文件。使用提取文件tar xvfz filename .tar.gz 命令。
    • Cloudera Navigator Key Trustee KMS和HSM KMS :( Cloudera Navigator HSM KMS包含在Key Trustee KMS包裹中)。
      • 转到Key Trustee KMS 下载页面从“ 包裹”或“包裹”下拉菜单中选择“ 地块”,然后单击“立即下载”这将下载Key Trustee KMS parcels和的manifest.json 一个文件.tar.gz文件。使用提取文件tar xvfz filename .tar.gz 命令。
    • Sqoop连接器:
      • https://archive.cloudera.com/sqoop-connectors/parcels/
    1. 移动 .parcel,  .sha1 manifest.json文件到Web服务器目录,并修改文件权限。例如:
      sudo mkdir -p /var/www/html/cloudera-parcels/cdh5/ <cdh5_version>/
      sudo mv *.parcel* /var/www/html/cloudera-parcels/cdh5/ <cdh5_version>/
      sudo mv manifest.json /var/www/html/cloudera-parcels/cdh5/
      sudo chmod -R ugo+rX /var/www/html/cloudera-parcels/cdh5/ <cdh5_version>/
      用您的CDH版本 替换<cdh5_version>(例如,5.14.0)。移动文件并更改权限后,请访问http:// <web_server> / cloudera-parcels/cdh5/<cdh5_version>验证您是否可以访问包裹。如果您没有看到任何内容,则您的Web服务器可能已配置为不显示索引。

    配置Cloudera Manager Server以使用托管存储库的宗地URL

    1. 使用以下方法之一打开宗地设置页面:
      • 导航栏
        1. 单击顶部导航栏或单击“ 主机”,然后单击“ 地块”选项卡。
        2. 单击“ 配置”按钮。
      • 菜单
        1. 选择管理 > 设置
        2. 选择类别 > 包裹
    2. 在“ 远程包裹存储库URL”列表中,单击添加符号以打开另一行。
    3. 输入宗地的路径。例如:http:// <web_server> / cdh5 / <cdh5_version>
    4. 单击“ 保存更改”以提交更改。

    使用本地包裹存储库

    要使用本地parcel存储库,请完成以下步骤:
    1. 打开Cloudera Manager Web UI并导航到Parcels页面。
    2. 选择“ 配置”并验证是否已设置“ 本地包裹存储库”路径。默认情况下,目录是 /选择/ Cloudera的/包裹回购
    3. 删除您未使用的任何远程包裹存储库URL,包括指向Cloudera存档的URL
    4. 将要使用的parcel添加到指定的本地parcel存储库目录中。
    5. 在命令行中,导航到本地parcel存储库目录。
    6. 为您添加的parcel创建SHA1哈希,并将其保存到名为的文件中 <parcel_name> .parcel.sha1
      例如,以下命令为parcel生成SHA1哈希  CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel
      sha1sum CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel | awk'{print $ 1}'> CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha1
    7. 将宗地和哈希文件的所有权更改为 Cloudera的供应链管理
      sudo chown cloudera-scm:cloudera-scm * .parcel。*
    8. 在Cloudera Manager Web UI中,导航到Parcels页面。
    9. 单击“ 检查新包裹”
    10. 出现新宗地时,下载,分发和激活宗地。
    哎...今天够累的,签到来了1...
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    QQ|手机版|小黑屋|Java自学者论坛 ( 声明:本站文章及资料整理自互联网,用于Java自学者交流学习使用,对资料版权不负任何法律责任,若有侵权请及时联系客服屏蔽删除 )

    GMT+8, 2024-5-1 05:16 , Processed in 0.066139 second(s), 29 queries .

    Powered by Discuz! X3.4

    Copyright © 2001-2021, Tencent Cloud.

    快速回复 返回顶部 返回列表