张贴在 2024

• Docker部署airflow

  Wednesday, May 08, 2024 在 BigData

  docker部署airflow 系统: CentOS7 airflow版本: 2.9.1 docker版本: 18.09.0 docker-compose版本: 2.27 数据库: MySQL8.0.37 参考文档: docker部署airflow2.9.1 部署要求 系统需要有4G以上内存 docker-compose版本需要在v2.14.0以上 部署 下载docker-compose.yaml curl -LfO …

  更多

张贴在 2023

• Kafka常用命令

  Tuesday, October 10, 2023 在 BigData

  Tags:

  • kafka

  Kafka常用命令 启动Kafka # 启动Zookeeper bin/zkServer.sh start # 启动Kafka nohup bin/kafka-server-start.sh config/server.properties & 创建Topic # Kafka3以下 # 必须是--Zookeeper, --broker-list 或者 --bootstrap-server是不行的 bin/kafka-topics.sh --create --zookeeper …

  更多

• Hadoop3单机部署

  Tuesday, October 03, 2023 在 BigData

  Tags:

  • Hadoop

  Hadoop3单机伪部署 适用于Linux所有版本包括: CentOS, Ubuntu, Deepin, Manjaro Hadoop版本: 3.3.4 java8是必须的 所有Hadoop的jar都是利用java8的运行时版本进行编译的 多个服务的默认端口号改变 Hadoop多个端口号已经变了，下面列出主要的: 名称 Hadoop2端口 Hadoop3端口 NameNode 8020 9820 NameNode HTTP UI 50070 9870 DataNode 50010 9866 …

  更多

• Centos安装Zookeeper

  Tuesday, June 06, 2023 在 BigData

  Tags:

  • Zookeeper

  Centos安装Zookeeper Zookeeper版本: 3.7.1 配置Java环境 yum install java-11-openjdk yum install java-11-openjdk-devel yum install java-11-openjdk-headless vim /etc/profile # 把Java添加到环境变量 export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-11.0.10.0.9-1.el7_9.x86_64 …

  更多