安装部署

单实例直接部署

官网下载链接 http://kafka.apache.org/downloads
浙大源 http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.4.1/kafka_2.13-2.4.1.tgz

开始安装

# java环境
java version
没有就安装：yum install java -y（默认安装1.8版本）

cd /opt
wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.4.1/kafka_2.13-2.4.1.tgz
tar -zxvf kafka_2.13-2.4.1.tgz

# 配置zookeeper用于存储数据
# 使用 kafka 自带的 zookeeper;配置单节点 zookeeper
cd kafka_2.13-2.4.1
mkdir -p zk/data # 创建zookeeper数据存放目录 
mkdir -p zk/logs # 创建zookeeperl存放日志目录 
cd config
mv zookeeper.properties zookeeper.properties.bak

cat > zookeeper.properties << EOF 
tickTime=2000 
# 下面两个目录设置为上面创建的目录；注意如果不是用root启动要注意目录权限
dataDir=/opt/kafka_2.13-2.4.1/zk/data 
dataLogDir=/opt/kafka_2.13-2.4.1/zk/logs 
clientPort=2181 
EOF


# 配置单结点 kafka
cd /opt/kafka_2.13-2.4.1
mkdir logs # 创建logs目录用于存放日志 
cd config
mv server.properties server.properties.bak

cat > server.properties << EOF 
# 节点id
broker.id=1
# "PLAINTEXT"表示协议，可选的值有PLAINTEXT和SSL
# 对外网开放可以改为内网IP，但不能为0.0.0.0无法路由
listeners=PLAINTEXT://127.0.0.1:9092 
num.network.threads=3 
num.io.threads=8 
socket.send.buffer.bytes=102400 
socket.receive.buffer.bytes=102400 
socket.request.max.bytes=104857600 
# 刚刚创建的日志目录，不是root启动注意目录权限
log.dirs=/opt/kafka_2.13-2.4.1/logs 
num.partitions=1 
num.recovery.threads.per.data.dir=1 
offsets.topic.replication.factor=1 
transaction.state.log.replication.factor=1 
transaction.state.log.min.isr=1 
log.retention.hours=168 
log.segment.bytes=1073741824 
log.retention.check.interval.ms=300000 
# zookeeper的地址，如果是集群所有地址全写上用英文逗号隔开
zookeeper.connect=127.0.0.1:2181 
zookeeper.connection.timeout.ms=6000 
group.initial.rebalance.delay.ms=0 
EOF


# 启动和停止（zookeeper必须先启动）
cd /opt/kafka_2.13-2.4.1/bin/
#启动zookeeper，启动后检查2181端口
./zookeeper-server-start.sh -daemon ../config/zookeeper.properties 
#启动kafka；启动后检查9092端口
./kafka-server-start.sh -daemon ../config/server.properties 


# 停止zookeeper 
./zookeeper-server-stop.sh 
# 停止kafka，centos7上可能关不了用kill -9直接杀掉
./kafka-server-stop.sh 


查看是否有zookeeper和kafka进程：
如果提示命令找不到，把jdk/bin下的jps链接到$PATH中的路径即可
jps

如果有必要可以配置一下Supervisord

Docker部署

https://github.com/wurstmeister/kafka-docker