开发前端软件素材源码教程下载网站

全部
网站模板
网页特效
网站源码
素材资源
建站学院
软件工具
mysql mysql 微信 微信 小程序 苹果 dedecms 修真图
当前位置：首页 > 建站学院 > 其他教程 >  Kafka之kafka-topics.sh如何使用

Kafka之kafka-topics.sh如何使用

其他教程   发布日期：2023年08月06日   浏览次数：385次

本文小编为大家详细介绍“Kafka之kafka-topics.sh如何使用”，内容详细，步骤清晰，细节处理妥当，希望这篇“Kafka之kafka-topics.sh如何使用”文章能帮助大家解决疑惑，下面跟着小编的思路慢慢深入，一起来学习新知识吧。

一、kafka的基本操作

1.1、创建topic

  1. sh kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

参数说明：

    1. –create
    是创建主题的的动作指令。

    1. –zookeeper
    指定kafka所连接的zookeeper服务地址。

    1. –replicator-factor
    指定了副本因子（即副本数量）； 表示该topic需要在不同的broker中保存几份，这里设置成1，表示在两个broker中保存两份Partitions分区数。

    1. –partitions
    指定分区个数；多通道，类似车道。

    1. –topic
    指定所要创建主题的名称，比如test。

成功则显示：

  1. Created topic "test".

1.2、查看topic

  1. sh kafka-topics.sh --list --zookeeper localhost:2181

显示：

  1. test

1.3、查看topic属性

  1. sh kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

显示：

  1. Topic:test    PartitionCount:1    ReplicationFactor:1    Configs:
  2.     Topic: test    Partition: 0    Leader: 0    Replicas: 0    Isr: 0

1.4、发送消息

  1. sh kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test

发送端输入：

  1. >hello
  2. >where are you
  3. >let's go

1.5、消费消息

  1. sh kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test
  2. --from-beginning

消费端显示：

  1. hello
  2. where are you
  3. let's go
  4. ^CProcessed a total of 3 messages

二、kafka-topics.sh 使用方式

创建、修改、删除以及查看等功能。

2.1、查看帮助

/bin目录下的每一个脚本工具，都有着众多的参数选项，不可能所有命令都记得住，这些脚本都可以使用 --help 参数来打印列出其所需的参数信息。

  1. $ sh kafka-topics.sh --help
  2. Command must include exactly one action: --list, --describe, --create, --alter or --delete
  3. Option                                   Description                            
  4. ------                                   -----------                            
  5. --alter                                  Alter the number of partitions,        
  6.                                            replica assignment, and/or           
  7.                                            configuration for the topic.         
  8. --config <String: name=value>            A topic configuration override for the 
  9.                                            topic being created or altered.The   
  10.                                            following is a list of valid         
  11.                                            configurations:                      
  12.                                              cleanup.policy                        
  13.                                              compression.type                      
  14.                                              delete.retention.ms                   
  15.                                              file.delete.delay.ms                  
  16.                                              flush.messages                        
  17.                                              flush.ms                              
  18.                                              follower.replication.throttled.       
  19.                                            replicas                             
  20.                                              index.interval.bytes                  
  21.                                              leader.replication.throttled.replicas 
  22.                                              max.message.bytes                     
  23.                                              message.downconversion.enable         
  24.                                              message.format.version                
  25.                                              message.timestamp.difference.max.ms   
  26.                                              message.timestamp.type                
  27.                                              min.cleanable.dirty.ratio             
  28.                                              min.compaction.lag.ms                 
  29.                                              min.insync.replicas                   
  30.                                              preallocate                           
  31.                                              retention.bytes                       
  32.                                              retention.ms                          
  33.                                              segment.bytes                         
  34.                                              segment.index.bytes                   
  35.                                              segment.jitter.ms                     
  36.                                              segment.ms                            
  37.                                              unclean.leader.election.enable        
  38.                                          See the Kafka documentation for full   
  39.                                            details on the topic configs.        
  40. --create                                 Create a new topic.                    
  41. --delete                                 Delete a topic                         
  42. --delete-config <String: name>           A topic configuration override to be   
  43.                                            removed for an existing topic (see   
  44.                                            the list of configurations under the 
  45.                                            --config option).                    
  46. --describe                               List details for the given topics.     
  47. --disable-rack-aware                     Disable rack aware replica assignment  
  48. --force                                  Suppress console prompts               
  49. --help                                   Print usage information.               
  50. --if-exists                              if set when altering or deleting       
  51.                                            topics, the action will only execute 
  52.                                            if the topic exists                  
  53. --if-not-exists                          if set when creating topics, the       
  54.                                            action will only execute if the      
  55.                                            topic does not already exist         
  56. --list                                   List all available topics.             
  57. --partitions <Integer: # of partitions>  The number of partitions for the topic 
  58.                                            being created or altered (WARNING:   
  59.                                            If partitions are increased for a    
  60.                                            topic that has a key, the partition  
  61.                                            logic or ordering of the messages    
  62.                                            will be affected                     
  63. --replica-assignment <String:            A list of manual partition-to-broker   
  64.   broker_id_for_part1_replica1 :           assignments for the topic being      
  65.   broker_id_for_part1_replica2 ,           created or altered.                  
  66.   broker_id_for_part2_replica1 :                                                
  67.   broker_id_for_part2_replica2 , ...>                                           
  68. --replication-factor <Integer:           The replication factor for each        
  69.   replication factor>                      partition in the topic being created.
  70. --topic <String: topic>                  The topic to be create, alter or       
  71.                                            describe. Can also accept a regular  
  72.                                            expression except for --create option
  73. --topics-with-overrides                  if set when describing topics, only    
  74.                                            show topics that have overridden     
  75.                                            configs                              
  76. --unavailable-partitions                 if set when describing topics, only    
  77.                                            show partitions whose leader is not  
  78.                                            available                            
  79. --under-replicated-partitions            if set when describing topics, only    
  80.                                            show under replicated partitions     
  81. --zookeeper <String: hosts>              REQUIRED: The connection string for    
  82.                                            the zookeeper connection in the form 
  83.                                            host:port. Multiple hosts can be     
  84.                                            given to allow fail-over.

2.2、副本数量规则

副本数量不能大于broker的数量。

kafka 创建主题的时候其副本数量不能大于broker的数量，否则创建主题 topic 失败。

  1. sh kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 1 --topic test1

报错：

Error while executing topic command : Replication factor: 2 larger than available brokers: 1.
[2022-11-24 14:08:18,745] ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: Replication factor: 2 larger than available brokers: 1.
(kafka.admin.TopicCommand$)

注意：副本数量和分区数量的区别。

2.3、创建主题

创建主题时候，有3个参数是必填的：

    1. &ndash;partitions
    （分区数量）、

    1. &ndash;topic
    （主题名） 、

    1. &ndash;replication-factor
    （复制系数），

同时还需使用 --create 参数表明本次操作是想要创建一个主题操作。

  1. sh kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test1

返回显示：

  1. Created topic "test1".

另外在创建主题的时候，还可以附加以下两个选项：&ndash;if-not-exists 和 --if-exists . 第一个参数表明仅当该主题不存在时候，创建； 第二个参数表明当修改或删除这个主题时候，仅在该主题存在的时候去执行操作。

2.4、查看broker上所有的主题

&ndash;list。

  1. sh kafka-topics.sh --list --zookeeper localhost:2181

结果显示：

__consumer_offsets
test
test1

2.5、查看指定主题 topic 的详细信息

&ndash;describe。

  1. sh kafka-topics.sh --describe --zookeeper localhost:2181 --topic test1

结果显示：

Topic:test1 PartitionCount:1 ReplicationFactor:1 Configs:
Topic: test1 Partition: 0 Leader: 0 Replicas: 0 Isr: 0

2.6、修改主题信息之增加主题分区数量

&ndash;alter。

  1. sh kafka-topics.sh --zookeeper localhost:2181 --topic test1 --alter --partitions 2

结果显示：

WARNING: If partitions are increased for a topic that has a key, the partition logic or ordering of the messages will be affected
Adding partitions succeeded!

查看主题信息：

  1. sh kafka-topics.sh --describe --zookeeper localhost:2181 --topic test1

可以看到已经成功的将主题的分区数量从1修改为了2。

  1. Topic:test1    PartitionCount:2    ReplicationFactor:1    Configs:
  2.     Topic: test1    Partition: 0    Leader: 0    Replicas: 0    Isr: 0
  3.     Topic: test1    Partition: 1    Leader: 0    Replicas: 0    Isr: 0

当去修改一个不存在的topic信息时（比如修改主题 test2，当前这主题是不存在的）。

  1. sh kafka-topics.sh --zookeeper localhost:2181 --topic test2 --alter --partitions 2

会报错：

Error while executing topic command : Topic test2 does not exist on ZK path localhost:2181
[2022-11-24 14:21:33,564] ERROR java.lang.IllegalArgumentException: Topic test2 does not exist on ZK path localhost:2181
at kafka.admin.TopicCommand$.alterTopic(TopicCommand.scala:123)
at kafka.admin.TopicCommand$.main(TopicCommand.scala:65)
at kafka.admin.TopicCommand.main(TopicCommand.scala)
(kafka.admin.TopicCommand$)

注意：不要使用 --alter 去尝试减少分区的数量，如果非要减少分区的数量，只能删除整个主题 topic， 然后重新创建。

2.7、删除主题

&ndash;delete。

  1. sh kafka-topics.sh --zookeeper localhost:2181 --delete --topic test1

日志信息提示，主题 test1已经被标记删除状态，但是若delete.topic.enable 没有设置为 true ， 则将不会有任何作用。

Topic test1 is marked for deletion.
Note: This will have no impact if delete.topic.enable is not set to true.

可以测试一些：

  1. # 一个终端启动生产者：
  2. sh kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test1
  4. # 另一个终端启动消费者：
  5. sh kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test1--from-beginning

发现此时还是可以发送消息和接收消息。如果要支持能够删除主题的操作，则需要在 /bin 的同级目录 /config目录下的文件server.properties中，修改配置delete.topic.enable=true（如果置为false，则kafka broker 是不允许删除主题的）。

然后就重启kafka：

  1. # 停止：
  2. sh kafka-server-stop.sh -daemon ../config/server.properties
  3. # 启动：
  4. sh kafka-server-start.sh -daemon ../config/server.properties

再次删除就可以了。

  1. sh kafka-topics.sh --zookeeper localhost:2181 --delete --topic test1

以上就是Kafka之kafka-topics.sh如何使用的详细内容，更多关于Kafka之kafka-topics.sh如何使用的资料请关注九品源码其它相关文章！

相关热词： Kafka使用
上一篇：讲一讲如何在一个页面中使用多个百度分享按钮，分享不同的文章
下一篇：Servlet注解之@WebInitParam多个InitParam怎么使用

文章分类

IT资讯 CMS教程 服务器 数据库 前端开发 后端开发 工具使用 其他教程

最后更新

热门排行

网站首页 | 关于我们 | 免责声明 | 网站建设 | 在线工具 | 网站地图

版权声明：本站发布的资源部分自互联网，所有资源版权归原作者所有。如果有侵犯到您的权益，请联系本站删除，谢谢合作！

Copyright 2018-2025 ©19jp.com All Rights Reserved. 陕ICP备16002142号-1