精华内容
下载资源
问答
  • Kafka 配置外网访问

    2020-07-21 08:51:07
    Kafka 有的时候会跨机房接收消息,本地开发机也需要向远程服务器发一些消息,默认是不支持外连的,所以需要配置一下远程访问。 Kafka 服务器 host 修改 查看 hostname,查看内网 IP 并记录 cat /etc/hostname vm172-...

    Kafka 有的时候会跨机房接收消息,本地开发机也需要向远程服务器发一些消息,默认是不支持外连的,所以需要配置一下远程访问。
    Kafka 服务器 host 修改
    查看 hostname,查看内网 IP 并记录
    cat /etc/hostname
    vm172-31-110-6.ksc.com
    ifconfig
    编辑 host 文件
    vim /etc/hosts
    #添加在文件底部#
    172.31.110.6 vm172-31-110-6.ksc.com
    Kafka 配置文件修改
    修改 server.properties 配置文件,具体目录视情况而定。
    vim /opt/kafka_2.12-2.2.0/config/server.properties
    #修改 listeners #
    listeners=PLAINTEXT://vm172-31-110-6.ksc.com:9092
    需要留意一下 advertised.listeners 要注释掉,listeners 才会有效。
    修改 zookeeper.connect 配置,如果 Zookeeper 和 Kafka 不在同一台机器,请配置 Zookeeper 地址。
    zookeeper.connect=vm172-31-110-6.ksc.com:2181
    客户端 host 配置
    在客户端机器修改 host 文件映射到远程外网 IP,内网的 consumer 机器请配置内网 IP 映射。

    展开全文
  • spring的cloud之kafka配置

    2019-09-13 01:58:49
    Kafka配置 在上面的例子中,由于Kafka、ZooKeeper均运行于本地,所以我们没有在测试程序中通过配置信息来指定Kafka和ZooKeeper的配置信息,就完成了本地消息总线的试验。但是我们实际应用中,Kafka和ZooKeeper一般...

    Kafka配置

    在上面的例子中,由于Kafka、ZooKeeper均运行于本地,所以我们没有在测试程序中通过配置信息来指定Kafka和ZooKeeper的配置信息,就完成了本地消息总线的试验。但是我们实际应用中,Kafka和ZooKeeper一般都会独立部署,所以在应用中都需要来为Kafka和ZooKeeper配置一些连接信息等。Kafka的整合与RabbitMQ不同,在Spring Boot 1.3.7中并没有直接提供的Starter模块,而是采用了Spring Cloud Stream的Kafka模块,所以对于Kafka的配置均采用了spring.cloud.stream.kafka的前缀,比如:

    属性名 说明 默认值
    spring.cloud.stream.kafka.binder.brokers Kafka的服务端列表 localhost
    spring.cloud.stream.kafka.binder.defaultBrokerPort Kafka服务端的默认端口,当brokers属性中没有配置端口信息时,就会使用这个默认端口 9092
    spring.cloud.stream.kafka.binder.zkNodes Kafka服务端连接的ZooKeeper节点列表 localhost
    spring.cloud.stream.kafka.binder.defaultZkPort ZooKeeper节点的默认端口,当zkNodes属性中没有配置端口信息时,就会使用这个默认端口 2181

    转载于:https://my.oschina.net/u/2266730/blog/790613

    展开全文
  • 更改 本地 host 配置kafka服务器地址

    千次阅读 2020-04-23 17:52:58
    1.打开ubantu, ls vim /etc/hosts image.png 2.添加 对应的kafka服务器地址:如图 image.png 在py程序中配置调用: image.png
        

    1.打开ubantu,
    ls
    vim /etc/hosts


    16627003-761cb0e1f5d391ad.png
    image.png

    2.添加 对应的kafka服务器地址:如图

    16627003-8b254e20e73aaf3a.png
    image.png
    1. 在py程序中配置调用:


      16627003-3add7d0f4c2c5b7a.png
      image.png
    展开全文
  • Mac 本地kafka操作笔记

    2020-12-17 17:27:04
    一、背景 1.1 安装系统 Mac Mojave 10.14.6 1.2 安装方式 brew install kafka 1.3 安装依赖 zookeeper,会默认安装 ...1.4 配置文件位置 /usr/local/etc/kafka/zookeeper.properties /usr/local/etc/kafka/server.pr

    一、背景

    1.1 安装系统

    • Mac Mojave 10.14.6

    1.2 安装方式

    brew install kafka
    

    1.3 安装依赖

    zookeeper,会默认安装

    1.3 安装位置

    • zookeeper: /usr/local/Cellar/zookeeper/
    • kafka: /usr/local/Cellar/kafka/

    1.4 配置文件位置

    /usr/local/etc/kafka/zookeeper.properties
    /usr/local/etc/kafka/server.properties
    

    1.5 配置文件包含重要属性

    dataDir 存储路径,默认 /usr/local/var/lib/zookeeper

    二、操作

    2.1 启动zookeeper

    zookeeper-server-start /usr/local/etc/kafka/zookeeper.properties 
    

    2.2 启动kafka

    kafka-server-start /usr/local/etc/kafka/server.properties 
    

    2.3 停止zookeeper

    zookeeper-server-stop
    

    2.4 停止kafka

    kafka-server-stop
    

    如果zookeeper先停了会听不了,需要强制杀进程

    ps -ef | grep kafka  // 如下图找进程号
    kill -9 56790
    

    在这里插入图片描述

    2.4 创建Topic

    kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test1
    

    2.5 查看创建的topic

    kafka-topics --list --zookeeper localhost:2181
    

    2.6 生产数据

    kafka-console-producer --broker-list localhost:9092 --topic test1
    

    2.7 消费数据

    kafka-console-consumer --bootstrap-server 127.0.0.1:9092 --topic test1 --from-beginning
    

    备注:–from-beginning 将从第一个消息还是接收

    展开全文
  • Kafka配置示例

    2014-06-23 20:28:46
    一、kafka消息系统是一个高吞吐分布式高性能的消息系统,支持在线实时消息处理,他可持久化消息到本地磁盘(有生命周期)支持离线消息处理,随着集群负载的增加可横向扩展机器来实现集群扩容,通过zookeeper来实现...
  • 然后docker exec -it进入kafka容器可以运行以下kafka命令 # 新建Topic bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-topic 查看已存在Topic列表 bin...
  • springboot升级的kafka配置修改

    千次阅读 2020-01-08 22:05:43
    一、问题回顾 为了配合krpc的升级,需要升级项目的springboot...将本地kafka监听的topic修改成没有的: 再次启动: 成功造出一样的报错信息! 三、原因分析 这个错误的原因是:消费监听接口监听的主题不存在时,默...
  • kafka配置的血坑之路

    2019-01-15 16:39:08
    原因为:kafka会获取本地的IP地址 注册在zookeeper上,所以无法连接,需要换成主机IP,如果是外网的话就用外网IP,内网做集群的话用内网IP kafka/conf/server.properties 文件中最后一行增加以下配置,根据版本不同 ...
  • 总结各种可能的解决方案:...2.康老师改了部分配置: cd /usr/local/kafka/config   vim zookeeper.properties 修改: dataDir=/usr/local/kafka/data   vim server.properties 修改: log.dirs=/usr/loc...
  • 前提 所有命令操作的前提是已进入kafka的bin\window子目录 创建Topic .\kafka-topics.bat --zookeeper localhost:2181--create --topicdelivery--...端口号跟zookeeper配置的一致; delivery为自定义的Top...
  • 本地搭建kafka

    2020-06-19 15:13:00
    相应的配置文件 让我们来到bin目录,先从启动zookeeper开始。 启动kafka Broker:kafka集群的服务器被称为Broker Topic:逻辑层面类似于RabbitMQ的Queue队列,是必须的。可能在多个服务器上(Broker),也...
  • 请检查配置" <p><strong>Bug 重现步骤 1. 测试docker端口 <pre><code> docker exec ms-server nc -zv kafka 19092 kafka (172.22.0.3:19092) open docker exec ms-server nc -zv docker.for.mac.host.internal ...
  • 本地虚拟机redhat7安装kafka教程第二步----kafka的安装与配置因工作需求,要从kafka中读取数据,今天鼓捣了一天,做个记录1、下载Kafka版本 本次下载的是kafka_2.10-0.10.1.1.tgz版本,可以使用wget下载,来个五选...
  • CleanerConfig numThreads: Int = 1 清理线程的个数,每个线程调用 cleanerManager.grabFilthiestLog()返回的最该清理的topicAndPartition的LogToClean对象,之后开始清理工作 dedupeBufferSize: ...dedupeBuf
  • 四、在java中运行程序调用(借用网上的一段代码) 在idea上引入相应的maven地址 org.apache.kafka kafka_2.12 1.1.1 1、配置文件 /** * @author HuangZheng * @Date 2019/9/20 9:49 */ public class KafkaProperties...
  • kafka下载安装配置

    2020-07-07 20:49:03
    本地安装配置(单机模式) 伪分布式模式 真分布式模式 安装过程遇到问题及解决办法 一、官网下载 官网地址:http://kafka.apache.org/ 下载非src版(src版为源码) 二、安装配置 本地安装配置(单机...
  • 安装配置kafka

    2019-11-06 16:40:14
    安装配置kafka 1.首先在Linux本地,新建/data/kafka1目录,用于存放实验所需文件。 mkdir -p /data/kafka1 将安装包下载到该目录下 2.安装Scala。 切换到/data/kafka1目录下,将Scala安装包scala-2.10.4.tgz解压到/...
  • Windows 下本地运行 Kafka

    千次阅读 2018-11-21 22:41:43
    本地运行 kafka,运行生产消费实例。 Kafka 是一个分布式发布-订阅消息系统。Zookeeper 是一个高性能分布式应用协调服务。 他们之间的关系 参考 环境安装 1. 安装 Zookeeper 参考配置地址 注意 环境变量 配置配置...
  • kafka 清理策略配置

    2020-07-02 17:29:21
    然后在本地搭建了kafka集群,各种配置策略全部尝试了一下,最终确定要达到清理效果,如下几个配置必须有: ##保留时间 log.retention.hours=72 ##日志滚动的周期时间,到达指定周期时间时,强制生成一个新的...
  • 环境准备当前环境:centos7.3一台软件版本:kafka_2.12部署目录:/usr/local/kafka启动端口:9092配置文件:/usr/local/kafka/config/server.propertiesyum依赖yum install java-1.8.0-openjdk需要部署zookeeper单点...
  • 本地配置JAVA环境 <二> kafka源码安装 1 解压源码 tar zxvfkafka_2.11-2.0.1.tgz 2 配置文件解析 kafka需要安装zookee使用,但kafka集成zookeeper,在单机搭建时可直接使用。使用需配置kafka_2.11-...
  • kafka本地安装方法

    2020-10-27 13:56:23
    一、本地安装Kafka 1、 下载 kafka_2.13-2.5.1.tgz 文件 (带src是源码 如:kafka-2.5.1-src.tgz ,不能安装) 2、解压文件,进入目录,创建 logs文件夹。 进入config目录,打开 server.properties 文件: 注释 #...
  • 有助于了解Zookeeper(配置)与Kafka Broker之间的通信。 要求 码头工人 Python 3.8以上 Python诗歌(测试所需) 我的 (可选) 发起 make run-kafka make install make test-produce make test-consume 预期的...
  • # 切换至kafka配置文件目录cd /opt/soft/kafka/config # 修改配置文件server.properties(消费者配置)vi server.properties # 若是集群则需要修改 broker.id=0 # 允许kafka可以删除topic delete.to
  • kafka windows 下配置

    2018-08-16 21:38:36
    注意:请确保本地Java环境变量配置成功 1.安装Zookeeper  Kafka的运行依赖于Zookeeper,所以在运行Kafka之前我们需要安装并运行Zookeeper  1.1 下载安装文件: http://mirror.bit.edu.cn/apache/zookeeper/  ...
  • windos下kafka环境配置

    2020-07-30 10:45:58
    一、配置本地java环境需要安装jdk,具体配置网上查找; 1、添加系统环境变量 2、添加classpath环境变量 3、path中引用 4、cmd中测试环境配置情况 二、下载zookeeper_3.5.8,修改配置; 打开...
  • 本博文介绍如何一步步搭建起Kafka本地环境。 下载Kafka 0.9.0.0并配置软链接  下载好后,放入电脑本地安装目录,mac下我放在/usr/local下,解压Kafka。 tar -xzf kafka_2.11-0.9.0.0.tgz  然后建立一个...
  • 安装kafka $ brew install kafka (1) 安装过程将依赖安装 zookeeper (2) 软件位置 /usr/local/Cellar/zookeeper ...(3) 配置文件位置 /usr/local/etc/kafka/zookeeper.properties /usr/local/etc/kafka...
  • 这里的配置主要就是adserver.lisennerts这个配置,plan协议啥的一定要写成公网ip地址就可以了

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 421
精华内容 168
关键字:

本地kafka配置