SpringBoot와 Kafka 연동 간의 SASL을 사용한 암호화 적용하기
·
SpringBoot
최근에 카프카에 SASL 인증 방식을 적용한 상태여서기존 스프링부트와 카프카 간의 연동에 더해서 스프링부트에 SASL 인증과 관련된 추가적인 설정이 필요하다.이번에는 해당 설정들에 대해서 기록을 해보고자 한다.https://kjungw1025.tistory.com/27 Docker compose로 올린 Kafka에 ACL, SASL/PLAIN 인증 설정하기들어가며 기본적으로 카프카는 어느 누구나 클러스터에 접근하여 메시지를 생성하거나 읽을 수 있다. 이로인해 보안이 적용되지 않은 상태에서는 데이터의 무단 액세스와 무단 조작이 가능하kjungw1025.tistory.com  참고로 스프링부트와 카프카 연동하는 방법으로는 application.yml에 간단하게 관련 설정을 하는 방법과직접 ProducerFa..
Docker compose로 올린 Kafka에 ACL, SASL/PLAIN 인증 설정하기
·
Apache Kafka/보안
들어가며기본적으로 카프카는 어느 누구나 클러스터에 접근하여 메시지를 생성하거나 읽을 수 있다.이로인해 보안이 적용되지 않은 상태에서는 데이터의 무단 액세스와 무단 조작이 가능하므로, 중요한 정보를 다루는 시스템에서는 보안을 강화하는 것이 중요하다. 그러므로 카프카에 누가 요청을 보내고, 그 요청자의 권한에 따라서 요청 범위를 제한하는카프카 인증, 인가에 대해서 알아보고 직접 적용해보고자 한다.   개념 카프카 인증카프카에서 인증을 처리하는 방식으로 SSL 방식과 SASL 방식으로, 크게 두 가지 방식이 존재한다.SSL : 인증서를 활용한 인증 방식데이터를 암호화하고 통신 채널을 안전하게 유지하여 중간에서의 데이터 탈취나 변조를 방지한다.SASL : SASL 프로토콜을 이용한 인증 방식클라이언트가 카프카 ..
Kafka Jsonserializer/JsonDeserializer 한글 처리 오류
·
Apache Kafka/오류 해결
문제 현재 스프링부트에서 STOMP를 활용한 채팅방을 구현하는 도중에 아래 오류를 해결한 후에 또 다른 오류를 직면하게 되었다. https://kjungw1025.tistory.com/24 SpringBoot와 Kafka 연동 시 발생한 ErrorHandlingDeserializer 관련 오류 문제 스프링부트에서 STOMP를 활용한 채팅방을 구현하기 위해 기존 In memory broker 방식에서 External broker 중 하나인 Kafka를 통해 아래 형태의 메시지를 전달하려는데, @Getter @NoArgsConstructor @ToString publi kjungw1025.tistory.com KafkaTemplate 부분을 보다시피 채팅방 메시지를 전달하기 위해서 value 값을 Messa..
SpringBoot와 Kafka 연동 시 발생한 ErrorHandlingDeserializer 관련 오류
·
Apache Kafka/오류 해결
문제스프링부트에서 STOMP를 활용한 채팅방을 구현하기 위해기존 In memory broker 방식에서 External broker 중 하나인 Kafka를 통해 아래 형태의 메시지를 전달하려는데, @Getter@NoArgsConstructor@ToStringpublic class Message { @NotNull private MessageType type; private String roomId; @NotNull private String sender; @NotNull private String message; @Builder private Message(MessageType type, String roomId, ..
SpringBoot와 Docker compose로 pull 받은 Kafka 연동 시 발생한 오류
·
Apache Kafka/오류 해결
문제 1현재 카프카의 경우, AWS LightSail 서버에 Docker로 올려둔 상황이며,로컬 환경에서의 스프링부트와 연동하고자 하는데 아래와 같은 문제가 발생했다.INFO 33496 --- [ntainer#0-0-C-1] org.apache.kafka.clients.NetworkClient : [Consumer clientId=consumer-chatting-1, groupId=chatting] Node 1001 disconnected.WARN 33496 --- [ntainer#0-0-C-1] org.apache.kafka.clients.NetworkClient : [Consumer clientId=consumer-chatting-1, groupId=chatting] Connection to ..