Spring Cloud 적용기

(hystrix, turbine, eureka, config)

이창용 / Maps

Architecture

장애

장애

  • 실시간버스에 장애발생
  • 대중교통 길찾기시 버스에 대한 실시간정보를 담아야하므로 길찾기 응답지연
  • 대중교통 API에 요청이 쌓여 대중교통 API로 장애 전파

장애극복

  • 실시간버스의 장애 원인 해결
  • 실시간버스에 장애가 발생하더라도 대중교통 API 서버는 길찾기에 영향을 받지않게

Netflix Hystrix

Netflix Hystrix

  • Hystrix가 annotation이나 AOP를 사용하지 않은 이유
  • https://github.com/Netflix/Hystrix/wiki/FAQ%20:%20General#can-annotations-be-used
  • annotation 기반의 설정을 이용할수 있는 javanica 모듈 사용
  • https://github.com/Netflix/Hystrix/tree/master/hystrix-contrib/hystrix-javanica
  • spring-boot-starter-netflix-hystrix에 다 있음

spring-boot-starter-hystrix,

spring-boot-starter-netflix-hystrix

  • Spring boot starter 사용시 2개의 의존성
  • spring-boot 2 에선 netflix-hystrix 사용
  • deprecated, please use spring-cloud-starter-netflix-hystrix

Netflix Hystrix

Netflix Hystrix

  • 메서드에서 예외가 발생할 시 지정한 fallback 메서드 호출
  • 한가지 유의할 점은 기존 메서드와 시그니처가 동일해야 함 (접근제어자는 상관없음. private 이어도 됨.)

 

execution.isolation.thread.timeoutInMilliseconds

hystrix 가 설정된 메서드의 타임아웃

 

circuitBreaker.requestVolumeThreshold

circuitbreaker가 열릴 최소 요청수 조건

Netflix Hystrix

circuitBreaker.sleepWindowInMilliseconds

circuitbreaker가 열렸을때 지속 시간

 

coreSize

hystrix가 사용할 thread pool 사이즈

 

"10초 동안 30번 이상의 요청이 있었고, 오류율이 50% 이상이면 1분간 서킷브레이커를 열겠다"

유의할점

  • Isolation (Thread / Semaphore)

넷플릭스 문서에서는 굳이 Semaphore 를 사용하겠다면 비네트워크 환경에서 사용하라고함, Thread를 권장

 

  • ThreadPool

넷플릭스 문서에서는 기본값 (10) 권장. 별생각없이 기본값 썼다가 낭패. 넷플릭스 문서에 coreSize 를 구하는 공식이 있긴하지만 성능테스트를 돌려보며 점진적으로 늘린 값을 사용

모니터링

  • HystrixDashBoard 의존성을 추가하면 actuator를 통해 hystrix 모니터링 가능 (Actuator 역시 의존하고있어야함)

모니터링

  • HystrixDashboard는 하나의 인스턴스에 대한 모니터링만을 보여줌
  • 대중교통 API 는 현재 10대 서버를 사용중이므로 각각의 상태를 보기위해선 한대씩 확인해야함
  • 전면장애가 발생했을때 1대 정도만 샘플링으로 모니터링해도 충분하다고 판단

이후

  • 실시간버스에 장애가 발생했을때도 대중교통 API는 버텨내며 길찾기에는 장애가 발생하지않음
  • 전면장애에서 부분장애로...

Turbine

  • Hystrix 를 클러스터링하여 모니터링할 수 있도록 해주는 라이브러리
  • 인스턴스 클러스터 정보는 Eureka 를 이용하여 파악하므로 eureka 서버를 구성해야함
  • turbine 1.x 버전은 eureka 없이 할수있고, 2.x 버전부터 eureka가 필수라고하는데 다른애들 다 2.x 버전 사용하는데 turbine만 1.x 쓰고싶지않아서 eureka를 사용하는쪽으로 진행

Eureka

  • turbine 만을 위한 구성이라 최소한으로 구성함
  • org.springframework.cloud:spring-cloud-starter-netflix-eureka-server 의존성만 추가해주면 됨

Eureka

  • Eureka 서버는 곧 Eureka 클라이언트이기때문에 이에 대한 설정만 해주면 끝
  • defaultZone은 꼭 카멜로 적어주어야함!!!
  • 서버가 자기자신이기때문에 localhost 로 적음

Turbine

  • Turbine 의존성 추가해주고 @EnableTurbine 애노테이션만 달아주면 됨
  • Eureka 클라이언트 의존성 추가하고 클라이언트임을 알리는 @EnableDiscoveryClient 애노테이션 추가

Turbine

  • appConfig 에는 application name을 넣어주면 됨 (spring.application.name)
  • Eureka 클라이언트이므로 eureka 서버 정보를 넣어줌

Hystrix-client

  • Hystrix client 들은 eureka client 설정만 해주면 됨

Eureka

  • Eureka 서버로 접속하면 이런 페이지가 반겨줌
  • Hystrix client 들인 대중교통 API는 pubtrans, turbine 서버는 pubtrans-turbine

Cluster 모니터링

  • Hosts가 복수개인걸 볼 수 있음

Spring Cloud Config

  • 엔진의 AB 테스트 필요성 대두
  • 2가지 버전의 길찾기 엔진이 구동되고, 사용자별로 다른 엔진을 보여주도록 설정
  • AB의 비율을 즉각적으로 변경하기위해 잦은 설정 변경이 필요했음

Spring Cloud Config

  • git repository에 설정파일을 올려두고, config server가 git repository의 설정을 읽어 각 client들에게 제공하는 방식

Spring Cloud Config Server

  • config 서버는 git repository에 대한 정보만 설정해주면 끝

Spring Cloud Config Client

  • application.yml 이 아니라 bootstrap.yml에 config 서버에 대한 설정을 해야함
  • client가 구동될때 server를 호출해서 config를 얻고, 이후에는 로컬에 캐시해놓고 사용

Refresh

  • 설정을 변경해야하는 경우 git repository에 올라가있는 설정을 변경
  • config server는 별도로 건드릴것 없이 갱신됨
  • config client는 actuator를 이용해 갱신 요청을 해야 갱신됨
  • curl -X POST pubtrans.map.naver.com/actuator/refresh
  • 갱신이 필요한 항목에 대해 @RefreshScope 애노테이션이 달려있어야함

Refresh

  • HikariCP를 사용하고있는경우 refresh 할때 쌩뚱맞게 여기서 에러가 발생
  • HikariCP도 refresh 가능하게 만들어줘야함(@RefreshScope 추가)

느낀점

  • 정말 별다른 코드없는 서버 애플리케이션들이 많아진다.
  • 이게 클라우드, MSA 감성?
  • 최대한 애플리케이션을 적게 만들려고하다보니 오히려 삽질을 훨씬 많이 하게된 경향이 있다.
  • 처음에 turbine을 별도 서버로 안빼고 대중교통 API 서버에 적용하려했는데 spring-restdocs test에서 에러가 발생해서 그냥 별도 서버로 뺐음.
  • 유레카 서버 설정할때 defaultZone은 반드시 카멜로 써야한다.
  • 처음에 AB 테스트 적용할때는 설정만 바꿔서 배포하면 되는데 굳이 이런거(spring cloud config)까지 해야하나 라는 생각이 있었는데 해보니까 신세계. 배포없이 설정을 바꿀수있다는건 엄청나다.
Made with Slides.com