Centos - ELastic api block Error

운영 중인 ELK에서 데이터 수신이 안되는 상황이 발생

elastic, kiban  : api block 오류

logstash        : 데이터 수신은 이상 없음, elastic api 403오류

 

- Error 내용

retrying failed action with response code: 403 ({"type"=>"cluster_block_exception", "reason"=>"blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];

 

 

- 오류 발생원인

Elastic의 indices가 별도의 설정 하지 않고 설치시 /var/ 내부에 기록된다

이때  /dev/mapper/cl-root 용량 사용 초과 되면 elastic index의 사용이 읽기 전용으로 변경되어 새로운 데이터가 수집되지 못하게 되어 오류가 발생된다.

 

- 해결 방법 

1. ELK의 log, data의 기록 위치를 별도의 저장소로 변경

 

2. LVM ROOT 디스크의 /dev/mapper/의 용량 확장

https://blog.naver.com/ncloud24/221487384754

 

3. /dev/mapper/cl-root는 /var/log , /usr 폴더 내의 데이터임으로 불필요 데이터를 삭제함으로서 해결가능

  - /var/log내 nginx, ELK, DBMS, 등의 로그 백업후 삭제 (해당 방법을 사용하여 문제 해결)

 

 

- 필수 설정 

위의 방법으로 원인 해결 후

ElasitcSearch

  index.blocks.read_only_allow_delete": null

옵션을 필수로 수정해주어야한다. 

 

위의 옵션을 수정하지 않을 시 지속적으로 문제 발생