ceph4 rook-ceph external cluster 사용 시 rook-ceph-mgr-external 생성 실패시 환경: - rook-ceph (rook v1.10.3) - external cluster 로 ceph 연동 이런 상황에서 아래와 같은 오류가 발생한다면 op-mon: failed to check mon health. failed to configure external metrics endpoint: failed to create or update mgr endpoint: failed to create endpoint "rook-ceph-mgr-external". Endpoints "rook-ceph-mgr-external" is invalid: subsets\[0\].ports\[0\].port: Invalid value: 0: must be between 1 and 65535, inclusive Cep.. 2023. 11. 22. [rook-ceph] external cluster 사용 시 attempt to determine ceph version for the current cluster image timed out 오류 external cluster로 설정하고 CephCluster 에 대한 health 는 성공적인데, 이후 CephBlockPool 생성 시 아래와 같은 오류가 발생하였다. E | ceph-block-pool-controller: failed to reconcile. failed to fetch ceph version from cephcluster "...": attempt to determine ceph version for the current cluster image timed out ceph version 을 가져오지 못한 것으로 보이는데... monitoring을 활성화해야 이를 해결할 수 있었다. 그런데 단순히 활성화 만으로는 안되구... 버그인지 모르겠는데 rolebinding도 해 주어야 한.. 2022. 1. 11. ceph mon_dns_srv_name 작성방법 github.com/ceph/ceph/blob/703524119a118108156f984370c8f70ef23cdcf3/src/mon/MonMap.cc init_with_dns_srv 함수 참고 ceph.conf에서 [global] mon_dns_srv_name = msgr1_mon.rook-ceph.svc.cluster.local auth_client_required = cephx auth_cluster_required = cephx auth_service_required = cephx [client.admin] keyring = ... 이런식으로 이상한.. 법칙이 있다. 위처럼 하면 실제로는 _msgr1._tcp.rook-ceph.svc.cluster.local 이름으로 SRV Record를 찾는다... 2020. 11. 19. k8s 특정 노드에서 schedule 하지 않게 하기 지난 번 rook-ceph 사용시 XFS파일시스템을 사용하면서 osd가 있는 볼륨에서 rbd를 사용하면 Kernel에서 Hang이 걸리는 문제가 있었다. 따라서 storage전용 node에서는 Scheduling을 막아야 한다. 이는 taint 으로 가능하다. $ kubectl label nodes node-type.cluster.label/ceph-storage=true $ kubectl taint nodes node-type.cluster.label/ceph-storage=true:PreferNoSchedule # CephCluster 에서 아래 내용을 꼭 추가해줘야 한다! placement: osd: tolerations: - key: node-type.cluster.label/ceph-storag.. 2020. 6. 4. 이전 1 다음 반응형