본문 바로가기

개발 및 운영100

[rook-ceph] external cluster 사용 시 attempt to determine ceph version for the current cluster image timed out 오류 external cluster로 설정하고 CephCluster 에 대한 health 는 성공적인데, 이후 CephBlockPool 생성 시 아래와 같은 오류가 발생하였다. E | ceph-block-pool-controller: failed to reconcile. failed to fetch ceph version from cephcluster "...": attempt to determine ceph version for the current cluster image timed out ceph version 을 가져오지 못한 것으로 보이는데... monitoring을 활성화해야 이를 해결할 수 있었다. 그런데 단순히 활성화 만으로는 안되구... 버그인지 모르겠는데 rolebinding도 해 주어야 한.. 2022. 1. 11.
rados gw s3 사용시 metadata 이름에 따른 403 SignatureDoesNotMatch 문제 EXTERNAL ----- nginx-ingress ----- RadosGW S3 Server 위와 같은 구성으로 운영을 하던 중 Nexus 에서 S3 를 사용하는데 npm login 등의 작업이 안되는 일이 발생하였다. 패킷 덤프 떠서 원인을 파악해 보았더니 PutObject 를 할 때 "x-amz-meta-blobstore.temporary-blob" 라는 메타데이터 헤더가 들어가는데 SignedHeaders 에는 x-amz-meta-blobstore.temporary-blob 가 있는데 실제 Header 에는 존재하지 않아서 그런 것이었다. 처음엔 Nexus이나 AWS-SDK 문제인가... 했는데 여기선 저 헤더를 보내는데, 이상하게 rados gw 쪽에서 저 헤더를 받지 않았다. 원인은 nginx.. 2022. 1. 7.
HP서버에서 PCI 패스스루 사용 시 RMRR 오류 수정 https://www.hardwareforever.com/2020/12/06/disable-the-rmrr-error-warning-permanently/ Fix RMRR Error When Using PCI Passthrough for GPU - Hardware Forever Permanent fix for this error on HP Servers When i migrated my Unraid NAS www.hardwareforever.com 참고로 SlotX 에서 슬롯 번호는 lspci -v 명령을 치면 Physical Slot 이라고 나오는 숫자이다. 2022. 1. 6.
AWS VPC Endpoint 쓸 때 요금 폭탄 주의!! 갑자기 엄청난 금액이 빠져나가... 벙쪄서 봤는데...ㅠㅠ 세상에... 이유는 VPC Endpoint 때문이었다.. 근데 아무리 찾아도 VPC Endpoint 에 대한 요금 정보는 나오지 않았다. 근데 웃긴게... AWS Console 에는 VPC Endpoint 라고 나오지만 비용은 AWS PrivateLink 가 적용된 것이다ㅠㅠ 난 몰랐지...ㅠㅠ 또 한 가지.. 4043시간??? 168일?? 난 한 달 밖에 쓴 적이 없는데?? 알고 보니.. VPC Endpoint 인스턴스 하나가 아닌, 서브넷 하나에 대한 가격이었다..ㅠㅠ 아... VPC Endpoint / PrivateLink 고지를 제대로 해야지!!!!!!!!!!!! 2021. 12. 3.
[AWS] VPC 내에서 API Gateway 호출 시 Forbidden 문제의 발단은 VPC에 속한 Lambda에서 Regional API Gateway 에 접근하지 못하는 문제가 발생하였다. 이후 이리 저리 확인하다가 해당 VPC에 있는 EC2 에서도 동일한 문제가 있다는 것을 확인하였다. 분명 API Gateway 를 위한 VPC Endpoint 도 생성하였고, FAQ에 나와있는 것처럼 Private DNS Names 을 활성화하고 기존과 같이 접근하거나, VPCE IP로 Host 헤더나 x-apigw-api-id 헤더를 포함해도 VPC 내부에서 API Gateway 의 모든 요청이 Forbidden 으로 거부되었다. (당연히 API Key 사용은 비활성화 했다.)찬가지였다. Public Network (AWS 밖) 에서는 잘 접속 되는 것이 왜 VPC 내부에서는 접속되.. 2021. 11. 17.
AWS Lambda 에서 인터넷 접속 AWS Lambda 에서는 인터넷 접속이 되지 않는다. * 참고 자료 : https://aws.amazon.com/ko/premiumsupport/knowledge-center/internet-access-lambda-function/ 위 링크에서 Lambda가 인터넷 접속이 되기 위해서 Public Subnet 에 Internet Gateway 를 추가하고, Private Subnet 과 Public Subnet 는 NAT로 연결하라고 쓰여져 있다. 하지만 나는 말을 안듣고...ㅎㅎ Internet Gateway 가 추가 된 Public Subnet 에 Lambda Function 을 배치했다. 그런데 동작하지 않았다. 생각해보니 예전에도 겪었던 문제였는데 오랜만에 AWS를 사용하다 보니 까먹었다.. .. 2021. 11. 16.