개발 및 운영/Kubernetes24 Ceph 사용시 XFS 사용시 주의!! Ceph 설치 후 서버 동작중에 서버가 죽어버리는 문제가 발생했다. 어떤 상황이냐면... 1. 초기 동작시에는 문제가 없지만 IO가 좀 발생하면 문제가 발생함. 2. 문제 발생시 특정 동작에 hangs이 걸리고 아무것도 동작하지 않음 (Deadlock) -> ps -aux 명령이 그러함. ps aux 을 하면 프로세스 목록이 보이다가 곧 멈춰버리는데 보여줘야 할 프로세스 (마지막으로 보여지는 pid의 다음 것)에 문제가 있음. cat /proc/(문제pid)/cmdline 등의 명령도 멈춰버림. 3. 시스템 정상종료 불가 -> unmonut 불가로 보임 커널 로그는 아래와 같다. [ 5092.890984] libceph: osd2 up [ 6646.588531] INFO: task containerd:1.. 2020. 3. 22. microk8s helm offline 설치 Full guide는 아니구... 단순히.. 방법만... microk8s.enable helm 명령을 실행 하면 실제로는 /snap/microk8s/xxxx/actions/enable.helm.sh 가 실행된다. 문제는 /snap/microk8s/xxxx 가 그냥 디렉터리가 아니라 설치이미지가 read-only 으로 마운트된 디렉터리라 수정이 불가능하단 것이다. 처음에는 microk8s의 systemd mount관련 파일을 수정해서 해당 위치를 다른 디렉터리로 bind하고.. 참 별걸 다했었는데 이후 생각해보니 더 간단한 방법이 있었다. 그냥 해당 파일 하나만 bind 하는 것이다. 1. 미리 http://get.helm.sh/helm-$HELM_VERSION-linux-$(arch).tar.gz 을 다.. 2020. 3. 15. Kubernetes yaml 자동 생성기 Kubernetes에서 사용할 Deployment/Service설정 yaml을 온라인 상에서 GUI로 만들 수 있게ㅜ도와주는걸 만들었습니다. https://jc-lab.github.io/auto-generator/#/ kube-yaml-generator jc-lab.github.io github에 소스 공개되어 있으니 기능 추가 및 개선 PR주심 넘나 감사! https://github.com/jc-lab/auto-generator/ jc-lab/auto-generator Contribute to jc-lab/auto-generator development by creating an account on GitHub. github.com 2019. 11. 9. Kubernetes 설치 Kubernetes Master Node 초기화 sysctl 수정 현재 Runtime에 대한 sysctl 변경 $ sudo sysctl net.bridge.bridge-nf-call-iptables=1 vim 으로 sysctl 에 대한 영구 설정 변경 $ sudo vim /etc/sysctl.d/99-sysctl.conf net.bridge.bridge-nf-call-iptables=1 # 추가 kubeadm $ sudo kubeadm init --pod-network-cidr=172.30.0.0/16 --service-cidr=10.244.0.0/16 마지막에 나오는 문장 기억해놓기 kubeadm join 10.0.0.2:6443 --token ssssss.asdasdasdas --discovery-t.. 2019. 9. 24. Kubernetes Node가 계속해서 NotReady/Ready를 오가는 경우 kubelet와 kubernetes-cni를 업그레이드 하고 관련해서 flannel등등 업그레이드 하고... 중요한 것! # kubeadm upgrade apply v1.14.2 이 명령으로 apiserver를 업그레이트 해 주어야 한다! 1.13.1 환경에서 가끔 연결 끊기고 DB연결이 특히나 문제가 되었었는데.. 그런 문제가 말끔히 해결되었다... 2019. 6. 3. kubernetes 업데이트시 자꾸 죽으며 error: /run/flannel/subnet.env: no such file or directory 오류 kubernetes 업데이트시 자꾸 죽으며 error: /run/flannel/subnet.env: no such file or directory 오류날때... 일단... sudo apt-get upgrade kubelet kubernetes-cni docker.io 으로 업그레이드 하고 이런 오류가 나면... # kubectl -n kube-system delete daemonset kube-flannel-ds 기존의 flannel을 지우고 새 버전의 # kubectl create -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml 불러오는 중입니다... flannel으로 다시 시대해보길.. (.. 2019. 6. 1. 이전 1 2 3 4 다음 반응형