K3s Too Many Files

🛠 K3s에서 “Too many open files” 오류 해결기

📦 inotify & ulimit 설정 튜닝으로 워크플로우 정상화하기

최근 k3s 클러스터에서 Argo Workflows를 돌리던 중, 아래와 같은 오류가 발생했습니다:

Failed to allocate directory watch: Too many open files

혹시 이런 로그 보셨다면, 저랑 같은 상황일 가능성이 높습니다.
이 오류는 대체로 파일 디스크립터 수가 부족하거나, 파일 감시(inotify) 제한에 걸렸을 때 발생합니다.

---

🔍 왜 이런 오류가 발생했을까?

리눅스 시스템에는 여러 개의 파일이나 디렉토리를 동시에 열거나 감시할 수 있는 한도가 존재합니다.
특히 Python에서 uvicorn --reload나 watchfiles 같은 걸 쓰고 있다면, 디렉터리마다 감시 인스턴스가 붙기 때문에 수천 개의 감시 요청이 한꺼번에 발생합니다.

---

✅ 해결 방법 Step-by-Step

1️⃣ inotify 커널 파라미터 상향

먼저 커널이 감시할 수 있는 파일 개수와 인스턴스 수를 늘려야 해요.

sudo nano /etc/sysctl.d/k3s-inotify.conf

아래 내용을 붙여넣습니다:

fs.inotify.max_user_instances=512
fs.inotify.max_user_watches=524288
fs.inotify.max_queued_events=32768

설정을 적용합니다:

sudo sysctl --system

📌 참고로 기본값은 max_user_instances=128, max_user_watches=8192 정도로 매우 낮아요. 위 수치는 넉넉하게 잡은 값입니다.

---

2️⃣ root 사용자의 파일 디스크립터 수 제한(ulimit) 상향

다음으로 root 사용자가 열 수 있는 파일 개수도 늘려야 해요.

sudo nano /etc/security/limits.d/99-root-nofile.conf

다음 내용을 추가합니다:

root soft nofile 65536
root hard nofile 65536

이 설정은 root로 실행되는 프로세스에만 적용돼요.
k3s도 root가 띄우기 때문에 여기에 적용하는 게 핵심이에요!

---

3️⃣ k3s systemd 서비스에 open file 제한 추가

이제 systemd에게도 “우리 많이 열 수 있어요”라고 알려줘야 해요.

sudo mkdir -p /etc/systemd/system/k3s.service.d
sudo nano /etc/systemd/system/k3s.service.d/override.conf

내용은 다음과 같이 작성합니다:

[Service]
LimitNOFILE=65536

반영을 위해 systemd를 새로 고쳐줘요:

sudo systemctl daemon-reexec
sudo systemctl daemon-reload
sudo systemctl restart k3s

---

4️⃣ containerd도 파일 수 제한 풀기

k3s는 내부적으로 containerd를 쓰기 때문에, 컨테이너 내부에서도 파일을 많이 열 수 있게 해줘야 합니다.

sudo mkdir -p /etc/containerd
sudo containerd config default | sudo tee /etc/containerd/config.toml > /dev/null
sudo nano /etc/containerd/config.toml

다음 내용을 찾거나 새로 추가해 주세요:

[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
  runc_default_ulimit = ["nofile=65536:65536"]

그 다음:

sudo systemctl restart containerd
sudo systemctl restart k3s

---

5️⃣ 확인해보기

컨테이너 안에서 진짜 잘 적용됐는지 확인해볼까요?

kubectl exec -it <pod-name> -- sh -c 'ulimit -n'

👀 출력이 65536 이상이면 성공입니다!

---

🧹 보너스: reload 모드 제거

만약 uvicorn --reload 같은 걸 쓰고 있다면, 이걸 꼭 제거해 주세요.
개발 모드에서는 유용하지만, 프로덕션 환경에서는 불필요하게 inotify 리소스를 쓰게 됩니다.

# 잘못된 예 ❌
uvicorn app.main:app --reload

# 올바른 예 ✅
uvicorn app.main:app --host 0.0.0.0 --port 8000

---

✅ 마무리 정리

항목	설정값
fs.inotify.max_user_instances	512 이상
ulimit -n	65536 이상
LimitNOFILE (systemd)	65536
runc_default_ulimit (containerd)	["nofile=65536:65536"]

---

이렇게 설정하고 나니, 더 이상 "Too many open files" 오류를 못 봐서 너무 행복합니다 😄
같은 문제 겪으셨다면 꼭 따라 해보세요!

필요하시면 이 설정을 자동화하는 스크립트 버전도 따로 만들어 드릴 수 있어요.
혹시 이 내용에 추가하고 싶은 부분 있으신가요?