AWS + kops + nip.io で Eclipse Che を動かす

• 前提
• IAM キーの作成
• 必要なツールの準備
  • kops のインストール
  • ssh のインストール
  • bind-utils のインストール
  • git のインストール
• AWS の環境構築
  • aws-cli の設定
  • SSH 鍵作成
  • kops 管理情報保存用の s3 を作成
• Kubernetes クラスターの作成
• Ingress のインストール
• Eclipse Che のデプロイ
• 参考資料

Installing Che on AWS :: Eclipse Che Documentation の手順をベースにやってみる。

差分は以下。

• DNS は nip.io を利用
• HTTPS 化はしない
• シングルユーザーモード
• chectl を使わず、 helm チャートでデプロイ

前提

• OS: Windows 10 Pro
• Docker: Docker version 20.10.5, build 55c4c88
  • 使用イメージ: mikoto2000/eks-tools
• AWS アカウント作成済み

IAM キーの作成

とりあえずルートユーザーのアクセスキーを作ってそれを使用する。

本来なら IAM ユーザーに適切な権限を付与したうえで、その人のアクセスキーを作成するべきらしい。

1. AWS マネジメントコンソールに「ルートユーザー」としてログイン
2. 右上のアカウント名 -> マイセキュリティ資格情報 -> アクセスキー (アクセスキー ID とシークレットアクセスキー) -> 新しいアクセスキーの作成 を押下
3. キーファイルのダウンロード

あとで使うので適切な場所に保存しておく。

必要なツールの準備

今回は、 mikoto2000/eks-tools を使用し、足りないツールを継ぎ足していく。

mikoto2000/eks-tools には、以下ツールがインストール済み。

• AWS CLI
• kubectl
• helm

コンテナ起動後、足りないツール類をインストールする。

docker run -it --rm mikoto2000/eks-tools

kops のインストール

Installing Kubernetes with kops | Kubernetes に kops のインストール手順が記載されているので、その通りに実行。

curl -LO https://github.com/kubernetes/kops/releases/download/$(curl -s https://api.github.com/repos/kubernetes/kops/releases/latest | grep tag_name | cut -d '"' -f 4)/kops-linux-amd64
chmod +x kops-linux-amd64
mv kops-linux-amd64 /usr/local/bin/kops

ssh のインストール

kops で Kubernetes クラスターへ接続するための SSH 鍵を作成するために、 ssh をインストール。

ついでに鍵作成もしておく。

yum install openssh-clients
ssh-keygen

bind-utils のインストール

ingress の EXTERNAL-IP(ホスト名) から IP アドレスを取得するために dig コマンドを使いたいのでインストール。

yum install bind-utils

git のインストール

Eclipse Che のデプロイ関連ソース取得のため。

yum install git

AWS の環境構築

aws-cli の設定

aws configure コマンドで、 IAM キー情報とリージョン・出力形式を設定する。

bash-4.2# aws configure
AWS Access Key ID [None]: xxxxxxxxxxxxxxxxxxxx
AWS Secret Access Key [None]: yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy
Default region name [None]: ap-northeast-1
Default output format [None]: json

SSH 鍵作成

ssh-keygen

kops 管理情報保存用の s3 を作成

aws s3 mb s3://eclipse-che-kops-state-store
export KOPS_STATE_STORE=s3://eclipse-che-kops-state-store

Kubernetes クラスターの作成

kops を使って Kubernetes クラスターを作成する。

kops create secret --name eclipse-che.k8s.local sshpublickey admin -i ~/.ssh/id_rsa.pub
kops create cluster --zones=ap-northeast-1a --name eclipse-che.k8s.local
kops update cluster eclipse-che.k8s.local --yes
kops export kubecfg --admin

作成したクラスタの確認。

クラスタ起動が完了すると、 kops validate cluster で情報が返ってくる。

$ kops validate cluster --wait 10m
Using cluster from kubectl context: eclipse-che.k8s.local

Validating cluster eclipse-che.k8s.local

INSTANCE GROUPS
NAME                    ROLE    MACHINETYPE     MIN     MAX     SUBNETS
master-ap-northeast-1a  Master  t3.medium       1       1       ap-northeast-1a
nodes-ap-northeast-1a   Node    t3.medium       1       1       ap-northeast-1a

NODE STATUS
NAME                                                    ROLE    READY
ip-172-20-41-193.ap-northeast-1.compute.internal        node    True
ip-172-20-54-87.ap-northeast-1.compute.internal         master  True

Your cluster eclipse-che.k8s.local is ready

あとは kubectl で操作できる。

bash-4.2# kubectl get pods --all-namespaces
NAMESPACE     NAME                                                                      READY   STATUS    RESTARTS   AGE
kube-system   coredns-5489b75945-pvlp6                                                  1/1     Running   0          10m
kube-system   coredns-5489b75945-rtspc                                                  1/1     Running   0          12m
kube-system   coredns-autoscaler-6f594f4c58-8pz6n                                       1/1     Running   0          12m
kube-system   dns-controller-8574dcc89d-nst7k                                           1/1     Running   0          12m
kube-system   etcd-manager-events-ip-172-20-54-87.ap-northeast-1.compute.internal       1/1     Running   0          11m
kube-system   etcd-manager-main-ip-172-20-54-87.ap-northeast-1.compute.internal         1/1     Running   0          11m
kube-system   kops-controller-gnwrh                                                     1/1     Running   0          11m
kube-system   kube-apiserver-ip-172-20-54-87.ap-northeast-1.compute.internal            2/2     Running   0          11m
kube-system   kube-controller-manager-ip-172-20-54-87.ap-northeast-1.compute.internal   1/1     Running   0          11m
kube-system   kube-proxy-ip-172-20-41-193.ap-northeast-1.compute.internal               1/1     Running   0          10m
kube-system   kube-proxy-ip-172-20-54-87.ap-northeast-1.compute.internal                1/1     Running   0          11m
kube-system   kube-scheduler-ip-172-20-54-87.ap-northeast-1.compute.internal            1/1     Running   0          12m

Ingress のインストール

kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v0.41.0/deploy/static/provider/aws/deploy.yaml

ingress-nginx-congroller が実行中になることを確認。

bash-4.2# kubectl get pods --all-namespaces
NAMESPACE       NAME                                                                      READY   STATUS      RESTARTS   AGE
ingress-nginx   ingress-nginx-admission-create-khwmz                                      0/1     Completed   0          12m
ingress-nginx   ingress-nginx-admission-patch-4d2rh                                       0/1     Completed   0          12m
ingress-nginx   ingress-nginx-controller-85b8d88cf5-6jwvb                                 1/1     Running     0          12m
kube-system     coredns-5489b75945-pvlp6                                                  1/1     Running     0          26m
kube-system     coredns-5489b75945-rtspc                                                  1/1     Running     0          27m
kube-system     coredns-autoscaler-6f594f4c58-8pz6n                                       1/1     Running     0          27m
kube-system     dns-controller-8574dcc89d-nst7k                                           1/1     Running     0          27m
kube-system     etcd-manager-events-ip-172-20-54-87.ap-northeast-1.compute.internal       1/1     Running     0          26m
kube-system     etcd-manager-main-ip-172-20-54-87.ap-northeast-1.compute.internal         1/1     Running     0          27m
kube-system     kops-controller-gnwrh                                                     1/1     Running     0          26m
kube-system     kube-apiserver-ip-172-20-54-87.ap-northeast-1.compute.internal            2/2     Running     0          26m
kube-system     kube-controller-manager-ip-172-20-54-87.ap-northeast-1.compute.internal   1/1     Running     0          26m
kube-system     kube-proxy-ip-172-20-41-193.ap-northeast-1.compute.internal               1/1     Running     0          26m
kube-system     kube-proxy-ip-172-20-54-87.ap-northeast-1.compute.internal                1/1     Running     0          26m
kube-system     kube-scheduler-ip-172-20-54-87.ap-northeast-1.compute.internal            1/1     Running     0          27m

外部公開 IP アドレスをメモ。

CHE_HOST_NAME="$(kubectl get services --namespace ingress-nginx -o jsonpath='{.items[].status.loadBalancer.ingress[0].hostname}')"
DOMAIN_IP="$(dig +short $CHE_HOST_NAME)"
DOMAIN="$(echo ${DOMAIN_IP} | sed -e "s/\./-/g").nip.io"

Eclipse Che のデプロイ

nightly が動かなかったので 7.27.0 をデプロイ。

git clone --depth 1 https://github.com/eclipse/che
cd che/deploy/kubernetes/helm/che/
sed -i -e "s/quay.io\/eclipse\/che-devfile-registry:nightly/quay.io\/eclipse\/che-devfile-registry:7.27.0/" custom-charts/che-devfile-registry/values.yaml
sed -i -e "s/quay.io\/eclipse\/che-plugin-registry:nightly/quay.io\/eclipse\/che-plugin-registry:7.27.0/" custom-charts/che-plugin-registry/values.yaml
helm dependency update
kubectl create namespace che
helm upgrade --install che --namespace che --set global.cheWorkspacesNamespace="che" --set cheImage="quay.io/eclipse/che-server:7.27.0" --set dashboard.image="quay.io/eclipse/che-dashboard:7.27.0" --set global.ingressDomain=${DOMAIN} ./

kubectl get pods で che の Pod が立ち上がったことを確認。

bash-4.2# kubectl get pods -n che
NAME                                READY   STATUS    RESTARTS   AGE
che-56bddc9f89-5czv2                1/1     Running   0          83s
che-dashboard-649cb64655-cv9zm      1/1     Running   0          83s
devfile-registry-7f5f8fdf4d-4b88t   1/1     Running   0          83s
plugin-registry-558796b4bd-d9wm5    1/1     Running   0          83s

ブラウザで che-che.$DOMAIN にアクセス。

以上。

HTTP 通信・シングルユーザーモードでデプロイしているので、速やかに削除。

kops delete cluster eclipse-che.k8s.local --yes
aws s3 rb s3://eclipse-che-kops-state-store

ルートユーザーのアクセスキーの削除も忘れず行う。

参考資料

• Installing Che on AWS :: Eclipse Che Documentation
• Installing Kubernetes with kops | Kubernetes
• Step 1: Set Up an AWS Account and Create a User - Amazon Polly
• AWS 認証情報の理解と取得 - AWS 全般のリファレンス
• amazon web services - Kubernetes Kops without dns - Stack Overflow
• nip.io - wildcard DNS for any IP Address