AWSのSavings Plansのセミナーに参加してきたのでそのメモ。
Fargateに対しても割引が効いたりするし、インスタンスタイプの垣根が無いので*1、そろそろM6が出そうなので、M5のRI買うのやめとこうみたいなのが発生しないのがイイですね。
1時間あたりのコミットメント金額 に対して適用される*1:Compute Savings Plansの場合
モチベーションとしては、Datadog LogsのWebコンソールはメッセージの全文が長いと全部表示されなかったり普通のtailと違って時間の降順に並んだりで微妙に見づらかったりするので、CLIでtail -fコマンド感覚で見れて雑にgrepとかしたいと思って作りました。
Releases からバイナリをダウンロードしてパスを通してください。
あと多分 go get -u github.com/kamatama41/taildog でもインストールできると思います。
まず、DD_API_KEY と DD_APP_KEY (application key) の２つの環境変数を設定する必要があります。DatadogのWebコンソールから取得してきてください。
$ taildog
$ taildog -q "service:my-app"
$ taildog -q "service:my-app" --from 2019-07-10T11:00:00Z --to 2019-07-10T11:00:05Z
Goのtemplateのスタイルで記述します。使用できる項目はDatadogのLog Query APIのレスポンスのcontentの内容に準拠します。 デフォルトは "{{.Timestamp}} {{.Host}} {{.Service}} {{.Message}}" です。
$ taildog -q "service:my-app" -f "{{.Timestamp}} {{.Message}}"
よかったら使ってみてください〜！
*1:必要に応じで拡張はできるそうです
データセンタープロジェクトの進捗って言うのが面白そうで抽選通ったので参加してきました。基本的には今自分が所属している小さいスタートアップでは直接的に参考になることはあまり無かったですが、こういうスケールの大きな話を聞くのは刺激になりました。その後の懇親会では負荷試験をどうやってするかと言うのをメインで話して、みんな「やりたいけど環境作るのが難しいよね」という感じで意見が一致しました。
Percona XtraDB Cluster を使ってMySQLのクラスタリングを一つのサービスに適用してみた話。
去年発表した自社DC (TC) のその後のお話
--privileged をつける。つけないでいい感じで動かすのは大変そう。STOPSIGNAL SIGRTMIN+3 をつけるFROM ubuntu:18.04
RUN apt-get update \
&& apt-get install -y \
openssh-server \
&& rm -rf /var/lib/apt/lists/*
RUN mkdir -p /var/run/sshd && chmod 755 /var/run/sshd
ARG GITHUB_USER
# ADD ubuntu user, and set password and public key
ADD https://github.com/${GITHUB_USER}.keys /home/ubuntu/.ssh/authorized_keys
RUN useradd -u 1000 ubuntu \
&& usermod -s /bin/bash -G adm,sudo ubuntu \
&& echo "ubuntu ALL=(ALL) NOPASSWD:ALL" >> /etc/sudoers \
&& mkdir -p /home/ubuntu && chown -R ubuntu.ubuntu /home/ubuntu
STOPSIGNAL SIGRTMIN+3
CMD [ "/sbin/init" ]
例えばこんな感じのDockerfileでSSHサーバをsystemd経由で起動しようとすると、想定どおりに動作していません。
(ubuntuユーザでコンテナにSSH出来ない)
$ docker build --build-arg GITHUB_USER=${GITHUB_USER} -t kamatama41-ubuntu-systemd-test . $ docker run -p 2222:22 -d --rm kamatama41-ubuntu-systemd-test 1faf7f57aabba3ccb935cbc3de84224f304021c87a31a7487164a2ac157e33b1 $ ssh ubuntu@localhost -p 2222 ssh_exchange_identification: Connection closed by remote host
docker runのときに --privileged オプションを付けると想定通りの動きになります。
$ docker run -p 2222:22 -d --privileged --rm kamatama41-ubuntu-systemd-test f4adaea692edd55bdc059536cebe3b5aac03d842af33c0b902bb79ccb1251e3a $ ssh ubuntu@localhost -p 2222 Welcome to Ubuntu 18.04.2 LTS (GNU/Linux 4.9.125-linuxkit x86_64) * Documentation: https://help.ubuntu.com * Management: https://landscape.canonical.com * Support: https://ubuntu.com/advantage This system has been minimized by removing packages and content that are not required on a system that users do not log into. To restore this content, you can run the 'unminimize' command. The programs included with the Ubuntu system are free software; the exact distribution terms for each program are described in the individual files in /usr/share/doc/*/copyright. Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted by applicable law. ubuntu@f4adaea692ed:~$
とりあえず、テスト用途で動かす場合はこれで大丈夫そうですが、本番では使わない方が良いでしょう。ググった感じsystemdをnon-privilegedなUbuntuのコンテナで動かすのは結構大変そうです。
CentOSは公式でsystemd用のベースイメージを提供してくれているので、本番で使いたい場合はこちらを使うのが良いでしょう。
あと１点注意点として、systemdのコンテナを止めるときは SIGRTMIN+3 を使わないといけないようなので、 STOPSIGNAL を変えてあげておきましょう。
defer はそれが定義された関数が終わったタイミングで実行されるので、forループでdeferを定義してしまうと、forループが終わって所属する関数が終わったタイミングで一斉に実行される。
package main import "fmt" func main() { for i := 1; i <= 5; i++ { println(fmt.Sprintf("Main %d", i)) defer closeResource(i) } } func closeResource(i int) { println(fmt.Sprintf("Close %d", i)) }
例えばこれを実行すると
Main 1 Main 2 Main 3 Main 4 Main 5 Close 5 Close 4 Close 3 Close 2 Close 1
こういう出力になる。これはDBコネクションなどの場合、リソースリークにつながるのであまりよろしくない。こういう場合はforのブロックを別関数に移すか、無名関数でラップするのが好ましい。
package main import "fmt" func main() { for i := 1; i <= 5; i++ { func() { println(fmt.Sprintf("Main %d", i)) defer closeResource(i) }() } } func closeResource(i int) { println(fmt.Sprintf("Close %d", i)) }
こうすれば、期待通りの結果になる
Main 1 Close 1 Main 2 Close 2 Main 3 Close 3 Main 4 Close 4 Main 5 Close 5
参考 go - `defer` in the loop - what will be better? - Stack Overflow
TwitterやFacebookでフォローされてる方は知っているかと思いますが、3月末で前職を退職していました。短い間ですがお世話になった皆さんありがとうございました。1年弱という社会人生活で一番短い在職期間になりました。
Hosted Embulk for TDである、DataConnector/ResultOutputという２つのサービスをメンテナンスするチームに所属していました。そこで新規/既存のEmbulkプラグインの開発、Embulk本体のメンテナンス、サービスを提供するためのアプリケーション開発、実行環境や開発環境の改善など主にバックエンド周りのことをやっていました。また、夏ごろにアメリカ出張に行ったことは人生初のアメリカということもあって、とても良い経験になりました。
SEQSENSEという警備ロボットを開発しているベンチャー企業に4月から所属しています。コアとなる強みは自律移動ロボットの開発能力でロボット界隈では結構有名な会社のようです。自分が担当しているのはバックエンド周り全般で、具体的には以下のようなものがあります。メインとなる言語はGoなので勉強中です。
恥ずかしながらインタビューもしてもらったので、会社についてや転職の理由など詳しいところはこちらを見て頂ければと思います。
興味を持たれた方はぜひDMなりでご連絡いただくか、Wantedlyで応募してください、お待ちしております m(_ _)m
