かまたま日記3

プログラミングメイン、たまに日常

Embulk

embulk-executor-remoteserver 0.4.0 リリース

github.com このバージョンより、Embulk clientとserver間でTLSでの接続ができるようになりました。 設定方法 (クライアント) まず、use_tls オプションをtrueに設定してください。サーバ側が(クライアントにとって)既知のCA証明書でサインされた証明書を使…

embulk-executor-remoteserverを作った #Embulk

Embulkのexecutor pluginの仕組みとネットワークプログラミングを学びたかったので、勉強がてらこのようなプラグインを作ってみました。 github.com できること Embulkのタスクの実行を別に立てた専用のサーバ(以下Embulkサーバと呼びます)上で実行できる 複…

gradle-embulk-plugin v0.5.0 リリース

Release 0.5.0 · kamatama41/gradle-embulk-plugin · GitHub embulk_* のタスクを実行時の config.yml output.yml のオーバーライドを build.gradle 内ではなくプロパティを渡すようにしました。 以前 embulk { configYaml = "myconfig.yml" outputYaml = "m…

embulk-output-multiを作った

前職の同僚の @mtsmfm さんがつぶやいていたので、勢いで作ってみました。 embulk で 1 つの input から複数の output に繋ぐみたいなことはできるのだろうか— Fumiaki MATSUSHIMA (@mtsmfm) 2019年2月25日 github.com 使い方 2019/03/11時点の最新版は 0.4.…

gradle-embulk-plugin v0.3.0 リリース

Release v0.3.0 · kamatama41/gradle-embulk-plugin · GitHub gem, gemPush のタスクの内容を最新のEmbulkのものに追従しました。詳しい使い方は以下の記事を参照ください。 kamatama41.hatenablog.com

embulk-filter-hash v0.5.0 リリース

GitHub RubyGems イシューで希望をくれたHMACのハッシュ化に対応しました。以下のような感じで algorithm にHMACのアルゴリズムを指定した上で secret_key に秘密鍵を入れると使えます filters: - type: hash columns: - { name: username } - { name: phone…

embulk-input-remote v0.4.1 リリース

GitHub RubyGems 約1年ぶりのリリース、0.4.0はGemはリリースできたのですが、CircleCIからの自動タグ付けに失敗したので新しいのをリリースしました..w 0.3系から仕様は変わってませんがEmbulk 0.9にあげたりKotlinとかその他の依存ライブラリやGradleのバ…

embulk-filter-hash v0.4.0 リリース

GitHub RubyGems 約1年ぶりのリリース、Embulk v0.9系だと動かなかったようで、対応しました。 あとKotlinも最新版に上げました。

Ubuntu × JRubyでSSLError: certificate verify failed

昨日から急に自社のJenkinsサーバ(Ubuntu)で実行しているEmbulkのタスクが以下のようなエラーを吐いて失敗するようになりました。 at RUBY.block in call(/jenkins/workspace/some-jenkins-job/vendor/bundle/jruby/2.3.0/gems/faraday-0.9.2/lib/faraday/ad…

gradle-embulk-pluginを作った #Embulk

TL;DR EmbulkのJavaプラグイン開発のときにいろいろ便利につかえるGradleのプラグインを作りました。 github.com plugins.gradle.org 使い方 最低限以下の記述を build.gradle にすれば動きます。最新バージョンは 0.5.0 です (2019/03/24現在) plugins { id…

EmbulkのプラグインをKotlinで書く

embulk-input-remoteをKotlinで書き直したv0.3.0をリリースしました。 GitHub 最初に書き直した時のPR RubyGems Kotlinは4年ほど前に会社のレポートでちょっと調べたままで知識が止まってましたが、最近はAndroidやサーバサイドの事例も多く出てきたので勉強…

embulk-filter-hash 0.2.0 リリース

GitHub RubyGems Embulkを最新にしてユニットテスト環境もしっかり整えたので、マイナーバージョンアップしました。 利用&コントリビューションお待ちしてます!

embulk-input-remote 0.2.0 リリース

GitHub RubyGems 細かいバグフィックスとユニットテスト環境もしっかり整えたので、マイナーバージョンアップしました。 利用&コントリビューションお待ちしてます!

embulk-input-remote 0.1.10 リリース

GitHub RubyGems 今回した一番大きな対応はテスト対応です Docker 使ってローカルにSSHできるLinuxコンテナ起動して embulk-testを利用した単体テストを追加して travis-ciを利用してテストの実行できるようにしました。 実は、Docker使ってる会社のインフラ…

Embulk Meetup Tokyo #2 に参加してきた

eventdots.jp Embulk - 進化するバルクデータローダ Embulkについて作者の古橋さんから何が出来るか、アーキテクチャ、今後の展望などの説明。 気になったポイント 組み込みEmbulk。Embulkを自分のサービス内で使える、JavaとRubyで可能 plugin bundle -> bu…

EmbulkのJavaプラグインをリリースする方法

Rubygemsにユーザー登録はしてる前提 $ ./gradlew gem $ gem push pkg/embulk-filter-xxx-x.y.z.gem

embulk-input-remoteプラグインを作った #embulk

EmbulkでリモートホストからSCPでファイルを読み込むプラグインを作成しました。 特徴としてホスト一覧とファイルパスをコマンドで指定できるのですが、自分のサービスで使う場合入力元のファイルに日時が付いてたり、本番のホスト一覧をコマンドで解決した…