Embulk
github.com このバージョンより、Embulk clientとserver間でTLSでの接続ができるようになりました。 設定方法 (クライアント) まず、use_tls オプションをtrueに設定してください。サーバ側が(クライアントにとって)既知のCA証明書でサインされた証明書を使…
Embulkのexecutor pluginの仕組みとネットワークプログラミングを学びたかったので、勉強がてらこのようなプラグインを作ってみました。 github.com できること Embulkのタスクの実行を別に立てた専用のサーバ(以下Embulkサーバと呼びます)上で実行できる 複…
Release 0.5.0 · kamatama41/gradle-embulk-plugin · GitHub embulk_* のタスクを実行時の config.yml output.yml のオーバーライドを build.gradle 内ではなくプロパティを渡すようにしました。 以前 embulk { configYaml = "myconfig.yml" outputYaml = "m…
前職の同僚の @mtsmfm さんがつぶやいていたので、勢いで作ってみました。 embulk で 1 つの input から複数の output に繋ぐみたいなことはできるのだろうか— Fumiaki MATSUSHIMA (@mtsmfm) 2019年2月25日 github.com 使い方 2019/03/11時点の最新版は 0.4.…
Release v0.3.0 · kamatama41/gradle-embulk-plugin · GitHub gem, gemPush のタスクの内容を最新のEmbulkのものに追従しました。詳しい使い方は以下の記事を参照ください。 kamatama41.hatenablog.com
GitHub RubyGems イシューで希望をくれたHMACのハッシュ化に対応しました。以下のような感じで algorithm にHMACのアルゴリズムを指定した上で secret_key に秘密鍵を入れると使えます filters: - type: hash columns: - { name: username } - { name: phone…
GitHub RubyGems 約1年ぶりのリリース、0.4.0はGemはリリースできたのですが、CircleCIからの自動タグ付けに失敗したので新しいのをリリースしました..w 0.3系から仕様は変わってませんがEmbulk 0.9にあげたりKotlinとかその他の依存ライブラリやGradleのバ…
GitHub RubyGems 約1年ぶりのリリース、Embulk v0.9系だと動かなかったようで、対応しました。 あとKotlinも最新版に上げました。
昨日から急に自社のJenkinsサーバ(Ubuntu)で実行しているEmbulkのタスクが以下のようなエラーを吐いて失敗するようになりました。 at RUBY.block in call(/jenkins/workspace/some-jenkins-job/vendor/bundle/jruby/2.3.0/gems/faraday-0.9.2/lib/faraday/ad…
TL;DR EmbulkのJavaプラグイン開発のときにいろいろ便利につかえるGradleのプラグインを作りました。 github.com plugins.gradle.org 使い方 最低限以下の記述を build.gradle にすれば動きます。最新バージョンは 0.5.0 です (2019/03/24現在) plugins { id…
embulk-input-remoteをKotlinで書き直したv0.3.0をリリースしました。 GitHub 最初に書き直した時のPR RubyGems Kotlinは4年ほど前に会社のレポートでちょっと調べたままで知識が止まってましたが、最近はAndroidやサーバサイドの事例も多く出てきたので勉強…
GitHub RubyGems Embulkを最新にしてユニットテスト環境もしっかり整えたので、マイナーバージョンアップしました。 利用&コントリビューションお待ちしてます!
GitHub RubyGems 細かいバグフィックスとユニットテスト環境もしっかり整えたので、マイナーバージョンアップしました。 利用&コントリビューションお待ちしてます!
GitHub RubyGems 今回した一番大きな対応はテスト対応です Docker 使ってローカルにSSHできるLinuxコンテナ起動して embulk-testを利用した単体テストを追加して travis-ciを利用してテストの実行できるようにしました。 実は、Docker使ってる会社のインフラ…
eventdots.jp Embulk - 進化するバルクデータローダ Embulkについて作者の古橋さんから何が出来るか、アーキテクチャ、今後の展望などの説明。 気になったポイント 組み込みEmbulk。Embulkを自分のサービス内で使える、JavaとRubyで可能 plugin bundle -> bu…
Rubygemsにユーザー登録はしてる前提 $ ./gradlew gem $ gem push pkg/embulk-filter-xxx-x.y.z.gem
EmbulkでリモートホストからSCPでファイルを読み込むプラグインを作成しました。 特徴としてホスト一覧とファイルパスをコマンドで指定できるのですが、自分のサービスで使う場合入力元のファイルに日時が付いてたり、本番のホスト一覧をコマンドで解決した…