uokadaの見逃し三振は嫌いです

ここで述べられていることは私の個人的な意見に基づくものであり、私が所属する組織には一切の関係はありません。

GoでHTTPリクエストのdebug proxyを書いた

f:id:uokada:20170515000805j:plain

タイトル通り、前のエントリーの続きでデバッグ用のproxyサーバーを書いたのでそのときに引っ掛かったところをメモ書き。

httputil - The Go Programming Language

GoでProxyサーバーをたてるにはhttputilパッケージにあるNewSingleHostReverseProxy を呼んで ReverseProxy をこねくり回してたてるのが一般的なので今回のProxyサーバーもこれを使って実装していく。

Proxyの部分は上でOKで次にデバッグのところだが、シンプルに受け取ったリクエスト/レスポンスをプリントしてもいいのだけれど、httputilパッケージにはDumpRequestDumpResponseの2つの関数があるのでこれを使う。

dumps, err := httputil.DumpRequest(req, true)
or
dumps, err := httputil.DumpResponse(resp, true)

たったこれだけでリクエスト/レスポンスに含まれるヘッダーとボディのダンプしたバイト列を取得することが出来る。
そして、これら2つの関数を利用したhttp.RoundTripperを実装してやればProxyサーバーの出来上がりです。 実装はこんな感じになります。 この例ではhttp.RoundTripperの実装にはリクエストだけ、レスポンスだけを出力するためのフラグを持たせています。

func (t *transport) RoundTrip(req *http.Request) (resp *http.Response, err error) {
    if t.DebugRequest {
        dumps, err := httputil.DumpRequest(req, true)
        if err != nil {
            return nil, err
        }
        debugPrint(string(dumps))
    }

    resp, err = t.RoundTripper.RoundTrip(req)
    if err != nil {
        return nil, err
    }
    defer resp.Body.Close()
    b, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        return nil, err
    }

    b = bytes.Replace(b, []byte("server"), []byte("schmerver"), -1)
    body := ioutil.NopCloser(bytes.NewReader(b))
    resp.ContentLength = int64(len(b))
    resp.Header.Set("Content-Length", strconv.Itoa(len(b)))
    resp.Body = body
    if t.DebugResponse {
        _body, err := httputil.DumpResponse(resp, true)
        if err != nil {
            return nil, err
        }
        debugPrint(string(_body))
    }
    return resp, nil
}

ちなみに、RoundTripper のコメントに次のような一文がある。

// RoundTrip should not modify the request, except for
// consuming and closing the Request's Body.

see: http - The Go Programming Language

今回はX-Forward-For ヘッダーなりを付与する必要がなかったので忠告に従ってそのまま後ろにいるサーバーにリクエストを投げるように実装しました。

今回初めてhttp.RoundTripの低レベルなところを触ってhttp周りだけでもまだまだGoの知らないところあったということを再認識した。 そして、標準でここまで揃えてくれてるGoはいつもながら素敵ですねと。

yuokada/debugproxy: Proxy server for request debug

  1. go - Golang: how to read response body of ReverseProxy? - Stack Overflow
  2. Go net/httpパッケージの概要とHTTPクライアント実装例 - Qiita
  3. Go http.RoundTripper 実装ガイド - Qiita

既存のWebサーバーをGoで実装し直すためにやってること

とあるWebサーバーが機能不足でちょっと使いづらいため、Goで実装し直そうとしている。
とりあえず、エントリーポイントが分かってるのでそこにどんなリクエストが飛んでいるかをダンプするところから始めている。

それで書いたコードがこれ。
httputilパッケージにDumpXXXってメソッドが生えているのでそれを使ってリクエストのダンプするサーバーの簡単なサンプルがこちら。
httputil - The Go Programming Language

package main

import (
    "fmt"
    "net/http"
    "net/http/httputil"
)

func debugFunc(w http.ResponseWriter, r *http.Request, )  {
    dump, _ := httputil.DumpRequest(r, true)
    fmt.Fprintln(w, string(dump))
    return
}

func main(){
    mux := http.NewServeMux()
    mux.HandleFunc("/info", debugFunc)
    http.ListenAndServe(":8080", mux)
}

内部処理はIDE使ったデバッグで動作確認しようと思うがとりあえずの入り口としてはこんな感じかなと思います。

github.com

正規表現とgorilla/muxを使ってHandlerを定義すればすべてのリクエストにマッチさせることも出来る。

package main

import (
    "fmt"
    "net/http"
    "net/http/httputil"
    "github.com/gorilla/mux"
)

func debugFunc(w http.ResponseWriter, r *http.Request, )  {
    dump, _ := httputil.DumpRequest(r, true)
    fmt.Fprintln(w, string(dump))
    return
}

func main(){
    m  := mux.NewRouter()
    m.HandleFunc("/{ep:[a-z/0-9]+}", debugFunc)
    http.ListenAndServe(":8080", m)
}

ちなみに、curlでリクエストを投げた時のレスポンスがこんな感じ。

$ curl -X GET -d foo=bar localhost:8080/v1/debug 
GET /v1/debug HTTP/1.1
Host: localhost:8080
Accept: */*
Content-Length: 7
Content-Type: application/x-www-form-urlencoded
User-Agent: curl/7.51.0

foo=bar

これにiptablesと合わせてやればまぁこんな感じでデバッグを出来るというところです。

劇場版 ソードアート・オンライン を観てきた

少し前になるが劇場版 ソードアート・オンライン -オーディナル・スケール-を観てきた。 sao-movie.net

自分はTVシリーズを本放送では観てなかったが、 劇場版の予告を映画館で観てこれは面白そうだと思い 1st TVシリーズ25話を観てから劇場に足を運んだ。

舞台はAR、仮想現実世界にソードアート・オンラインのダンジョン、アインクラッドのBOSSモンスターが登場するのがキッカケ。

ソードアート・オンライン(SAO)はTVシリーズは2まである作品だが劇場版は1stだけ見ていれば登場人物をほぼカバー出来たし、 舞台もアインクラッドでの出来事を中心にストーリーが進んでいたので2nd観ていなくて話ついていけるかという不安は全くなかった。

1st TVシリーズはAmazon prime videoで見れるよ。自分はそれでイッキ見した。

www.amazon.co.jp

個人的な感想としては最後の駆け足で話をまとめましたって感を受けた。 映像にしたら思ったよりも長かったのか時間が足りなかったのか、ラストのパートをもう少しでいいからじっくりと作ってくれていれば100点の内容だった。 あと、エンディングのスタッフロールの映像もしっかり描かれていてしっかりこだわりが伝わってきた。 全体を通すとストーリーはよくある系の話だけど王道抑える感じで自分は好きだし80点は超えるいい作品だった。 なので、2回め見に行った。

ラストシーンに登場する新たな冒険の舞台ラース。 名前だけ出てきただけでそれ以上は全く説明が無かったけどどういった話が展開されるのか今からワクワクですね。 (小説読んだらこの辺の詳細分かる!?) 3期なのかOVAで帰って来るのか分からないが期待して待っていようと思う。

最後に補足で、SAO、SAO劇場版の考察はこちらのre:buildfm のエピソードが詳しいのでこちらを聞くのがオススメ Rebuild: Aftershow 176: Xenoblade Vacation (naoya) rebuild.fm

naoyaさんによるSAOシリーズの各シーズンのテーマについての解説や劇場版の舞台であるAR世界とVR世界の違いなどの考察があってこれ聞いて方観ても面白い。

FlaskアプリにLDAP認証を組み込みたい

Flask製のアプリケーションにLDAP認証を組み込めないかと色々画策している。

Index of Packages Matching ‘flask’ : Python Package Index

それで、PyPIを探してみると何個かライブラリがあるのでどれを使っていいのか迷っている。
自分の中で同じことが出来るライブラリがある際の選定の基準として次のものがある。

  1. メンテナンスがされていること

    何年も前に開発が止まったライブラリを新規で採用するのはPythonなりFlaskで仕様変更があった際に対応できないのは辛い。
    選択肢がない場合はメンテナンスが止まっていても採用することがあるけど自前で拡張するのはある程度のコストが必要なので限られた時間のなかで

  2. 拡張性があること

    社内の事情で拡張する必要がある場合に比較的簡単に対応出来るような拡張の余地が残されていることも大事なポイント

  3. 導入のためのドキュメントが充実していること

    ドキュメントが充実している方が手軽に導入したい場合などはプラスポイント。
    ただし、コード量が少ない場合やよく知ってる言語ならドキュメントが少なくてもなんとかなるのでここは上の2つに比べたらそれほど重視するポイントではない。

今回はこの3つの観点からLDAP認証を実装するのに使うライブラリをいくつか洗い出してみる。
あとは、ライセンスも重要だけど今回は置いておく。

いくつか見比べた結果、Flask-Loginを使ってみることにした。
理由としては、Flask-Loginが拡張性に優れていること、PyPIの最終リリースが1年以内でメンテナンスが継続されていることなど上の条件を全て満たしているので今回はこれをチョイスした。

さて、これからGWあたりには、 Flask-Login を使ったPull-Requestを出せるように実装を頑張ろうと思う。

プロのための Linuxシステム・ネットワーク管理技術 (Software Design plus)

プロのための Linuxシステム・ネットワーク管理技術 (Software Design plus)

rpm作成のためのfpm入門

仕事でrpmパッケージを作る必要があったので久しぶりにこの辺を真面目に調べてます。

以前調べたときに、fpm使って楽できるって話をちらっと聞いたので今回のエントリーではfpmでhadoopのtar.gzからrpmを作ってみることにします。

github.com
Home · jordansissel/fpm Wiki

fpmのインストール

今回はHadooprpmを作るのがゴールなのでfpmを使うための最小限ぐらいのパッケージをインストールします。

$ sudo yum install ruby-devel gcc make rpm-build
$ sudo gem install fpm --no-ri --no-rdoc

インストールに苦労するものはないと思います。

Hadoopのソース取得

とりあえず、今回はここから取得してきましょう。
Index of /dist/hadoop/core/hadoop-2.7.3

$ wget http://www.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz
--2016-11-22 01:03:38--  http://www.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz
www.apache.org (www.apache.org) をDNSに問いあわせています... 2a01:4f8:130:2192::2, 88.198.26.2, 140.211.11.105
www.apache.org (www.apache.org)|2a01:4f8:130:2192::2|:80 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 214092195 (204M) [application/x-gzip]
`hadoop-2.7.3.tar.gz' に保存中

100%[=========================================================================================================================>] 214,092,195 2.87MB/s 時間 74s

2016-11-22 01:04:53 (2.76 MB/s) - `hadoop-2.7.3.tar.gz' へ保存完了 [214092195/214092195]

fpmでrpm

今回のエントリーで使ってるバージョンは1.6.3です。

$ fpm -v
1.6.3

まずは、一番簡単な方法でrpmを作ってみます。 -sと-tオプションを渡してコマンドを実行します。

$ fpm -s tar -t rpm hadoop-2.7.3.tar.gz
Created package {:path=>"hadoop-2-1.0-1.x86_64.rpm"}

パッケージ・バージョンが少し辺ですがこれだけでもrpmを作ることに成功しました。


バージョンが変なので-vオプションを渡してさらに-nオプションも渡してみます。

$ fpm -s tar -t rpm --prefix /opt/myapp -v 2.7.3 -n apache-hadoop hadoop-2.7.3.tar.gz
Created package {:path=>"apache-hadoop-2.7.3-1.x86_64.rpm"}

バージョンの後ろにまだ1という数字がありますがこれはバージョンとは直接関係ないものです。
ここを変更するには --iteration で変更することが可能です。


さらに、 --prefix オプションを渡すことでパッケージをインストールするデフォルトのディレクトリを指定することも可能です。

$ fpm -s tar -t rpm --prefix /opt/myapp -v 2.7.3 -n apache-hadoop \
hadoop-2.7.3.tar.gz

今回は一番最後に実行したprefixオプションをつけて出来上がったパッケージが意図したとおりにインストールされるか確認して終わりにします。

$ sudo rpm -Uvh apache-hadoop-2.7.3-1.x86_64.rpm
準備しています...              ################################# [100%]
更新中 / インストール中...
   1:apache-hadoop-2.7.3-1            ################################# [100%]

$ sudo rpm -qa apache-hadoop
apache-hadoop-2.7.3-1.x86_64

$ sudo rpm -ql apache-hadoop | head
/opt/myapp/hadoop-2.7.3/LICENSE.txt
/opt/myapp/hadoop-2.7.3/NOTICE.txt
/opt/myapp/hadoop-2.7.3/README.txt
/opt/myapp/hadoop-2.7.3/bin/container-executor
/opt/myapp/hadoop-2.7.3/bin/hadoop
/opt/myapp/hadoop-2.7.3/bin/hadoop.cmd

ちゃんと、/opt/myapp 以下に配置されてますね。
fpmを使うことでspecファイルを書かなくてもrpmが作れる方法の紹介でした。

追記

インストールしなくてもrpmコマンドだけで確認出来るみたいですね。

$ rpm -qpi apache-hadoop-2.7.3-100.noarch.rpm 
$ rpm -qpl apache-hadoop-2.7.3-100.noarch.rpm  |head

参考リンク

nginxアドベントカレンダーのネタ探し

qiita.com

夏頃にh2cとかやってたのでそこを掘り下げればネタは出てくるだろうけどアドベントカレンダーのネタとして見劣りしないだろうか。

過去のやつみても空きがあるしギリギリ申し込みでも参加できそうなので目処がついたら参加にしよう。

nginx Advent Calendar 2015 - Qiita
nginx Advent Calendar 2014 - Qiita

nginxのrpmのビルドをDockerでやってみた。

yuokada/nginx-build-docker: build nginx rpm on Docker
nginxのsrc rpmを取得してrpmbuildするだけのDockerfileを書いてみた。
Docker知ってたら1時間ちょいぐらいあれば出来ると思うのでビルド手段としてはオススメかな。

今回はビルド環境にCentos7を選択し、nginxのバージョンはここにあるものから最新のものを選んできた。

Write Dockerfile

ビルドに必要なもの以外にもいくつかパッケージが入ってるがデバッグ用にvimとか入ってると後々役立ちます。
それに、rpmビルド用コンテナなのでサイズもレイヤーもあまり気にしてません。

RUN yum update  -y
RUN yum install -y epel-release; \
    yum install -y autoconf automake libtool wget; \
    yum install -y git make vim less; \
    yum install -y gcc gcc-c++ pkgconfig pcre-devel tcl-devel expat-devel openssl-devel; \
    yum install -y perl-devel perl-ExtUtils-Embed GeoIP-devel libxslt-devel gd-devel; \
    yum install -y rpm-build ;\
    yum clean all

あとは後は作業用のディレクトリを作ってrpmをビルドするだけです。詳細はDockerfileをみて下さい。
今回は取ってきたSRPMをそのままビルドしているのでDockerfileも20行で收まっています。

How to build

Dockerfileが用意できたらあとはdocker buildでコンテナを作って生成されたrpmを取り出すだけです。
最初のビルドはキャッシュにのってないのもあって10~15分ぐらいかかるのでコーヒーでも入れながら待ちましょう。

$ docker build -t ngx .
$ docker run -d --name ngx-tmp -t ngx
$ docker cp  ngx-tmp:/root/rpmbuild/RPMS/  target

docker cpで生成されたrpmファイルを取り出します。取り出したものは別途動作検証なりをしましょう。
rpmの検証etcが終わったらあとはコンテナを停止・削除します。

$ docker stop ngx-tmp; docker rm ngx-tmp

たったこれだけでrpmが出来てしまいました。
ビルドオプションとか変えたい場合はいったんspecファイルを取り出してパッチを当てるなどをする必要があるかと思いますが、それはまた別の機会に。

Debug

メモ代わり。

$ docker run -d -v `pwd`/target:/root/rpmbuild/RPMS --name ngx-build -t ngx
$ docker run --rm -i --name ngx-tmp -t ngx /bin/bash

Docker Hub

yuokada/nginx-build-docker - Docker Hub
一応、Docker Hubにも登録してみた。

Link