oinume journal

Scratchpad of what I learned

クライアントを作って理解するOAuth2(実装編)

はじめに

クライアントを作って理解するOAuth2(準備編) - oinume journalの続編。前の記事ではGoogle APIsのプロジェクトを作成してOAuth2 clientを登録した。この記事では発行されたClient idを使って実際にAccess tokenを取得する部分をGoで実装してみたいと思う。

ソースコードは GitHub - oinume/go-oauth2-client-sample: OAuth2 client sample in Go にあり、OAuthの実装はserver.goにまとまっている。main関数はcmd/oauth2-client-sample/main.goにあるが、これはサーバーの起動処理があるだけの薄いものである。サーバーの起動方法などについてはGitHubのREADMEを見てほしい。

前提

  • OAuth2のGrant typeはAuthorization code grantを使用する
  • Webブラウザを使用する

Webブラウザを使うことに関しては特に疑問はないと思うが、Authorization code grantって何?というのを説明しておく。

これはEnd userから認可を得て、Access tokenを取得するための手法の一つ。Authorization codeというトークンをAuthorization server(今回だとGoogleの認可サーバー)から取得して、そのAuthorization codeとAccess tokenを交換する。なお、Authorization code grantを使用すると、Access token以外にもRefresh tokenも取得ができる。このgrant typeはConfidential clientから実行されることを想定している。Confidential clientについては次に説明する。

Public clientとConfidential client

OAuth2.0の仕様にその定義が書いてあるが以下のようになっている。(RFCの日本語訳より抜粋)

  • コンフィデンシャル (confidential): クレデンシャルの機密性を維持することができるクライアント (例えば, クライアントクレデンシャルへのアクセスが制限されたセキュアサーバー上に実装されたクライアント), または他の手段を使用したセキュアなクライアント認証ができるクライアント.
  • パブリック (public): (例えば, インストールされたネイティブアプリケーションやブラウザベースのWebアプリケーションなど, リソースオーナーのデバイス上で実行されるクライアントのように) クライアントクレデンシャルの機密性を維持することができず, かつ他の手段を使用したセキュアなクライアント認証もできないクライアント.

今回はGoで実装されたサーバーからGoogleのAuthorization serverに対して通信するため、コンフィデンシャルクライアントになる。

Access tokenを取得するまでの流れ

  1. End userがSign in with Googleボタンをクリックし、Clientのサーバーにリクエストが送信される
  2. Clientが認可リクエストを認可サーバーに送信する
  3. 認可サーバーが認可画面のHTMLをレスポンスで返す
  4. Webブラウザで認可画面を表示
  5. End userが認可を行い、認可サーバにリクエストが送信される
  6. 認可サーバが認可コードを生成し、ClientのサーバーにRedirectする
  7. Clientのサーバーがstateをチェックし、認可コードからトークンリクエストを認可サーバーに送信する
  8. 認可サーバーが認可コードをチェックしてAccess tokenを生成する
  9. 認可サーバーからClientのサーバーにリダイレクトしてAccess tokenをClientに返す
  10. ClientはAccess tokenを取得する

ソースコードベースでの説明

ソースコードの詳細な説明に入る前に全体の構成を説明する。今回作るAuth2 Clientのサーバーは以下のendpointを持っている。これらのendpointはソースコード上ではserver.goに定義されている。今回は説明のしやすさのためGoのOAuth2ライブラリであるgolang.org/x/oauth2は使用せず独自で実装している。

  • /: Sign in with Googleボタンを表示するためのHTMLを返す
  • /oauth2/authorize: Sign in with GoogleボタンがクリックされるとこのURLが呼び出される。この処理の中でAuthorization serverへリダイレクトし、Authorization requestを送る。
  • /oauth2/callback: Authorization serverからリダイレクトで呼び出される。Authorization codeを受け取るので、それをもとにToken requestを送ってAccess tokenを取得する
  • /static: Sign in with Googleボタンのイメージの静的リソースを返す

それではendpointごとに詳細に説明していくとしよう。//static は特に難しいところはないので省略する。

/oauth2/authorize

以下がこのendpointに対するメソッドで、おおまかに説明すると以下のような流れになっている。

  1. まずgenerateStateでstateを生成する
  2. createAuthorizationRequestURLでURLを生成する。このURLにはAuthorization requestに必要なquery stringなどが含まれている。
  3. stateをCookieにセットする
  4. Authorization server(Google)にリダイレクトする
func (s *server) authorize(w http.ResponseWriter, r *http.Request) {
    state, err := generateState()
    if err != nil {
        s.writeError(w, http.StatusInternalServerError, err)
        return
    }
    u, err := s.createAuthorizationRequestURL(redirectURI, scopes, state)
    if err != nil {
        s.writeError(w, http.StatusInternalServerError, err)
        return
    }
    log.Printf("authorization request url = %v\n", u)

    // Set state to cookie
    cookie := &http.Cookie{
        Name:     stateCookieName,
        Value:    state,
        Path:     "/",
        Expires:  time.Now().Add(10 * time.Minute),
        HttpOnly: true,
    }
    http.SetCookie(w, cookie)

    // Send authorization request by redirection
    http.Redirect(w, r, u.String(), http.StatusFound)
}

createAuthorizationRequestURLが重要なので、次にこのメソッドを詳細に説明する。

func (s *server) createAuthorizationRequestURL(
    redirectURI string,
    scopes []string,
    state string,
) (*url.URL, error) {
    u, err := url.Parse(authorizationEndpoint)
    if err != nil {
        return nil, err
    }

    q := u.Query()
    q.Set("response_type", "code")
    q.Set("client_id", s.clientID)
    if redirectURI != "" {
        q.Set("redirect_uri", redirectURI)
    }
    if len(scopes) > 0 {
        q.Set("scope", strings.Join(scopes, " "))
    }
    q.Set("state", state)
    q.Set("prompt", "consent")
    u.RawQuery = q.Encode()

    return u, nil
}

このメソッドは引数にredirectURI, scopes, stateを受け取る。redirectURIおよびscopesは動的に生成されるものではないのでハードコードしてもよいが、再利用性を考慮してメソッド外部から渡せるようにしている。

このメソッドでは

  1. authorizationEndpointからurl.URLを生成する
  2. 必要なパラメータをquery stringとしてセットする
  3. uにquery stringをURL encodeしてセットする
  4. 生成したAuthorization requestのURLであるuを返す

という処理を行っている。必要なパラメータについてはOAuth2.0の仕様に定義されているが、簡単に説明すると以下である。

  • response_type: Authorization code grantのためcodeを指定
  • client_id: Googleから発行されたClient id
  • redirect_uri: Googleに登録したRedirect URI
  • scope
  • state: 先に生成したランダム文字列
  • prompt: 今回は認可画面を必ず表示するためにconsentを指定しているが、なくても良い。

話をもとに戻して、createAuthorizationRequestURLで生成されたURLに対してHTTPリダイレクトを行い、GoogleのAuthorization serverにAuthorization requestを送るのがこのメソッドで行っている全てである。

認可画面の表示

Authorization requestが成功すると、Authorization serverから認可画面のHTMLがレスポンスとして返ってくるので、Webブラウザはそれを表示する。Googleの場合だと以下のような画面になる。(Googleにログインしていない場合は、認可画面の前にログイン画面が表示される)

認可画面で表示されている内容は、gmail-fetcherというClient(3rd party application)が、表示されているGoogleアカウントのメール メッセージと設定の表示(scope)を行うことを許可するかどうかを確認するというものだ。ここで許可するというボタンをクリックすると、gmail-fetcherというClientに対してアクセスする許可を与えたので、Access tokenが発行されることになる。

/oauth2/callback

End userが認可画面で許可するボタンをクリックすると、Authorization serverからこのendpointにリダイレクトでコールバックされる。メソッドのコードは以下。

func (s *server) callback(w http.ResponseWriter, r *http.Request) {
    log.Printf("callback: state=%v, code=%v", r.FormValue("state"), r.FormValue("code"))

    if e := r.FormValue("error"); e != "" {
        // Should handler error correctly as described in https://tools.ietf.org/html/rfc6749#section-4.2.2.1
        s.writeError(w, http.StatusBadRequest, fmt.Errorf("error returned in authorization: %v", e))
        return
    }
    if err := validateState(r); err != nil {
        s.writeError(w, http.StatusBadRequest, err)
        return
    }
    code := r.FormValue("code")
    if code == "" {
        s.writeError(w, http.StatusBadRequest, fmt.Errorf("code is required"))
        return
    }

    ctx, cancel := context.WithTimeout(context.Background(), 10*time.Second)
    defer cancel()
    token, err := s.exchange(ctx, code)
    if err != nil {
        s.writeError(w, http.StatusInternalServerError, err)
        return
    }

    w.WriteHeader(http.StatusOK)
    fmt.Fprintf(w, "accessToken = %v", token.AccessToken)
    // save token to database or do something
}

やっていることとしては以下になる。OAuth2.0の仕様としてはAuthorization Responseに記載されている。

  1. errorが渡って来ているかどうかをチェック
    • 今回の実装では、errorがある場合は400エラーを返すようにしているが、本来であればこれはエラーの種類に応じて適切なエラー画面を表示するのが正しい実装だと思う。エラーの種類に関してもOAuth2.0の仕様に定義されている。
  2. checkStateを呼び出して、Cookieに保存したstateとcallbackのパラメータで来たstateが一致しているかをチェック
    • なぜこのようなチェックをしているかは長くなるので別の記事で説明する予定
  3. codeが渡って来ているかをチェック
  4. exchangeを呼び出してcodeからAccess tokenを取得
  5. Access tokenをレスポンスとして返す
    • Webブラウザに取得したAccess tokenが表示される
    • ちゃんと実装するなら、Access tokenをDBに保存したりするはず

exchangeメソッドについては長くなるので次で詳細に説明する。

exchangeメソッド

これはAuthorization codeからAccess tokenを取得するメソッドである。Access Token Requestに仕様が書かれている。

  1. リクエストに必要なquery stringをセットする
  2. Authorization serverがクライアント認証を行うため、Client idとClient secretをセットする
  3. Token endpointにHTTPリクエストを送る
  4. 返ってきたHTTPレスポンスを受け取って内容をパースし、Access tokenなどを得る
  5. Webブラウザで表示するためにAccess tokenをレスポンスにセット

ということがやっていることだ。query stringにセットしているパラメータはそれぞれ以下になる。

  • grant_type: Authorization code grantなのでauthorization_codeをセット
  • code: Authorization codeをセット
  • redirect_uri: Authorization requestで使ったredirect_uriと同じものをセット
  • client_id: Client idをセット

また、仕様には以下のように書かれているので、Client credentialsとしてreq.SetBasicAuthでClient idとClient secretをセットしている。

The authorization server MUST:

o require client authentication for confidential clients or for any client that was issued client credentials (or with other authentication requirements),

o authenticate the client if client authentication is included,

func (s *server) exchange(ctx context.Context, code string) (*tokenEntity, error) {
    v := url.Values{
        "grant_type":   {"authorization_code"},
        "code":         {code},
        "redirect_uri": {redirectURI},
        "client_id":    {s.clientID},
    }
    req, err := http.NewRequest("POST", tokenEndpoint, strings.NewReader(v.Encode()))
    if err != nil {
        return nil, err
    }
    req.Header.Set("Content-Type", "application/x-www-form-urlencoded")
    // Client authentication: https://tools.ietf.org/html/rfc6749#section-4.1.3
    req.SetBasicAuth(url.QueryEscape(s.clientID), url.QueryEscape(s.clientSecret))

    // Send token request
    resp, err := http.DefaultClient.Do(req.WithContext(ctx))
    if err != nil {
        return nil, err
    }
    defer resp.Body.Close()

    body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        return nil, fmt.Errorf("oauth2: cannot fetch token: %v", err)
    }
    if code := resp.StatusCode; code < 200 || code > 299 {
        // Should handler error correctly as described in https://tools.ietf.org/html/rfc6749#section-5.2
        log.Printf("token request failed: statusCode=%v, body=%v\n", code, string(body))
        return nil, fmt.Errorf("oauth2: token request failed: statusCode=%v", code)
    }

    // Create tokenEntity from response
    var token *tokenEntity
    contentType, _, err := mime.ParseMediaType(resp.Header.Get("Content-Type"))
    if err != nil {
        return nil, fmt.Errorf("oauth2: failed to parse Content-Type header: %v", err)
    }
    if contentType != "application/json" {
        return nil, fmt.Errorf("oauth2: invalid Content-Type in response: %v", contentType)
    }
    token = &tokenEntity{}
    if err = json.Unmarshal(body, token); err != nil {
        return nil, err
    }
    if token.ExpiresIn != 0 {
        token.expiry = time.Now().Add(time.Duration(token.ExpiresIn) * time.Second)
    }

    return token, nil
}

なお、Access tokenには有効期限があり、あとどのぐらいで有効期限が切れるのか?がレスポンスのexpires_inというフィールドにセットされている。通常であればAccess tokenをDBに保存すると同時にこの有効期限も保存しておき、有効期限が切れたらRefresh tokenを使ってAccess tokenをリフレッシュするという処理が必要になる。

まとめ

細かいところは飛ばしつつも、Authorization code grantによるAccess tokenの発行まで、ライブラリを使わずに一通り実装してみた。ところどころにOAuth2.0のRFCへのリンクを入れたので、適宜参照してもらうと仕様の理解が深まるのではないかと思う。自分で実装していて思ったのは、「エラーハンドリングとか細かいところは面倒なポイントがあるけど、全体的にOAuth2.0のClientの実装って簡単じゃん!」ということ。OAuthって聞くとなんか大変そうなイメージがあったけど自分的には攻略できた感じ。この記事が仕事で外部サービスとの連携でクライアントとか認可サーバーの実装しなくてはいけない人たちの役にたてば嬉しいです。

OAuth徹底入門

OAuth徹底入門

2019年01月の振り返り

アウトプット

OAuth 2.0について以下の記事を書いた。少しかじった程度だけど、その知識をアウトプットした感じ。

journal.lampetty.net

英語

  • Daily Tech News Showをほぼ毎日聞いている
    • 1エピソードが5分以内なので聞きやすい。長い英語のpodcastは途中で集中が切れてしまうと離脱してしまうけど、5分なら集中できる
    • また、テック業界のニュースが多いので基本的な文脈はわかっているため内容も理解しやすい
    • これを聞いていて思ったのは、日本に流れてこないニュースが意外とあるのだということ。なんとなく得した気分になる
  • DMM英会話で、Daily Newsだけではなく文法をやり始めた。難易度が高い方から逆順にやっているのだけど、意外と忘れていることが多いので良い。
  • 6月にIELTSの試験を受ける予定

アルゴリズム

本は読んでいるけど特にアウトプットはなし。

アルゴリズムイントロダクション 第3版 総合版:世界標準MIT教科書

アルゴリズムイントロダクション 第3版 総合版:世界標準MIT教科書

睡眠時間

今年に入ってからなるべく早くベッドに入るようにしていい感じのペースができている。1月の平均だと5時間59分だった。6時間以上寝た次の日は頭がちゃんと働いているのがよい。

仕事

チームが変わってそのチームにさらにインターナショナルなメンバーが増えて、英語を使うことがさらに多くなった。

  • インド
  • 台湾
  • 中国
  • ノルウェー
  • 日本

というめちゃくちゃ多国籍なチームになっている。隣に座っている人はノルウェーの人は日本語もけっこう得意なんだけど、彼と話す時はだいたい英語。Slackも3分の1ぐらいは英語になっている気がする。意外なのは、英語を覚えても日本語自体の語彙や会話力は衰えていなさそうなので、これは良いことだ。

2月重点的に頑張ること

  • アルゴリズム
  • Spannerの勉強

クライアントを作って理解するOAuth2(準備編)

はじめに

GoogleやFacebookなどの外部サービスのAPIを利用する上で欠かせないのがOAuth2という仕様なんだけど、この仕様だけ読んでいてもつまらないしよーわからんので、実際に手を動かしてみて理解を深めよう、というのがこの記事の趣旨です。実際にはOAuth2素人が少し仕事でかじった知識をアウトプットしたものです。

OAuthとは

エンドユーザーのデータを3rd party applicationに渡すための仕組み。日本語だとこのページの説明が一番わかりやすい。

qiita.com

OAuth 2.0自体のRFCの仕様は以下にある。

必要なもの

  • Googleアカウント。GCPプロジェクトを作成するために必要
  • Go runtime(optional)

準備

  • 今回はOAuth 2.0のAuthorization Code grantというGrant typeを使って認可を行う
  • この記事で作成するGmail Fetcherというものを3rd party applicationとしてGoogleに登録し、Access tokenを取得してGoogleのAPIを呼び出す

そのためには以下の手順でGoogleにアプリケーションを登録する必要がある。まずはGCPのConsoleからプロジェクトを作成する。詳細は以下の動画を見てほしい。

youtu.be

  1. プロジェクト名はoinume-gmail-fetcherにする。ただ、他の人がプロジェクトを作る場合、oinumeは自分のアカウント名とか適当な文字列にしておく。でないと重複して作れないので。
  2. 次に、左上のメニューからAPIs & Servicesを選んで、APIs & Servicesのページを開き、ENABLE APIS AND SERVICES のボタンをクリックする。
  3. そうするとAPIの一覧の画面に行くので、スクロールしてGmailのAPIを探してクリックする。
  4. そしてENABLEボタンをクリックしてGmailのAPIを有効にする。
  5. 次にCredentialsの画面を開き、CREATE CREDENTIALSのボタンをクリックする。
  6. フォームが出てくるので以下のように入力し、What credentials do I need?ボタンをクリックする。
    • Which API are you using?: Gmail API
    • Where will you be calling the API from: Web server
    • What data will you be accessing?: User data

上の手続きを行ってClient idの発行が終わったら準備は完了。長くなるので、実際にOAuth2のフローの説明については次の記事で説明する。

用語の説明

ClientというのはGoogleで登録するあなたの3rd party applicationのこと。今回はgoogle profile getterというアプリケーションを作ってみるとする。

Resource owner or End user

エンドユーザー。Resource serverにデータ(リソース)を預けている。

Client

3rd party applicationのこと。今回だとgmail-fetcherのことを指す。End userからの認可を得てResource serverのデータにアクセスするアプリケーションのこと。

Resource server

End userのリソースを保持するサーバー。今回だとGoogleがこれに該当する。

Authorization server

End userからの認可を得てAccess tokenを生成するもの。日本語では認可サーバーと呼ばれる。

Client id

ClientのID

Client secret

Clientごとに発行される秘密鍵のようなもの。access tokenを取得する際に使用する。これが漏洩すると自分のアプリケーションを詐称してEnd userのデータにアクセスできてしまうので、漏洩しないようにする。 参考 - https://ja.stackoverflow.com/questions/26469/ - https://oauth.jp/blog/2012/08/03/re-oauth-20clientsecret/

OAuth consent screen

End userに表示する認可画面のこと。

Authorized redirect URIs

End userが認可画面でClientに認可をしたあとにコールバックされるURI

Scopes for Google APIs

End userがClientに対して認可を求めるスコープ。権限ともいう。例えばGmailのAPIを使ってメール送信したい場合は、メール送信をするためのscopeを要求する必要がある。

Access token

ClientからResource server(今回だとGoogle)のAPIを呼び出すためのトークン文字列。

次回作

1月中にはアップすると思うので乞うご期待。

OAuth徹底入門 セキュアな認可システムを適用するための原則と実践

OAuth徹底入門 セキュアな認可システムを適用するための原則と実践

  • 作者: Justin Richer,Antonio Sanso,Inc. Authlete,須田智之
  • 出版社/メーカー: 翔泳社
  • 発売日: 2019/01/30
  • メディア: 単行本(ソフトカバー)
  • この商品を含むブログを見る

2019年の抱負

もう10日以上経ってしまったけど2019年の抱負。

大方針:アウトプット

今年のテーマは アウトプット を第一にする。昨年は本を読んだりUdemyでいろいろ勉強していたけど、雑でもいいからアウトプットすることで自分の血肉にしていきたいと思っている。

1日6時間以上寝る

よい自分はショートスリーパーなので、去年はだいたい1日5時間ぐらいしか寝ていない。ただ、これだと仕事でやる気が出なかったり、体調を崩したりする原因になるので、最低でも6時間は寝るようにする。朝はだいたい6:30には起きるので、0時にはベッドに入るようにする。

アルゴリズムもっと勉強する

とりあえずこの辺。

  • BTree
  • Graph
  • オートマトン

暗号技術を勉強する

暗号技術に対する理解が圧倒的に低いため、アルゴリズムを終えたら以下の本を読んでしっかり勉強する。

暗号技術入門 第3版

暗号技術入門 第3版

業務で必要なものを身につける

  • gRPC
  • Cloud Spanner
  • Cloud PubSub
  • SQLを復習する

英語を再開する

惰性でDMM英会話を続けているけど、まだまだ文法も表現力も少ないのでちゃんと自分の今の状態をmeasurableにしてステップアップして行きたい。そのためにIELTSを今年は受ける。目標としては6.5以上を目指したい。なぜTOEICではなくIELTSかというと、海外の大学の入学基準だったり、例えばカナダだとVISAの条件になっていて、TOEICより圧倒的に汎用性が高いため。

ブログ

ちゃんとした記事を月に1つは書く!

2018年の振り返り

あけましておめでとうございます。年末年始は親戚とハワイで過ごしていました。冬なのに海に入るという謎の体験をして、正月感はまったくなかったけどこれはこれで新鮮でした。

仕事

年始からチームを異動してPlatform開発の仕事をしていた。あまり具体的なことは言えないけど、メルカリのmicroservice化を進めるにあたり重要なコンポーネントの開発・運用をやっていた。自分にはこういうPlatformや基盤のようなものは向いていないかなと思っていたけど、やっていくうちにそれなりに知識がついてきて意外と楽しくなってきたのと、チームメンバーにも恵まれて自分の意見を臆せずバンバン言える雰囲気で良かったと思う。

2019年からはそんなチームを離れて、エンドユーザーに近い機能開発をしていく予定。

上海出張

gophercon.vn

年初の抱負に対する実績

今年は3ヶ月ごとに必ず振り返りをするということを行ったおかげでまったく目標が達成できない、ということはなかったように思う。ただ、やりたいことに対して圧倒的に時間が足りないというのは例年と変わらずで、2019年はやりたいことをもっと絞らないと駄目だと思っている。

アルゴリズム

  • ハッシュテーブルを実装した
  • 文字列検索でブルートフォースを実装した
  • 文字列検索でBoyer Moore法を実装した
  • 2分探索木を実装した
  • B木を実装中

ブロックチェーン

機械学習をやめて途中からブロックチェーンを学ぼうと思ったけど、途中からやる気がなくなりあまり進捗が良くなかった

lekcijeに課金機能をつける

途中からGKEに移行することを優先したので進捗がほぼない。

書いたブログ

2018年の前半はわりとブログを書く余裕があったのだけど、後半になって仕事が忙しくなってきてからはあまり書けていない。自分の学んだことをアウトプットしないとどんどん忘れてしまうので書きたいとは思いつつも後回しになってしまっていてこれは良くないなと思う。来年は月に1本ぐらいはちゃんとした内容のものを書きたい。

プライベート

サンフランシスコ行った

1月に奥さんの出張に付き合ってロス+サンフランシスコに家族で行ってきた

e-Residencyカードとマイナンバーカードを作成

2017年の12月にエストニアに行った勢いでe-Residencyカードという、エストニアに住んでいなくても銀行口座が作れたり会社作れたりするマイナンバーカードみたいなものを作った。ついでに日本のマイナンバーカードも作った。

病気になって人生初入院

こいぬめ氏の扁桃炎を被弾して自分も扁桃炎にかかる。息子はなんと扁桃腺を手術で切除する事態に... 自分はそこまではいかなかったけど、血液検査したら「今すぐ入院しないとまずいレベル」と医者に言われて即日病院送りに... 5日間入院して、ひたすら点滴を打つ毎日。

KORN

退院した直後にKORNのライブを観に行った。

副業的なもの

友達の仕事を手伝うなどした。まぁWordPressのセットアップをしてデータをサルベージしただけなんだけど。

2019年に向けて

まず仕事が忙しくなるとブログを書かなくなったり個人の勉強をおろそかにしてしまうのが本当に良くないと思っている。そもそも仕事が忙しいこと自体、自分にも責任があるのでちゃんとコントロールするようにしないといけない。この辺の課題をクリアしつつ、もう40歳になってしまうので、人生設計を真面目に考えないとマズい...

  • 達成したい目標を絞る
  • 仕事を忙しくし過ぎない
  • 今後10年の大まかな計画を立てる

あたりを2019年は頑張ろうと思う。