Go on oinume journal

Go言語でcodemod

Tue, 13 Aug 2024 08:00:00 +0900

大規模なコードベースでリファクタリングを省エネ化するためにcodemodを最近調べていて、軽く試行錯誤したのでそのメモ。

やりたいこと

例えば以下のようなTable Driven TestなコードをBEFOREからAFTERに書き換えたい。コード量が多いため人間がやるのは現実的ではなく、codemodで機械的に書き換えたい。

OpenTelemetryとhttptrace.ClientTraceを使ってHTTPリクエストのlatencyを可視化する

Mon, 11 Jul 2022 09:00:00 +0900

この記事は OpenCensusとhttptrace.ClientTraceを使ってHTTPリクエストのlatencyを可視化する - oinume journal のOpenTelemetry版。OpenTelemetryについては OpenTelemetryとは何か、そしてなぜそれが計装器の未来なのか？ | New Relic を見てもらうのが手っ取り早くて、httptrace.ClientTraceについては先のブログを見てもらえればと。

OpenTelemetry Tracing + httptrace.ClientTrace

早速本題に入ってしまうと、以下のようなコードを書くことでhttp.ClientでHTTPリクエストを送った際のlatencyを可視化することが可能になる。

Go1.17beta1でGenericsに触れてみた

Wed, 14 Jul 2021 08:30:00 +0900

Go1.17beta1がダウンロードできるようになったので、Generics(Type Parameters)でStackを書いて軽く遊んだメモ。

moq - gomockを使わないMock生成

Thu, 22 Oct 2020 09:00:00 +0900

Goでよく使われるMockの生成ツールとしてgomockがある1。個人的にはgomockが生成したコードでモックを書くのが好きではないので、代替としてmoqを使うやり方を取り上げてみようと思う。

なお、本記事ではgithub.com/golang/mockではなく、go.uber.org/mockを使うように 2024-06-11 に改訂している。[^1]

TL;DR

moqは、mockしたいinterfaceで定義されているメソッドと同じシグネチャのメソッドを生成し、そのメソッドを実装することでmockが作れる
- 純粋にメソッドのモック実装のコードを書けばいいだけなので、gomockのようにライブラリとしての使い方を覚える必要はない
- 生成されるコードもtype safeであり、gomockのようにanyは登場しない
moqには、mock化したメソッドが呼び出された回数を取得するなど、最低限のことはできるようになっている。
- それ以上のことをやりたければ自分で実装する

題材

GitHubのAPIを使い指定したリポジトリのブランチを出力するServiceを考えてみる。このServiceには以下の引数owner, repoで指定されたリポジトリのブランチをwに出力するというメソッドを持っている。

go testを並列で動かして速くする

Wed, 12 Aug 2020 09:00:00 +0900

はじめに

アプリケーションが大きくなってくると、テストを並列で実行しないとどんどんgo testの実行時間が長くなってしまい、いわゆる「CI待ち」というものが発生してしまう。この記事は自分用のメモだが、テストを少しでも速くしたいという人のための記事。おそらく会社の誰かがもっと丁寧な説明のブログ記事を書いてくれるはず。

OpenCensusとhttptrace.ClientTraceを使ってHTTPリクエストのlatencyを可視化する

Thu, 19 Dec 2019 08:30:00 +0900

はじめに

みなさんこんにちは。これはGo5 Advent Calendar 2019の19日目の記事です。この記事はOpenCensusとhttptrace.ClientTraceを使ってHTTPリクエストの内部的なlatencyを可視化する話です。「内部的なlatency」というのは、HTTPリクエストの中で名前解決にどのぐらいかかったとか、コネクションを張るのにどのぐらいかかったなどです。

Go言語における並行処理 - ユースケース編

Sat, 16 Nov 2019 09:00:00 +0900

はじめに

これは以下の記事の続きの記事。以下の2つではgoroutineとchannelについて説明したので、これらを使って具体的な並行処理のユースケースを書いてみる。

Goにおける並行処理 - channel編

Tue, 10 Sep 2019 08:30:00 +0900

はじめに

これはGoにおける並行処理 - goroutine編 - oinume journalの続きの記事。goroutineに引き続き、Goの並行処理を支える重要な概念であるchannelについて説明する。

Goにおける並行処理 - goroutine編

Wed, 28 Aug 2019 00:00:00 +0900

はじめに

Goでは、goroutineとchannelが言語仕様として組み込まれているため、他の言語に比べてとても並行処理のコードが書きやすい。この2つの基本的な動作原理についてまとめた自分用のメモである。(channelについては別の記事で書く予定)

Goのcontextによるキャンセルやタイムアウト

Mon, 17 Jun 2019 09:00:00 +0900

これはなに？

Go言語におけるcontextパッケージを使ったキャンセルやタイムアウトについて説明する。この記事を読むと以下について詳しくなれるはず...!

context.WithCancel
context.WithTimeout
context.Done
context.Err

とはいいつつも、かなり自分向けのまとめではあるし既出のトピックなので以下の記事を読むともっとわかりやすいはず。

done channelを使ったキャンセルの実装

contextがあると何が嬉しいのかを説明するために、まずはdone channelを使ってキャンセルを行うコードを書いてみる。これはGo言語による並行処理のP.137に記載されていたサンプルプログラムを少し修正したものである。

GCPのCloud PubSubをGoで動かしてみただけのメモ

Mon, 01 Apr 2019 09:00:00 +0900

これはGCPのCloud PubSubのチュートリアルをやってみただけの自分用のメモ。この記事で紹介されているサンプルコードはGitHubに置いてある。

Cloud PubSubとは

GCPで提供されているメッセージキュー。メッセージの送信をして(publish)、複数のシステムがそのメッセージを受信(subscribe)することができる。

クライアントを作って理解するOAuth2(実装編)

Tue, 12 Feb 2019 09:00:00 +0900

はじめに

クライアントを作って理解するOAuth2(準備編) - oinume journalの続編。前の記事ではGoogle APIsのプロジェクトを作成してOAuth2 clientを登録した。この記事では発行されたClient idを使って実際にAccess tokenを取得する部分をGoで実装してみたいと思う。

Satisfying a large interface quickly in Go

Mon, 12 Nov 2018 09:00:00 +0900

Sometimes it's painful to safisfy a large interface in Go. Here is a simple answer for this, just embed interface on struct like bellow:

package main

import (
    "fmt"
)

type Foo interface {
    MethodA()
    MethodB()  
    MethodC()
    MethodD()   
}

type FooImpl struct {
    Foo
}

func (fi *FooImpl) MethodA() {
    fmt.Println("MethodA called")
}

func main() {
    foo := new(FooImpl)
    foo.MethodA() // Implemented
    foo.MethodB() // Not implemented, runtime error will happen
}

You can check the result on https://play.golang.org/p/0y8ICTWCfpy.

Goのhttpパッケージだけでmiddlewareを実装する

Mon, 30 Jul 2018 09:00:00 +0900

標準ライブラリのhttpパッケージだけでもmiddlewareは簡単に作れますよ、というお話。

おさらい: http.Handlerまたはhttp.HandlerFuncでやり取りする

Goのhttp.Handlerやhttp.HandlerFuncをちゃんと理解する - oinume journalに書いたとおり、

GoのWeb Application Frameworkでオススメは？

Fri, 13 Jul 2018 09:00:00 +0900

GoのWeb Application Frameworkでオススメは？という質問をよく受ける。 標準ライブラリのhttpパッケージ使えばおｋ とまずは返答している。ただ、RESTで様々なHTTPメソッドをサポートする必要があり、かつ /v1/users/{id} のようなPath内にIDが入る場合の対応を行いたい場合は

Goのhttp.Handlerやhttp.HandlerFuncをちゃんと理解する

Mon, 09 Jul 2018 09:00:00 +0900

はじめに

GoでHTTP Serverを作ろうとすると、標準ライブラリを使う場合以下のようなコードをよく書くと思う。

package main

import (
    "fmt"
    "log"
    "net/http"
)

func main() {
    mux := http.NewServeMux()
    mux.Handle("/hello", http.HandlerFunc(hello))
    log.Fatal(http.ListenAndServe(":8080", mux))
}

func hello(w http.ResponseWriter, _ *http.Request) {
    w.WriteHeader(http.StatusOK)
    fmt.Fprintf(w, "Hello World")
}

このコードの登場人物としては以下になるが、それぞれなんだっけ？というのをいっつも忘れてしまうのでメモしておく。

Generating an unpredictable random value in Go

Mon, 14 May 2018 09:00:00 +0900

There are a lot of examples to use math/rand. However, should use crypto/rand if you want to generate an unpredictable random value. That's because crypto/rand uses getrandom(2) if available, /dev/urandom otherwise on Linux.

As a real world example, UUID v4 uses crypto/rand internally. UUID v4) is randomly generated. An implementation of UUID v4 in Go uses crypto/rand internally.

Here is an example to generate random values with crypto/rand.

Generate random integer

func generateInt(n int64) (int64, error) {
    r, err := rand.Int(rand.Reader, big.NewInt(n))
    if err != nil {
        return 0, err
    }
    return r.Int64(), nil
}

Generate random string

func generateString(length int) (string, error) {
    b := make([]byte, length)
    _, err := rand.Read(b)
    if err != nil {
        return "", err
    }
    return base64.URLEncoding.EncodeToString(b), nil
}

Whole source code

package main

import (
    "crypto/rand"
    "encoding/base64"
    "fmt"
    "log"
    "math/big"
)

func main() {
    v, err := generateInt(1000)
    if err != nil {
        log.Fatal(err)
    }
    fmt.Printf("random int = %v\n", v)

    s, err := generateString(10)
    if err != nil {
        log.Fatal(err)
    }
    fmt.Printf("random string = %v\n", s)
}

func generateInt(n int64) (int64, error) {
    r, err := rand.Int(rand.Reader, big.NewInt(n))
    if err != nil {
        return 0, err
    }
    return r.Int64(), nil
}

func generateString(length int) (string, error) {
    b := make([]byte, length)
    _, err := rand.Read(b)
    if err != nil {
        return "", err
    }
    return base64.URLEncoding.EncodeToString(b), nil
}

Comparing datetime in Golang

Wed, 02 May 2018 08:30:00 +0900

https://play.golang.org/p/5-BtaE6iXaP

time.Before and time.After

package main

import (
    "fmt"
    "time"
)

func main() {
    t1 := time.Date(2018, 1, 1, 10, 0, 0, 0, time.UTC)
    t2 := time.Date(2018, 1, 1, 11, 0, 0, 0, time.UTC)
    fmt.Printf("t1.Before(t2) = %v\n", t1.Before(t2)) // test "t2 - t1 > 0" --> true
    fmt.Printf("t2.Before(t1) = %v\n", t2.Before(t1)) // test "t1 - t2 > 0" --> false
    fmt.Printf("t2.After(t1) = %v\n", t2.After(t1))   // test "t1 - t2 < 0" --> true
    fmt.Printf("t1.After(t2) = %v\n", t1.After(t2))   // test "t2 - t1 < 0" --> false

    fmt.Printf("t1.Equal(t1) = %v\n", t1.Equal(t1)) // true
    fmt.Printf("t1.Equal(t2) = %v\n", t1.Equal(t2)) // false
}

time.Equal

You can use time.Equal to compare the time objects are exactly same.

grpc-gatewayでRESTful APIを実装する

Mon, 26 Mar 2018 09:00:00 +0900

背景

何かしらの理由でRESTでAPIを実装しなくてはいけない時に、JSONを直接扱うのは面倒くさい。具体的には、JSONをデシリアライズして内部のデータ構造にマッピングする処理を書くのが面倒だ。というわけで、grpc-gatewayを使ってProtocol Buffersを定義するだけでREST APIを実装できないかを検討してみた。

Handling uploaded files in Go

Tue, 19 Dec 2017 09:00:00 +0900

Handling uploaded files in Go is quite easy. Here is a complete example.

net/http.Request.ParseMultipartForm parses a request body as multipart/form-data. You can get files with net/http.Request.FormFile after calling the method
net/http.Request.FormFile returns mime/multipart.File and mime/multipart.FileHeader.
You can read a content from mime/multipart.File
You can get a file name from mime/multipart.FileHeader

The Go Programming Language (Addison-Wesley Professional Computing Series)

go test in practice

Thu, 13 Apr 2017 09:00:00 +0900

This blog post describes basics and practical examples of go test. Go’s automated test mechanism is well designed and easy to use. I’ll show you some techniques of go test in this article.

What is `go test`

go test is a command to run automated tests of go packages.

Automated test must be defined in _test.go file
Automated test function must start with Test prefix

Example: stack

I implement a stack as real world example to explain go test. stack package provides stack.go. If you want to write tests for stack.go, create a file named stack_test.go. The source code is in GitHub repository.

WebアプリケーションのE2EテストをGoで書く

Sun, 18 Dec 2016 23:21:56 +0900

これはGo Advent Calendar 2016の18日目の記事です。今回はGoでE2Eテストを行うためのライブラリagoutiについて書きます。

GoでE2Eテストを書く理由

WebアプリケーションのサーバーサイドをGoで書いている場合、GoでE2Eテストを書くメリットとして

Arguments to defered functions are evaluated when the defer executes

Mon, 23 May 2016 19:00:00 +0900

The arguments to the deferred function (which include the receiver if the function is a method) are evaluated when the defer executes, not when the call executes.

Effective Go - The Go Programming Language

I sometimes make a mistake that defered functions are evaluated when the function is called but it’s wrong. Here is an example.

package main

import (
        "fmt"
        "time"
)

type wrapped func()

func main() {
        wrapper(func () {
                time.Sleep(time.Second * 3)
                fmt.Println("Hello")
        })
}

func wrapper(f wrapped) {
        fmt.Println("wrapper() start: ", time.Now().UTC())
        defer instrument(time.Now().UTC())
        f()
        fmt.Println("wrapper()   end: ", time.Now().UTC())
}

func instrument(start time.Time) {
        fmt.Println("instrument():    ", start)
}

$ go run defer.go
wrapper() start:  2016-05-23 07:28:37.474091714 +0000 UTC
Hello
wrapper()   end:  2016-05-23 07:28:40.474272645 +0000 UTC
instrument():     2016-05-23 07:28:37.474139821 +0000 UTC

If defer functions are evaluated at call time, instrument() time must be 3 seconds later.

Go Tip: Don't take the address of loop variable

Sat, 09 Apr 2016 12:00:00 +0900

stackoverflow.com

If you take the address of loop variable, it may cause a bug which all values are same. You might expect following program prints 5 10 15 but it prints 15 15 15. That’s because loop variable v is initialized just once.

package main

import "fmt"

func main() {
    coll := []int{5, 10, 15}
    for _, v := range toPointers(coll) {
        fmt.Printf("%v ", *v)
    }
}

func toPointers(ints []int) []*int {
    pointers := make([]*int, len(ints))
    for i, v := range ints {
        pointers[i] = &v // XXX: mistake
    }
    return pointers
}

You can get expected result if you write like this:

What I read, watched, listened recently

Sat, 03 Oct 2015 23:04:09 +0900

dotGo 2014 - Andrew Gerrand - 5 things I love

Andrew Gerrand is a Googler and worked for Go. I watched this video just to learn English but it was good that he was describing Go's feature very well.

www.youtube.com

Golang UK Conference 2015 - Andrew Gerrand - Stupid Gopher Tricks

Another Andrew's talk. Slide

www.youtube.com

Twelve Go Best Practices - Francesc Campoy

Francesc Campoy is also a Googler and worked for Go. Best practices from Googler is worth to read. Slide

Mocking a HTTP access with http.Transport in Golang

Mon, 13 Apr 2015 09:00:00 +0900

I've investegated a way to mock HTTP request and response when writing a code to access to a HTTP API with http.Client. Finally, I found that I can do it by just implementing RoundTrip method of http.RoundTripper.

Here is an example of mocking and proxying HTTP request and response. Running with go run main.go -mock mock, you can get mocked result and with go run main.go -mock proxy, you can get proxied result with httptest.Server.

Goで標準出力をキャプチャする

Sat, 27 Dec 2014 21:48:46 +0900

こんな感じかなぁ。http://play.golang.org/p/2DFtYAsFO9

package main

import (
    "bytes"
    "fmt"
    "io"
    "os"
)

type Capturer struct {
    saved         *os.File
    bufferChannel chan string
    out           *os.File
    in            *os.File
}

// 標準出力をキャプチャする
func (c *Capturer) StartCapturingStdout() {
    c.saved = os.Stdout
    var err error
    c.in, c.out, err = os.Pipe()
    if err != nil {
        panic(err)
    }

    os.Stdout = c.out
    c.bufferChannel = make(chan string)
    go func() {
        var b bytes.Buffer
        io.Copy(&b, c.in)
        c.bufferChannel <- b.String()
    }()
}

// キャプチャを停止する
func (c *Capturer) StopCapturingStdout() string {
    c.out.Close()
    os.Stdout = c.saved
    return <-c.bufferChannel
}

func main() {
    c := &Capturer{}
    c.StartCapturingStdout()
    fmt.Println("hello")

    captured := c.StopCapturingStdout()
    fmt.Println("captured:", captured)
}

GoLangでJavaのenumっぽいライブラリ作った話

Sun, 07 Dec 2014 11:04:17 +0900

この記事は、CyberAgent エンジニア Advent Calendar 2014の7日目の記事です。
6日目はkamatama41さんのアメーバピグへのGoogle BigQuery導入までのもろもろ設定記です
8日目はstormcat24さんです

はじめに

Goでは言語標準でenumという機構がなくてつらかったのでそれっぽいものを作ったよという話。

Macでファイルが変更されたら自動的にgofmtをかける

Tue, 21 Oct 2014 22:23:48 +0900

fswatchを使うと楽っぽい。

$ brew install fswatch
$ fswatch . | xargs -n1 -I{} gofmt -w {}

gofmt -w だと、stdoutに出力せずに直接対象ファイルに書き込まれる。

Goでnilなsliceやmapを返すと空のsliceやmapになる

Mon, 15 Sep 2014 02:58:25 +0900

タイトルの通りだけど知らなかったので。明示的に空のsliceやmapを作らなくてもいいのは楽だ。

http://play.golang.org/p/veOWHGDdcn

package main

import "fmt"

func emptyMap() map[string]string {
    return nil
}

func emptySlice() []string {
    return nil
}

func main() {
    emptySlice := emptySlice()
    fmt.Printf("slice len = %d\n", len(emptySlice))

    emptyMap := emptyMap()
    fmt.Printf("map len = %d\n", len(emptyMap))
}

golintの-min_confidenceでチェックするレベルを変更する

Sat, 13 Sep 2014 22:23:42 +0900

これはGo的にはあまりやらない方がいいと思うやつなんだけど、こういうこともできるよ、という紹介。

type Hoge struct {
    Url    string
}

みたいに書いてgolintを実行すると "struct field Url should be URL" と怒られる。しかし、golintには -min_confidence という引数を指定できる。デフォルトは0.8なので、試しにこれを1.0に引き上げてみると"struct field Url should be URL"というエラーは出なくなる。https://github.com/golang/lint/blob/master/lint.go のソースを見てみると、いろいろなチェック処理で

Revel Frameworkでのテスト

Wed, 10 Sep 2014 09:00:00 +0900

今使っているRevel Frameworkのテストについてまとめてみた。

デモ

サンプル https://github.com/oinume/revel-sample

テストの実行(ブラウザー経由)

revel run revel-sample

http://localhost:9000/@tests にアクセス

テストの実行(CUI)

revel test revel-sample

TestSuite

type AppTest struct {
    revel.TestSuite
}

revel.TestSuiteを埋め込んで使うと、コイツが持っている各種関数が使えるようになる。

Goのstructとinterface

Tue, 12 Aug 2014 20:00:00 +0900

社内でGo勉強会をやったのでその時に自分が発表した時の内容。オブジェクト指向的なことをGoでどう実現するのか、どの辺を諦めなくてはいけないのかをまとめてみた。

IntelliJ IDEAのgo-lang-idea-pluginをビルドする

Sat, 26 Jul 2014 21:54:20 +0900

最近Goを少し書くようになった。PythonやRubyを書く時はIntelliJを使っているので、GoもIntelliJで書きたい。ただ、IntelliJからインストールできる公開されているプラグインは今年の1月の古めのものなので、go-lang-idea-pluginを自分でビルドしてインストールしてみた。

Go on oinume journal

Go言語でcodemod

やりたいこと

OpenTelemetryとhttptrace.ClientTraceを使ってHTTPリクエストのlatencyを可視化する

OpenTelemetry Tracing + httptrace.ClientTrace

Go1.17beta1でGenericsに触れてみた

moq - gomockを使わないMock生成

TL;DR

題材

go testを並列で動かして速くする

はじめに

OpenCensusとhttptrace.ClientTraceを使ってHTTPリクエストのlatencyを可視化する

はじめに

Go言語における並行処理 - ユースケース編

はじめに

Goにおける並行処理 - channel編

はじめに

Goにおける並行処理 - goroutine編

はじめに

Goのcontextによるキャンセルやタイムアウト

これはなに？

done channelを使ったキャンセルの実装

GCPのCloud PubSubをGoで動かしてみただけのメモ

Cloud PubSubとは

クライアントを作って理解するOAuth2(実装編)

はじめに

Satisfying a large interface quickly in Go

Goのhttpパッケージだけでmiddlewareを実装する

おさらい: http.Handlerまたはhttp.HandlerFuncでやり取りする

GoのWeb Application Frameworkでオススメは？

Goのhttp.Handlerやhttp.HandlerFuncをちゃんと理解する

はじめに

Generating an unpredictable random value in Go

Generate random integer

Generate random string

Whole source code

Comparing datetime in Golang

time.Before and time.After

time.Equal

grpc-gatewayでRESTful APIを実装する

背景

Handling uploaded files in Go

go test in practice

What is go test

Example: stack

WebアプリケーションのE2EテストをGoで書く

GoでE2Eテストを書く理由

Arguments to defered functions are evaluated when the defer executes

Go Tip: Don't take the address of loop variable

What I read, watched, listened recently

dotGo 2014 - Andrew Gerrand - 5 things I love

Golang UK Conference 2015 - Andrew Gerrand - Stupid Gopher Tricks

Twelve Go Best Practices - Francesc Campoy

Mocking a HTTP access with http.Transport in Golang

Goで標準出力をキャプチャする

GoLangでJavaのenumっぽいライブラリ作った話

はじめに

Macでファイルが変更されたら自動的にgofmtをかける

Goでnilなsliceやmapを返すと空のsliceやmapになる

golintの-min_confidenceでチェックするレベルを変更する

Revel Frameworkでのテスト

デモ

TestSuite

Goのstructとinterface

IntelliJ IDEAのgo-lang-idea-pluginをビルドする

What is `go test`