oinume journal

macOSで日本語／英語入力の切り替えを改善

Sat, 18 Jul 2026 21:32:39 +0900

自分はmacOS + USキーボードを使っているため、今までは日本語／英語の入力切り替えは標準のCtrl + Spaceキーでトグルで切り替えるようにしていた。このトグル方式での切り替えの問題点として、「必ず英語入力にしたい」みたいなケースに対応できていなかった。

AIに相談したところ、以下のようにキーを割り当てれば問題を解決できる、と言われたので試しにやってみた。

左Commandキー: 英語
右Commandキー: 日本語

上記のキーの設定自体はKarabiner-Elementsで設定している。設定ファイルの該当部分だけ抜き出すと以下のような感じ。

karabiner-elementsの設定

{
    "profiles": [
        {
            "name": "Default profile",
            ...
            "complex_modifications": {
                "rules": [
                    {
                        "description": "Left Command -> Eisuu / Right Command -> Kana (when pressed alone)",
                        "manipulators": [
                            {
                                "type": "basic",
                                "from": {
                                    "key_code": "left_command",
                                    "modifiers": { "optional": ["any"] }
                                },
                                "to": [{ "key_code": "left_command", "lazy": true }],
                                "to_if_alone": [{ "key_code": "japanese_eisuu" }]
                            },
                            {
                                "type": "basic",
                                "from": {
                                    "key_code": "right_command",
                                    "modifiers": { "optional": ["any"] }
                                },
                                "to": [{ "key_code": "right_command", "lazy": true }],
                                "to_if_alone": [{ "key_code": "japanese_kana" }]
                            }
                        ]
                    }
                ]
            },
            "virtual_hid_keyboard": { "keyboard_type_v2": "ansi" }
        }
    ]
}

1ヶ月これで運用してみて、結果としてはなかなか良い。特にtmuxを使っている場合にprefix + 数字でタブを頻繁に切り替えるのだけど、IMEが日本語入力モードになっているとタブが移動できない問題があったが、今はタブ切り替えの前に必ず左Commandをタイプすれば良くなった。

また、MacBookから別のMac Miniに画面共有アプリで接続している際に、Ctrl + Spaceのトグルが接続元のMacBookの方に効いてしまって、接続先で日本語・英語が切り替えられないという問題を抱えていた。しかし、この問題も上の設定をしたおかげで接続先で日本語・英語が切り替えられるようになるという副次的な改善効果もあった。

というわけでちょっとした困りごともAIに聞いてみると良いもんだなぁと思ったエピソードでした。

はてなブログから移行

Sat, 06 Jun 2026 19:05:41 +0900

このブログをはてなブログからHugo + Firebase Hostingに移行した。はてなブログは2014年から12年間もの間使っていたのでなんとも感慨深い。はてなブログProを年間契約していて、毎年サブスクの更新前になると「そろそろブログ移行しないとな〜」と思ってずっとやれていなかった。しかし、今年はコーディングエージェントの力を借りて課金前に滑り込みで移行することができた。本当にコーディングエージェントはすごい＆ありがたいことこの上ない。

なんで移行したの？

独自ドメインで運用したかったためはてなブログは有料のProプランに入っていたのだけど、年間8400円かかっている割にはブログは月に1本記事を書くかどうかの頻度で、「コスパが悪かった」というのが大きな理由。はてなブログの機能自体は便利だったので、そこには全く不満はなかった。むしろHugoだと機能が少なくて不満に思うことがよくある。

なんでHugo?

AstroかHugoかで悩み、Astroはテーマごとに記事の属性(Frontmatterでつけるやつ)が異なるという思想が気に入らなかったのでHugoにした。ただ、色々とテーマを変えている最中に、AstroほどひどくはないけどHugoも似たような思想だと気づいたが😇、もう諦めている。

Hugoのテーマはprimer-blogにした。検索機能がないのがネックだったけど、AIに作ってもらえばいいかと思いそこは妥協した。

なおHugoのブログ記事のコンテンツはもちろんGitHubリポジトリにプッシュしている。

なんでFirebase Hosting?

Firebaseでは設定ファイルでリダイレクトの設定が簡単にでき、そのついでにホスティング環境としても使わせてもらったというだけ。候補としてはCloudflare Pagesも魅力的だったが、わざわざ別のホスティング環境の設定をするのが面倒だったというだけで、それ以上の理由はない。

記事の移行

MT形式のはてなブログの記事をHugoのMarkdown形式に変換するスクリプトはClaude Codeに生成してもらった。はてなブログからはエクスポートの機能を使ってMT形式でファイルとしてエクスポートし、それをこのスクリプトに食わせる。

落とし穴だったのは、Proプランに加入していてもエクスポートした記事にはてなキーワードへのリンクがあって、これを変換時に削除する必要があったこと。ってかなんでProなのにはてなキーワードへのリンクが入ってくるねん、、、

移行手順

まずはてなブログにある記事をエクスポートし、Hugo側のフォーマット(Markdown)に変換して、Firebase Hostingに生成したHTMLをデプロイしておく。

次にFirease Hostingの機能を使って、以下のようなリダイレクトの設定を行い、はてなブログの記事URLでアクセスされた場合はリダイレクトするように設定する。

{
  "hosting": {
    "public": "hugo/public",
    "ignore": [
      "firebase.json",
      "**/.*",
      "**/node_modules/**"
    ],
    "redirects": [
      {
        "source": "/entry/:slug*",
        "destination": "/posts/:slug*",
        "type": 301
      },
      {
        "source": "/archive/category/:name",
        "destination": "/categories/:name/",
        "type": 301
      },
      {
        "source": "/archive/:year/:month",
        "destination": "/archives/:year/:month/",
        "type": 301
      },
      {
        "source": "/archive/:year",
        "destination": "/archives/:year/",
        "type": 301
      }
    ]
  }
}

最後にFirebase Hostingで journal.lampetty.net のカスタムドメインの設定を行う。DNSに以下のレコードの定義で、CNAMEの向き先を以下のように変更する

CNAME journal.lampetty.net hatenablog.com.
  ↓
CNAME journal.lampetty.net blog-lampetty-net.web.app.

しばらく待っているとFirebase側で journal.lampetty.net に対するTLS証明書を取得してくれるので、これのセットアップが終わるまで待つ。自分の場合は10分ぐらいで終わっていた。

あとはリダイレクトがちゃんとされるかなどの確認をして終わりだった。

Hugoで足りない機能

以下ははてなブログにはあった機能だが、Hugo単体では存在しないものだったので、自作した。長くなるので今回は割愛するけど、別記事で詳しく説明したい。

デフォルトのOGP画像生成
年・月ごとのアーカイブページ
予約投稿

最後に

Hugoには機能が色々足りなくてこれからも自作していく必要があるけど、コーディングエージェントのおかげで足りないものが一瞬で出来上がるので、そのうちはてなブログより便利になりそうな予感がしている。テーマについても自作したいな。

まだGitHub上やエディタでブログ記事を書くということに慣れていないけど、慣れた環境で記事を書けるのは便利かもしれない。あとリポジトリで管理しておけば生成AIの力を借りて記事を書きやすくなるかも？という気もしている。

Appendix

はてなブログの記事をHugoのMarkdown形式に変換するスクリプト

convert.ts

import fs from 'node:fs';
import path from 'node:path';
import TurndownService from 'turndown';

// --- CLI args ---
const args = process.argv.slice(2);
if (args.length === 0 || args[0] === '--help') {
  console.error('Usage: tsx convert.ts <input-file> --out <output-dir> [--format astro|hugo] [--limit N]');
  process.exit(1);
}

const inputFile = args[0];
let outDir = 'out';
const outIdx = args.indexOf('--out');
if (outIdx !== -1 && args[outIdx + 1]) {
  outDir = args[outIdx + 1];
}
let format: 'astro' | 'hugo' = 'astro';
const fmtIdx = args.indexOf('--format');
if (fmtIdx !== -1 && args[fmtIdx + 1]) {
  const val = args[fmtIdx + 1];
  if (val === 'hugo' || val === 'astro') format = val;
}
let limit = Infinity;
const limitIdx = args.indexOf('--limit');
if (limitIdx !== -1 && args[limitIdx + 1]) {
  limit = parseInt(args[limitIdx + 1], 10);
}

// --- Turndown setup ---
const td = new TurndownService({ headingStyle: 'atx', codeBlockStyle: 'fenced' });

// Strip Hatena keyword links: <a class="keyword" href="...">text</a> -> text
td.addRule('hatena-keyword', {
  filter: (node) =>
    node.nodeName === 'A' &&
    typeof (node as Element).getAttribute === 'function' &&
    (node as Element).getAttribute('class') === 'keyword',
  replacement: (content) => content,
});

// Convert <pre class="code LANG" ...> to fenced code blocks
td.addRule('hatena-pre', {
  filter: (node) =>
    node.nodeName === 'PRE' &&
    typeof (node as Element).getAttribute === 'function' &&
    ((node as Element).getAttribute('class') ?? '').startsWith('code'),
  replacement: (_content, node) => {
    const el = node as Element;
    const cls = el.getAttribute('class') ?? '';
    const langMatch = cls.match(/\bcode\s+(\S+)/);
    const lang = langMatch ? langMatch[1] : '';
    const code = (node as HTMLElement).textContent ?? '';
    return `\n\`\`\`${lang}\n${code}\n\`\`\`\n`;
  },
});

// --- MT format parser ---
interface Entry {
  title: string;
  basename: string;
  status: string;
  date: string;
  categories: string[];
  body: string;
}

function parseDate(raw: string): string {
  // MM/DD/YYYY HH:MM:SS -> YYYY-MM-DD
  const m = raw.match(/^(\d{2})\/(\d{2})\/(\d{4})/);
  if (!m) return raw;
  return `${m[3]}-${m[1]}-${m[2]}`;
}

function parseDateRFC3339(raw: string): string {
  // MM/DD/YYYY HH:MM:SS -> YYYY-MM-DDTHH:MM:SS+09:00
  const m = raw.match(/^(\d{2})\/(\d{2})\/(\d{4})\s+(\d{2}):(\d{2}):(\d{2})/);
  if (!m) return parseDate(raw);
  return `${m[3]}-${m[1]}-${m[2]}T${m[4]}:${m[5]}:${m[6]}+09:00`;
}

function extractDescription(markdown: string, maxLen = 150): string {
  // Strip markdown syntax, take first non-empty paragraph
  const text = markdown
    .replace(/```[\s\S]*?```/g, '')
    .replace(/[#*`\[\]]/g, '')
    .replace(/\n+/g, ' ')
    .trim();
  return text.slice(0, maxLen).replace(/\s+$/, '');
}

function parseEntries(content: string): Entry[] {
  const rawEntries = content.split(/^--------$/m).map((s) => s.trim()).filter(Boolean);
  const entries: Entry[] = [];

  for (const raw of rawEntries) {
    // Split into header section and body sections by "-----"
    const sections = raw.split(/^-----$/m);
    const header = sections[0];

    const fields: Record<string, string> = {};
    const categories: string[] = [];
    for (const line of header.split('\n')) {
      const match = line.match(/^([A-Z ]+):\s*(.*)/);
      if (match) {
        const key = match[1].trim();
        if (key === 'CATEGORY') {
          categories.push(match[2].trim());
        } else {
          fields[key] = match[2].trim();
        }
      }
    }

    // Find BODY section
    let body = '';
    for (let i = 1; i < sections.length; i++) {
      const sec = sections[i].trim();
      const bodyMatch = sec.match(/^BODY:\n([\s\S]*)/);
      if (bodyMatch) {
        body = bodyMatch[1].trim();
        break;
      }
    }

    entries.push({
      title: fields['TITLE'] ?? '',
      basename: fields['BASENAME'] ?? '',
      status: fields['STATUS'] ?? '',
      date: fields['DATE'] ?? '',
      categories,
      body,
    });
  }

  return entries;
}

function toFrontmatter(entry: Entry, description: string, fmt: 'astro' | 'hugo'): string {
  const title = entry.title.replace(/'/g, "''");
  const desc = description.replace(/'/g, "''");
  const date = parseDate(entry.date);

  if (fmt === 'hugo') {
    const dateRFC3339 = parseDateRFC3339(entry.date);
    const lines = [
      '---',
      `title: '${title}'`,
      `date: '${dateRFC3339}'`,
      `description: '${desc}'`,
      `draft: false`,
    ];
    if (entry.categories.length > 0) {
      const cats = entry.categories.map((c) => `'${c.replace(/'/g, "''")}'`).join(', ');
      lines.push(`categories: [${cats}]`);
      lines.push(`tags: [${cats}]`);
    }
    lines.push('---');
    return lines.join('\n');
  }

  // astro (default)
  const lines = [
    '---',
    `title: '${title}'`,
    `description: '${desc}'`,
    `pubDate: '${date}'`,
  ];
  if (entry.categories.length > 0) {
    const cat = entry.categories[0].replace(/'/g, "''");
    lines.push(`category: '${cat}'`);
  }
  lines.push('---');
  return lines.join('\n');
}

// --- Main ---
const content = fs.readFileSync(inputFile, 'utf-8');
const entries = parseEntries(content);
const published = entries.filter((e) => e.status === 'Publish');

fs.mkdirSync(outDir, { recursive: true });

let count = 0;
for (const entry of published) {
  if (count >= limit) break;
  if (!entry.basename) continue;

  const markdown = td.turndown(entry.body);
  const description = extractDescription(markdown);
  const frontmatter = toFrontmatter(entry, description, format);
  const output = `${frontmatter}\n\n${markdown}\n`;

  const outPath = path.join(outDir, `${entry.basename}.md`);
  fs.mkdirSync(path.dirname(outPath), { recursive: true });
  fs.writeFileSync(outPath, output, 'utf-8');
  count++;
}

console.log(`Converted ${count} posts to ${outDir}/`);

iOSのショートカットで朝ごはんの内容を音声でメモアプリに記録する

Thu, 30 Apr 2026 09:00:00 +0900

毎朝息子に朝ごはんを作っているのだけど、レパートリーが少ないため3日間同じメニューになってしまったりするので、最近はメモアプリに何を食べたか記録してなるべく違うものになるように工夫していた。でで、スマホからメモアプリを起動して入力するのが面倒だったので、ショートカットアプリで音声入力でメモアプリに残すように半自動化してみたという話。

具体的には「ぼうやの朝ごはん」というノートに以下のようにテキストが追記されていくイメージ。

04/27月: 夜ご飯のおかずの残り
04/28火: 食パンと目玉焼き
04/29水: ツナサンド
...

完成したショートカットのイメージ

ショートカットの設定手順

iOSのショートカットアプリはできることが豊富であるがゆえに、必要な処理を探すのがわかりづらいと感じたので具体的な手順を書いておく。ちなみにiOS 26での手順なのでバージョンが違うと若干異なるかもしれない。

ショートカットアプリを起動
右上の+ボタンで新規ショートカットを作成
スクリプティングを選択して、「テキストを音声入力」を選択
アクションを検索 -> スクリプティング -> 日付をフォーマットを選択。日付のフォーマットは 05/01水 のようにしたいので、MM/ddEEEを設定
- 日付のフォーマット文字列についてはここを参照
そのままだと「音声入力されたテキスト」を書式設定することになってしまっているので、「音声入力されたテキスト」をタップして「変数を消去」し、「現在の日付」をかわりに設定する
アクションを検索 -> スクリプティング -> 「テキスト」を選択
「変数を選択」の部分から上2つの入力を組み合わせて「 フォーマット済みの日付: 音声入力されたテキスト」を入力するように設定する
アクションを検索 -> 「メモ」アプリを選択 -> 「メモに追加」を選択
追記したい先のメモを選択(自分のケースでは「ぼうやの朝ごはん」)

ショートカットの起動

毎回ショートカットアプリを開いて作成したショートカットを起動するの面倒なので、自分はウィジェットで起動できるようにしている。あとはSiriを起動して「ぼうやの朝ごはん」と言うとショートカットを起動してくれる。

Siri経由は、最初のうちはなぜかカレンダーから「ぼうやの朝ごはん」を探そうとして「そんなものはありません」と言われていたのだけど、ウィジェットに登録した後からちゃんと認識してくれるようになった 🤔

実際使ってみて

音声認識の精度が心配だったのだけど、朝ごはんの内容ぐらいであれば音声が誤認識されることはなく特に問題なく運用できている。より難しいテキストを入力する場合はOpenAIなどのAPIとScriptableを使えば良いと思われる。

初めてiOSショートカットで複雑なフローを組んでみたけど、これ単体でかなり高度なことができそうなので他にも音声入力系で自動化を頑張ってみたい

Bashの起動を高速化した

Mon, 16 Mar 2026 08:30:00 +0900

最近Bashを起動する速度がどんどん遅くなっているなと感じたので、Claude Codeに高速化を依頼した。

パフォーマンスの可視化

まず手始めに、Bash起動時に何に時間がかかっているのかをわかるようにしてもらった(PR)。

以下のようにBASH_PROFILE_PROFILING=1 bash -lで起動することで、以下のようにどこに時間がかかっているかが計測可能になる。

BASH_PROFILE_PROFILING=1 bash -l
[profile]      1 ms (+   1 ms) prompt/history
[profile]     48 ms (+  47 ms) brew --prefix
[profile]     49 ms (+   1 ms) .bash_local
[profile]    118 ms (+  69 ms) bash-completion
[profile]   1361 ms (+1243 ms) bash-it
[profile]   1401 ms (+  40 ms) fzf
[profile]   1402 ms (+   1 ms) bash-powerline
[profile]   1403 ms (+   1 ms) tmuxinator
[profile]   1404 ms (+   1 ms) completion (git)
[profile]   1410 ms (+   6 ms) google-cloud-sdk
[profile]   1505 ms (+  95 ms) rbenv
[profile]   1516 ms (+  11 ms) JDK (java_home)
[profile]   1917 ms (+ 401 ms) nvm
[profile]   1947 ms (+  30 ms) mise
[profile]   1970 ms (+  23 ms) wtp
[profile]   1980 ms (+  10 ms) direnv
[profile]   1981 ms (+   1 ms) nvm bash_completion
[profile]   1982 ms (+   1 ms) ===== TOTAL =====

高速化

とりあえず bash-it が遅すぎるのでこれを読み込まないようにした。これだけど 1243ms 速くなり、体感的にもかなり快適になった。

次に遅いのがnvm関連。ちょうどmiseに移行しようと思っていたので、移行を済ませてnvmを読み込まないようにした。これで400ms速くなった。

同様にrbenvもmiseに移行して消せるので削除。

まとめ

そんなこんなで色々削って起動時間が 1982ms -> 273ms になり爆速になりましたとさ

mineoに乗り換えて1年経った

Sun, 01 Mar 2026 10:00:00 +0900

スマホのSIMをMVNOのmineoに切り替えて1年以上が経って、かなり満足しているのでここにその良さを書いておく。mineoの前は、新規契約はストップしているOCNモバイルONEを使っていた。

mineoに切り替えた理由

新規契約をストップしていることから、OCNモバイルONEには将来性がなさそう
mineoは以前も契約していたことがあり、速度制限がある状態でも1.5Mbps(当時は1Mbpsだったかも?)の速度が出ることは知っていた
価格的には日本通信も候補に上がったけど、DoCoMoではなくauの回線を使いたかったのでmineoに決めた

自分のユースケース

週3,4は通勤しているので主にその隙間時間で以下をやっている。mineoに切り替えてからは月に30GBぐらいのギガを使っている。

ストリーミングで音楽を聴く
YouTubeを見る
移動中にテザリングでPC作業をする
Podcastを聴く
SNSを見る
Kindleなどで本を読む

mineoにしてどうだったか

OCNモバイルONEは10GB / 月の容量しかなかったので通勤中にYouTubeを観ることは不可能だったけど、mineoにしてからは移動中に動画を見れるようになったので生活が大きく変わった。Netflixも見たいものがあれば事前にダウンロードする必要があったけど、これもストリーミングで再生できるようになったので便利になった。

また、速度制限がある状態でもテザリングでなんとか作業できるため、移動中にやれることの幅が広がったように思う。

さらに、2026年3月から速度制限状態でも最大で1.5 -> 3Mbps出るようになり1、より快適になった。自分は 15GB / 月のプランを契約しているけど、速度制限がある状態でもほとんど用が済んでしまうため、ギガが毎月半分以上使い切れていないという状態になっている。

というわけで

よほど改悪されない限りは、ずっとmineoでいこうと思うほどに快適です。

ちょうどいい使い放題オプション「パケット放題 3Mbps」の正式リリースについて｜mineoユーザーサポート ↩

Claude Codeの設定の差分を吸収するsettings.jsonの管理方法

Sun, 15 Feb 2026 00:05:00 +0900

背景

会社のPCと個人PCでClaude Codeを使っているのだけど、

会社PCではAPI Keyによる従量課金方式
個人PCはサブスクのProプラン

となっている。permissionsの設定などで秘伝のタレ化している ~/.claude/settings.json は共通化して管理したいが、会社PCの ~/.claude/settings.json にはAPIキーやその他会社環境固有の環境変数を定義する必要があるため、会社PCと個人PCで発生する差分をどうにかしたい。

まとめ

macOSの場合は、PC固有の設定を /Library/Application\ Support/ClaudeCode/managed-settings.json に保存する
共通の設定は dotfiles リポジトリ内で settings.json を管理

このやり方でうまいこと差分を吸収できたよ、というただそれだけの記事。

参考リンク: Claude Code settings - Claude Code Docs

Apple Developer Programに加入せずにReact Native(expo)でiOSアプリを実機にインストール

Sat, 14 Feb 2026 09:00:00 +0900

「こんなアプリがほしい」と思ってExpoで作ってみたものを実機にインストールして使ってみたかった。調べたらApple Developer Programのお布施を払わなくてもインストールする方法があったのでメモ。

必要なもの

Xcode
- https://developer.apple.com/xcode/resources/ からダウンロードしておく
cocoapods (Homebrewとかでインストールしておく)
iPhoneをmacに接続しておく

手順

expoはexpo prebuildコマンドでネイティブのコードを生成できるので、これを使ってXcodeでアプリを実機にインストールする。

npx expo prebuild

次にこの投稿に書いてある設定をする

なお、上の投稿では6.で以下のように書かれているが、

Build bundle with npx expo export:embed --entry-file='node_modules/expo/AppEntry.js' --bundle-output='./ios/main.jsbundle' --dev=false --platform='ios'

自分の場合は以下のように--entry-fileを修正する必要があった。

npx expo export:embed --entry-file='node_modules/expo-router/entry.js' --bundle-output='./ios/main.jsbundle' --dev=false --platform='ios'

あと依存ライブラリがインストールされずにビルドに失敗していたので、以下を実行する必要があるかもしれない

cd ios
pod install

2026年1月時点での作業環境

Mon, 26 Jan 2026 09:00:00 +0900

マシン＆OS

メインPCはmacOS
VPSではUbuntu

アプリ

Browser: ChromeたまにSafari
IDE: IntelliJ IDEA
Editor: VScode。コードを書くときはIntelliJで、ちょっとしたテキストの編集をする際はVScode
Terminal: iTerm + tmux + fzf
- tmuxがちゃんと動くならGhosttyに乗り換えたいかも
- fzf, tmuxは10年以上使ってる気がする
Shell: Bash
- 昔はZsh使っていたがカスタマイズが面倒になってBashにした
Coding Agent: Claude Code, たまにCodex。去年はCursorを使っていたが最近は使ってない
Launcher: Raycast
タスク管理: Reminder
パスワード管理: 1Password
その他: Homerow, Giphy

メモアプリ

去年はObsidianを使ってみたが、あまり馴染まずで結局macOSのメモアプリ＋Notionに戻った。Notionはスマホからの編集が絶望的にやりにくいので、一時的にメモアプリに書いて、長期で保存する必要があるメモをNotionに入れるスタイル。Notionのデータベースは情報を整理するのには向いているので、長期記憶のデータベースとして活用している

Hot Key

Raycastを使って以下のHot keyを割り当てている。どこかに書いておかないと忘れて使わなくなるものがあるのでメモ

Ctrl + Cmd + c: クリップボード履歴
Ctrl + Cmd + s: 開いているウィンドウ一覧
Ctrl + 5: Homerow起動
Ctrl + Cmd + 1: (Chrome上のみ)1Password起動

2025年の振り返りと2026年

Tue, 20 Jan 2026 09:00:00 +0900

時間が無さすぎて完全に振り返りを忘れていた😇

2025年は仕事以外にいくつか新しいことを始められた良い年であった。

音楽

2025年に行ったライブは2025年振り返り(ライブ編) - oinume journalにまとめた。2024年よりもライブに行った回数が増えたのは良いこと。

新しいバンドを好きになるということは特になかったけど、2025年後半からSaosinの曲を再び聴くことが多くなった。このバンドはボーカルが変わったり脱退したりでなかなか安定しなかったバンドではあるけど、2016年から初代ボーカルのアンソニーが復帰して活動を再開していたらしく、さらに2024年には2代目のコーブ・リバーにバトンタッチしていてツアーも積極的にやるようになったらしい。ただ、なぜか日本には来ることができないようで、今年か来年に海外で観てみたいなぁと思っている。

放送大学

昨今の地球温暖化についてもう少し深く学びたい気持ちと学割で色々と安く買えることを目的に入学。単位をたくさん取って卒業する気はないので、半期に気になる科目を履修して緩く学習するという感じにしている。というか、履修しなくてもWebで全ての授業動画が見れるので、「Audibleより質の高い学習サブスク」という位置付けで続けている。そんなわけで2024年に始めたAudibleは解約してしまった。

YouTube

前年にスマホのキャリアをOCN MobileからMineoに変更して、速度制限がかかっている状態でも1.5Mbps出るようになり、常時YouTubeを見れるようになった。これが功を奏して、色々なバンドのライブ動画をいつでもどこでも見れるようになったし、また教育系のコンテンツもよく見るようになった。油断してると時間泥棒になってしまう側面はあるけど、今のところ自分にとってはプラスになっている気がする。主に以下のコンテンツをよく見てる。

音楽：ライブ動画だったり「〜を弾いてみた」系のコンテンツ
医療：https://www.youtube.com/watch?v=6Sqfr2us9tsのような専門医が語る系
政治：特定の政党の代表が話している公式の動画など
- 政治切り抜き系の動画は恣意的な内容かつ2次情報なのでみない

あとは放送大学の学割でYouTube Premiumが安く加入できるので(1280円 -> 780円)、広告なしで快適に視聴できている。

ベース

ずっとベースをやりたいと思っていて、年末の休みの間に勢いで買ってしまった。手が小さいのでバッカスのWJB-Miniというモデルにした。メルカリShopsで欲しい色が6000円引きで売っていたので即決。ベース本体だけではなくて色々機材も購入したので別の記事で詳細を書きたいけど、YouTubeの音源に合わせてベースをあわせて弾くことが簡単にできて楽しい。テープやCDに合わせて練習していた頃に比べると本当にいい時代になった。

バッカス BACCHUS WJB-Mini DLPB ミニエレキベース

Bacchus バッカス

Amazon

仕事

担当していたサービスがクローズになってしまい、かなりやる気をなくしている。色々と思うところはあるけどネガティブな内容になるため自重

2026年に向けて

今年はサマソニが25周年なので今年こそ行きたい
引き続き健康には気をつける
趣味プロダクトをVibe Codingで頑張る
このブログをはてなブログから移行する

2025年振り返り(ライブ編)

Tue, 30 Dec 2025 19:08:25 +0900

今年は合計12本のライブに行った。去年は9本だったので少し増えている...!

2/18 ROTTENGRAFFTY x Dragon Ash - Blown in the Reborn Tour 2025
2/23 MIXTURE INSTITUTE PABLO with friends
4/16 STATE CHAMPS x The BONEZ
4/17 The Ravens GHOST NOTES TOUR
6/6 Nothing’s Carved in stone x Dragon Ash - Hand In Hand Tour 2025 at Gorilla Hall Osaka
9/22 I-SCREAM NIGHT FINAL
9/25 Muse Japan Tour at K-Arena
10/13 LOUD PARK 2025
11/6 The BONEZ - I'm Not Your King Tour at KT Zepp Yokohama
11/19 The Theory of SCIENCE at Zepp Shinjuku
11/25 The Ravens x Dragon Ash at Nagoya Bottom Line
12/11 The Ravens x 10-FEET LIVE TOUR 共鳴夜光 at Shibuya O-West

一番印象に残ったのはやっぱり11/25のRavensとDragon Ashの対バン。SHANKが体調不良により偶発的に発生したこの対バン、3日前ぐらいに発表されて当日チケットが取れたので🚅に飛び乗って日帰りでいざ名古屋へ！

まさかこんな対バンを見れる日が来るとは…！ pic.twitter.com/GOD57ns574

— oinume (@oinume) 2025年11月25日

Dragon Ashのセトリも普段と違う仕様でAmploudやDrugs can't ~ をやったり大盤振る舞いで本当に行ってよかった。ダイブするKjをTSUYOSHIが助けに行くシーンもあってほっこりした。Ravens、実は今年の4月まではそんなに好きじゃなかったんだけど、今年は合計4回ライブを見に行って、見るたびにオーディエンスとの一体感が増していてライブバンドとしての力強さを感じた1年でした。

あとは8年ぶりのMuse！はスタンディングではなく席ありのホールだったけど、ショーとしての完成度が高くてやっぱMuseだなぁと。Stockholm Syndromeをやってくれなかったのは「なぜ？？？」と思ったけど、次回来日に期待かなぁ

来年はサマソニ25周年ということで3日間やるらしいのでぜひ行きたいな。

Claude Code GitHub Actionsでモデルを指定する

Fri, 31 Oct 2025 08:00:00 +0900

Claude Code GitHub Actionsを使っていて、自分は以下のような2種類のタスクを依頼することが多い。

実装計画を立ててもらう
実装をしてもらう

Claude Codeであれば実装計画はOpusを使って、実装タスクはSonnetを使うみたいな使い分けが簡単にできるのにClaude Code GitHub Actionsではデフォルトだとそれができなかったのでちょっとやってみた。

具体的には、以下のようなclaude.ymlのWorkflowファイルを追加して、GitHub Issueなどのコメントで @claude このタスクの実装計画を Opus で立てて とコメント内にopus, sonnet, haiku のキーワードを含めることで指定したモデルでClaudeが動くようになる。

やっていることは単純で、メッセージ内にopusなどのキーワードをgrepで引っ掛けてmodelを決めているだけ。注意点としてはgrep '\bopus\b'で検索しているため、「このタスクをopusでお願い」ではマッチしないようになっている。かわりに「このタスクを opus でお願い」のようにopusの前後にスペースを入れる必要がある。

そんなわけでClaude Code GitHub Actionsからもモデルが指定できるようになりタスクが捗るようになった(気がする)

claude.yml

name: claude-code
on:
  issue_comment:
    types: [created]
  pull_request_review_comment:
    types: [created]
  issues:
    types: [opened, assigned]
  pull_request_review:
    types: [submitted]
jobs:
  claude:
    if: |
      (github.event_name == 'issue_comment' && contains(github.event.comment.body, '@claude')) ||
      (github.event_name == 'pull_request_review_comment' && contains(github.event.comment.body, '@claude')) ||
      (github.event_name == 'pull_request_review' && contains(github.event.review.body, '@claude')) ||
      (github.event_name == 'issues' && (contains(github.event.issue.body, '@claude') || contains(github.event.issue.title, '@claude')))
    runs-on: ubuntu-latest
    permissions:
      contents: read
      pull-requests: read
      issues: read
      id-token: write
      actions: read # Required for Claude to read CI results on PRs
    steps:
      - uses: actions/checkout@v5
        with:
          fetch-depth: 1

      # Extract model from comment/issue body
      - name: Determine Claude Model
        id: determine-claude-model
        run: |
          # Get the comment/issue body based on event type
          if [ "${{ github.event_name }}" = "issue_comment" ]; then
            BODY=$(cat <<'EOF'
          ${{ github.event.comment.body }}
          EOF
          )
          elif [ "${{ github.event_name }}" = "pull_request_review_comment" ]; then
            BODY=$(cat <<'EOF'
          ${{ github.event.comment.body }}
          EOF
          )
          elif [ "${{ github.event_name }}" = "pull_request_review" ]; then
            BODY=$(cat <<'EOF'
          ${{ github.event.review.body }}
          EOF
          )
          elif [ "${{ github.event_name }}" = "issues" ]; then
            BODY=$(cat <<'EOF'
          ${{ github.event.issue.body }}
          EOF
          )
          fi
          
          # Convert to lowercase for case-insensitive matching
          BODY_LOWER=$(echo "$BODY" | tr '[:upper:]' '[:lower:]')

          # Determine model based on keywords
          if echo "$BODY_LOWER" | grep -q '\bopus\b'; then
            MODEL="claude-opus-4-1"
          elif echo "$BODY_LOWER" | grep -q '\bhaiku\b'; then
            MODEL="claude-haiku-4-5"
          else
            # Default to sonnet (including when 'sonnet' keyword is present)
            MODEL="claude-sonnet-4-5"
          fi

          echo "model=$MODEL" >> $GITHUB_OUTPUT
          echo "Selected model: $MODEL"

      - name: Run Claude Code
        id: run-claude-code
        uses: anthropics/claude-code-action@v1
        with:
          anthropic_api_key: ${{ secrets.ANTHROPIC_API_KEY }}

          # This is an optional setting that allows Claude to read CI results on PRs
          additional_permissions: |
            actions: read

          allowed_bots: "claude-bot,claude"

          claude_args: |
            --model ${{ steps.determine-claude-model.outputs.model }}
            --allowedTools "Agent"
           (必要に応じてMCPなどを設定)

放送大学入学後に知った制度

Mon, 25 Aug 2025 08:30:00 +0900

放送大学に入学して約4ヶ月が経ったので、入学後に知った制度を書いておく(学割についてはたくさん情報があるけど、制度についての情報が少ないので)

ちなみに自分はきちんと単位を取って卒業する気はあまりなく、以下の2つの理由で入学した意識の低い学生です。

気象学など気になる授業の動画を見たかった
学割で色々安くなる

0. 全ての授業の動画が見れる

元々知ってはいたのだけど、大学院含めて全ての授業の動画が見れるのがすごい。YouTubeに上がっている動画を見る方がわかりやすいものもあるけど、これだけ多様な分野の動画が全て見れるというのはすごいと思う。

1. 大学のメールがGmail

(制度ではないけど完全に意外だったので書いておく)放送大学に入学すると <学生番号>@campus.ouj.ac.jp というメールアドレスが発行されるのだけど、これが実はGmail(Google Workspace)になっている。なので普段Gmail使っている自分にとってはとてもありがたかった。

2. 単位を落としても次の半期に無料で再試験が受けられる

放送大学では試験期間が決まっておりその間にWebから試験を受けるのだが、自分は運悪く風邪を引いてしまって試験が受けられず不合格になってしまった。そんな怠惰な人間のために再試験という制度があり、次の半期に無料で再試験が受けられるという神な制度。ちなみに放送大学は科目を履修すると1万2000円費用がかかるが、再試験の場合は履修が不要なので費用がかからない

再試験について

本学の学生の多くが有職者であることから、仕事の都合により受験の機会を逸したり、やむを得ず受験準備に必要な時間が取れなかった学生の利便を図るため、新規に科目登録した学期において、単位を修得出来なかった場合は、次の学期に学籍がある場合に限り（休学中の場合を除く）、次学期に再試験を受験できます（再試験に係る授業料等はかかりません）。

単位の認定基準（学部） | 放送大学 – BS放送・ネットで学ぶ通信制大学

3. 再入学時に以前に履修した単位を引き継げる

放送大学は最大で10年間在籍でき、その間に卒業できなかったとしても再入学すれば以前履修した単位をそのまま引き継げるらしい。また、再入学するときの入学金が25%割引になる。つまり入学金＋履修選択した授業料を支払っていれば無限に在籍できるということ...! 自分のような1年に4単位ぐらいしか履修しないような堕落した生徒にとってこれはありがたい制度である。

放送大学は、卒業後や選科履修生、科目履修生で在学期間満了後でも再度入学ができます。修得済単位は全科履修生に入学時に卒業要件として認定されますので、卒業後に他コースに再入学をし、再度卒業を目指すこともできます。（全コースを卒業すること等により「名誉学生」の称号が付与されることもあります。）また選科履修生、科目履修生として再びご入学することもできます。

過去3年以内に教養学部に在籍していた方は入学料の25%割引が適用されます。全科履修生･･･24,000円⇒18,000円選科履修生･･･9,000円⇒6,750円科目履修生･･･7,000円⇒5,250円

継続入学・再入学について | 放送大学

最後に

放送大学はいいぞ！

ghコマンドでよく使ってるヤツ

Sun, 17 Aug 2025 17:47:28 +0900

このポストがなぜかやたらバズっていたので、調子に乗って自分がよく使っているghコマンドのサブコマンドを書いてみる。

gh pr checks --watch でCIの状況をコマンドで確認できるの便利

— oinume (@oinume) August 16, 2025

gh pr view -w

Usage

gh pr view [<number> | <url> | <branch>] [flags]

該当のpull requestをブラウザで開くために使っている。自分は何かとブラウザ上で作業することが多いのでかなり多用してる。

-w を省略するとターミナル上でPRの内容が表示される。
引数の<number>などを省略するとカレントブランチのpull requestになる

gh pr checks --watch

Usage

 gh pr checks [<number> | <url> | <branch>] [flags]

カレントブランチのpull requestのchecks(CI)の状況を確認するのに使ってる。

gh pr checks --watch -i 3 のように-iでリフレッシュする間隔を秒数で指定できる。デフォルトは10秒
gh pr checks --json=name,state のように指定すると以下のようにJSON形式で出力できる

[
  {
    "name": "triage",
    "state": "SUCCESS"
  },
  {
    "name": "lint",
    "state": "SUCCESS"
  },
  {
    "name": "test",
    "state": "SUCCESS"
  }
]

gh pr checkout

Usage

gh pr checkout [<number> | <url> | <branch>] [flags]

主に他の人のpull requestのコードを自分のPC上でcheckoutしたい時に使う。

gh pr create

Usage

gh pr create [flags]

カレントブランチにコミットがある場合、gh pr create -w を実行するとコミットをpushしてpull request をopenする画面をブラウザで開いてくれる。(コメントで教えてもらってから重宝してます)

fzf との組み合わせ

fzfと組み合わせて以下のようなfunctionを定義している。

# fghpr - list pull requests with search query, then open selected pull-request with browser
# Use like `fghpr -A '@me' -s closed`
fghpr() {
    gh pr list "$@" --json number,title -q '.[] | "\(.number) \(.title)"' \
    | fzf --delimiter=' ' --with-nth=2.. \
    | awk '{print $1}' \
    | xargs -I {} gh pr view -w {}
}

例えば fghpr -A '@me' -s closed で自分が過去にマージ or クローズしたPRをターミナル上に一覧表示して、Fuzzy検索しつつ選択したものをブラウザで開くことができる。

Claude Code

あとはClaude Codeと共に使うと色々便利らしいです。

こうんな感じで便利で使えるよって教えてくれる人がたくさんいて良いインターネッツだ。ありがとうございます。 https://t.co/WSNd4Pe5UI

— V (@voluntas) August 14, 2025

複数のプロダクトのリポジトリをMonorepoに移行する

Tue, 22 Jul 2025 08:00:00 +0900

表題の通り、技術スタックがほぼ同じプロダクト群のリポジトリを1つのMonorepoにまとめてみたという雑な記録。

元々は以下のようなPolyrepo構造になっていた。

product-a (repository)
- backend
- web
product-b (repository)
- backend
- native
- web

これを以下のような構成に移行した。

products (repository)
- apps
  - product-a
    - backend
    - web
  - product-b
    - backend
    - native
    - web

大まかには以下のような流れで移行する。

移行元のリポジトリで移行用ブランチを作成する
移行先のリポジトリで移行用ブランチを作成し、1.の移行用ブランチをmergeする

では実際に移行してみよう。product-aのリポジトリで以下のコマンドを実行する。

mkdir -p apps/product-a
git checkout -b monorepo
git mv -k * apps/product-a/  # -k is used to ignore the error that it can't move the projects directory
git mv -k .* apps/product-a/  # .* to move .gitignore and other dot files

次に移行先のproductsリポジトリで以下のコマンドを実行する。

git remote add -f product-a https://github.com/<owner>/product-a.git
git checkout -b import-product-a
git merge product-a/monorepo --allow-unrelated-histories

これで products リポジトリの import-product-aというブランチにproduct-aリポジトリのファイルが追加されているので、pull-requestを作るなどしてこのブランチをmainブランチにマージすればOK

# on main branch
git merge import-product-a

これを移行したいプロダクトの数だけ繰り返せばOKである。なお、.github/workflows などリポジトリ直下にないといけないディレクトリはMonorepoに取り込んだ後に手動でファイルを移動する必要があるので気をつけること。

というわけで私はこれで素敵なMonorepo lifeを送れるようになりました。おしまい。

改訂2版わかばちゃんと学ぶ Git使い方入門

作者:湊川あい,DQNEO
シーアンドアール研究所

Amazon

RaycastのScript Commandsを試してみた

Wed, 07 May 2025 08:00:00 +0900

RaycastにはScript Commandsという機能があり、ずっとずっと気になっていたのでGW中に重い腰を上げて試してみた。最近会社の人にRaycastをオススメすることが多くなってきたのだけれども、「Raycast歴1年以上経つのにScript Commandsも使ったことないの？」みたいに後ろ指差されないようにするためにも...

Script Commandsとは？

簡単にいうとCUIのコマンドをRaycastから呼び出せるというただそれだけのものっぽい。「っぽい」というのは単純に自分がちゃんと調べてないだけです。はいテキトーですいません。

なにを作るか？

Hello Worldを出力するだけのScript Commandsを作っても仕方がないので、よく自分でやっている単純作業を自動化するスクリプトを考えてみた。結果として生まれたのは、以下のような beforeの文字列をafterに整形するだけのスクリプトである。なんでこんなものが必要かというと、スプレッドシートからIDなどのリストをコピーしてSQLのWHERE句のINに指定する、ということをよくやっているから。

before

aaa
bbb
ccc

after

'aaa',
'bbb',
'ccc',

Script Commandsの登録方法

めちゃくちゃ簡単なのでこのページを見てもらうのが良いと思う。テキストで手順を書くと以下の4ステップしかない。

Raycastを起動する
Create Script Commandと入力する
必要な情報を入力する
スクリプトにコマンドを記述する

ちなみに上で書いたScript Commandのスクリプトは以下のような感じである。

#!/bin/bash

# Required parameters:
# @raycast.schemaVersion 1
# @raycast.title single-quote-with-trailing-comma
# @raycast.mode fullOutput

# Optional parameters:
# @raycast.icon 🤖
# @raycast.needsConfirmation true

# Documentation:
# @raycast.description single-quote-with-trailing-comma
# @raycast.author oinume
# @raycast.authorURL https://github.com/oinume

pbpaste | perl -pe "s/.*/'\$&',/"

作成したScript Commandを呼び出す

あとはRaycastから作成したsingle-quote-with-trailing-commaを呼び出すだけである。以下の動画ではsingle-quote-with-trailing-commaによって生成された出力をクリップボードにコピーしている。

最後に一言

というわけで駆け足でScript Commandsについて説明した。Apple Scriptを使って特定のSlack Channelを開くということもできるらしいので夢は広がりそうである。Raycast、本当によくできていてこれがあるおかげでmacOSから離れられない。次はExtensionの作成にチャレンジしてみたい。

GraphQL Codegenで自動生成されたファイルでNamed export 'gql' not foundのビルドエラーを回避する

Thu, 10 Apr 2025 08:00:00 +0900

Vite + Apollo Client + GraphQL Codegenの組み合わせでgraphql-codegenを実行すると、gql関数を以下のようにimportするためにエラーが出る。

import { gql } from '@apollo/client';

[vite] Named export 'gql' not found. The requested module '@apollo/client' is a CommonJS module, which may not support all module.exports as named exports.
CommonJS modules can always be imported via the default export, for example using:

import pkg from '@apollo/client';
const {gql} = pkg;

解決方法としては graphql-codegenの設定ファイルにgqlImportの設定を追加して再度コード生成する。

const config: CodegenConfig = {
  ...
  generates: {
  ...
    ".": {
      config: {
        gqlImport: "@apollo/client/core#gql",
      },
    },
  },

そうすると import { gql } from '@apollo/client/core'; が生成されるのでビルドエラーが回避できた 🎉

PostgreSQL + HasuraでUUID v7を生成できるようにする

Sat, 01 Mar 2025 12:00:00 +0900

2024年にRFC 9562としてUUID v7が標準化された。今までは主キーにUUID v4を使っていたけど、時間軸でソートできるUUID v7を使いたいと思ったのでメモ。

簡単に書くとPostgreSQLでUUID v7形式のUUIDを生成するには以下を行えば実現できる。

PostgreSQLにはUUID型が標準装備されているのでこれを使用する
postgres-uuid-generate-v7にあるUUID v7を生成するFUNCTIONを定義する
カラムを "id" uuid NOT NULL DEFAULT uuid_generate_v7() のように定義する

上記を踏まえてHasura consoleでUUID v7のFUNCTIONを定義して使えるようにするには、

consoleからであればDATAタブのSQLを選択
エディター部分にpostgres-uuid-generate-v7リポジトリのuuid_generate_v7.sqlの中身をそのままコピペ
This is a migration にチェックを入れてMigration nameに適当な名前をつける

をやれば良い(以下スクショ参照)

IntelliJ IDEAでよく使うショートカットキーをVSCodeでも使えるようにする

Fri, 21 Feb 2025 08:00:00 +0900

コードを書くためのエディタとして、IntelliJ IDEAとVSCode(Cursor)を併用して使っている。そのため、この2つのエディタのショートカットキーを同じように設定したい。IntelliJ IDEA Keybindingsを過去に使ったのだが、自分が想定してないキーも変更されてしまって使いづらいと感じたので、自分でキーバインドをカスタマイズすることにした。

ちなみにここで紹介する技はもちろんIntelliJ IDEAのみではなく、GoLand, PHPStorm, PyCharm, WebStormなどでもできる。

1. IntelliJ IDEAでよく使っている機能とショートカットキーを調べる

まず、IntelliJで自分がよく使っているキーを把握するために、Help -> My ProductivityでProductivity Guideを開く。そうすると以下のような画面が出るので、Usedの列でソートして使用頻度の高い機能名とショートカットキーを調べておく。

2. VSCode側の機能名を調べる

次に、1.で調べた機能名に対するVSCodeの機能名をChatGPTなどの生成AIを使って調べる。プロンプトは以下のような感じ。

以下のIntelliJ IDEAの機能名に対するVSCodeの機能名(英語)を教えてください。
* Search Everywhere
* Go to declaration
* Go to Implementation(s)
(以下略)

www.perplexity.ai

3. VSCodeのKeybindingを変更する

コマンドパレットからOpen Keyboard Shortcutsを開き、2.で調べた機能名に合致するCommandを調べて、IntelliJ IDEAと同じショートカットキーを登録する。生成されるkeybindings.jsonはこんな感じ。このファイルはmacOSだと ~/Library/Application Support/Code/User/keybindings.jsonに保存されているので、このファイルをGitHubなどでバージョン管理しておくと良い。

// Place your key bindings in this file to override the defaults
[
    {
        "key": "ctrl+d",
        "command": "-workbench.action.debug.run",
        "when": "debuggersAvailable && !inDebugMode && !terminalFocus"
    },
    {
        "key": "cmd+b",
        "command": "editor.action.revealDefinition",
        "when": "editorHasDefinitionProvider && editorTextFocus"
    },
    {
        "key": "f12",
        "command": "-editor.action.revealDefinition",
        "when": "editorHasDefinitionProvider && editorTextFocus"
    },
    {
        "key": "alt+cmd+b",
        "command": "editor.action.goToImplementation",
        "when": "editorHasImplementationProvider && editorTextFocus"
    },
    {
        "key": "cmd+f12",
        "command": "-editor.action.goToImplementation",
        "when": "editorHasImplementationProvider && editorTextFocus"
    },
    {
        "key": "cmd+r",
        "command": "editor.action.startFindReplaceAction",
        "when": "editorFocus || editorIsOpen"
    },
    {
        "key": "alt+cmd+f",
        "command": "-editor.action.startFindReplaceAction",
        "when": "editorFocus || editorIsOpen"
    },
    {
        "key": "shift+f6",
        "command": "editor.action.rename",
        "when": "editorHasRenameProvider && editorTextFocus && !editorReadonly"
    },
    {
        "key": "f2",
        "command": "-editor.action.rename",
        "when": "editorHasRenameProvider && editorTextFocus && !editorReadonly"
    },
    {
        "key": "f1",
        "command": "editor.action.showDefinitionPreviewHover"
    },
    {
        "key": "ctrl+alt+h",
        "command": "references-view.showCallHierarchy",
        "when": "editorHasCallHierarchyProvider"
    },
    {
        "key": "shift+alt+h",
        "command": "-references-view.showCallHierarchy",
        "when": "editorHasCallHierarchyProvider"
    },
    {
        "key": "alt+f7",
        "command": "references-view.findReferences",
        "when": "editorHasReferenceProvider"
    },
    {
        "key": "shift+alt+f12",
        "command": "-references-view.findReferences",
        "when": "editorHasReferenceProvider"
    },
    {
        "key": "f2",
        "command": "editor.action.marker.next",
        "when": "editorFocus"
    },
    {
        "key": "alt+f8",
        "command": "-editor.action.marker.next",
        "when": "editorFocus"
    }
]

ここまで書いて、こんな回りくどいことをしなくとも、1.で調べた機能名とショートカットキーからVSCodeのkeybindings.json(キーバインドの設定ファイル)を生成AIに生成してもらえばいいことに気づいたw

Cursorで開いているファイルをIntelliJ IDEAで開く

Thu, 13 Feb 2025 18:00:00 +0900

最近Cursorを使い始めているのだけど、ガッツリコードを書きたい時はIntelliJに頼ることもまだ多い。なので、Cursorでユーザータスクを定義して、Cmd + Shift + p でコマンドパレットを開いて Tasks: Run Task でIntelliJでそのファイルを開けるようにした。

Tasks: Open User Tasks で以下のタスクの定義を記述する。(macOSの場合、このファイルは ~/Library/Application Support/Cursor/User/tasks.json に保存される)

{
    "version": "2.0.0",
    "tasks": [
        {
            "label": "Open Current File with IntelliJ IDEA",
            "type": "shell",
            "command": "idea",
            "args": [
                "${file}"
            ],
            "group": {
                "kind": "build",
                "isDefault": true
            },
             "problemMatcher": []
        }
    ]
}

参考: https://code.visualstudio.com/docs/editor/tasks

ここからアフィリエイト広告

改訂新版 Visual Studio Code実践ガイド —— 定番コードエディタを使い倒すテクニック

作者:森下篤
技術評論社

Amazon

2024年の振り返りと2025年

Sat, 04 Jan 2025 11:33:07 +0900

年末年始はハワイに行っていたので全く正月感がない感じで過ごしてしまった。1年の振り返りをしたり新年の抱負を書いたりしてもどうせ達成できないし、徒然なるままに生きたい人間なのだけれども、暇なので雑に振り返りと今年への意気込みをアウトプットしておく。

ライブ

2024年は合計9本のライブに行った。ハイライトは5年ぶりにサマソニに行ってManeskinが好きになったこと。あとはThe Bonez x Dragon AshのStraigh Upが、久しぶりにライブで酸欠になるぐらい激しくて久しぶりにライブで死を感じた。ずっとミクスチャーをやっている2つのバンドが対バンするとこんなにエネルギーが湧き出てくるのかというぐらいの熱気だった。12/30の追加公演ではPABLOも参戦してPTPの曲もやったようで本当に本当に行きたかった...!

Straight Up Tour Extra🔥
at Zepp Haneda

photo by @YSZ_PHOTO #StraightUp #DragonAsh #TheBONEZ pic.twitter.com/LGO1sL1Z03

— DA＿OFFICIAL (@Dragon_Ash) December 31, 2024

あと12月にKORNのライブがオーストラリアであって行こうかどうかとても悩んだけど金銭的な理由で断念した。来年こそは日本に来てくれないかなと祈っている。

(以下は今年に参戦したライブとフェスの一覧)

1/21: マサラーフェース2024
3/17: PUNK SPRING 2024
3/31: Dragon Ash x SHANK
4/6: The Ravens
7/18: TMC at CLUB CITTA
8/7: SUMMER SONIC
11/10: The BONEZ x Dragon Ash Straight Up Tour
11/30: ビクターロック祭り2024
12/8: REDLINE ALL THE FINAL

仕事

特筆することはないけど、生成AIのおかげでコードを書くモチベーションが激減したので、自分で手を動かすような機会が減った。つまりMTGと目の前の課題をひたすらやっつけることをしている。「BackendなんてHasura使えばいいんでないの？」と思っている人間なので、Backendの開発に楽しみが見い出せなくなっている。

事業ドメイン的には楽しい領域なので、ビジネス的に成長していればそれでよし。

その他

今年からAudible始めたので読書が捗った
Audibleと併せてウォーキングを始めたので体重が2.5kg減った

2025年に向けて

今年は趣味プロダクトで作りたいアプリがあるので、なんとしても今年中に完成してリリースしたい。ライブは10回は行きたいけど行けるかなぁ。2024年は勉強会にほとんど参加せず技術的なことに興味を失いつつあるので、今年はもう少し参加したい。サマソニは観たいバンドがなくても行くべきだと昨年痛感したので、今年も行きたい。

そんな感じで今年もゆるふわに生きます。

2024年に買ってよかったもの

Sat, 04 Jan 2025 10:59:00 +0900

あまりものを買わない主義なのだけど、ささやかながら買ってよかったものを。(Amazonのリンクはアフィリエイトが入ってる)

[ニューバランス] インソールサポーティブリバウンドインソール

1年以上履いていたニューバランスのスニーカーのインソールがボロボロになったのでこれに入れ替えてみた。そしたらなんとびっくり、クッション効果が凄くて歩くのが大変快適になりQoLが爆上がりした。2000円弱の投資でここまで快適になるのならとてもコスパ良いと思う。なんだかんだでスニーカーは毎日履くものだし。とにかく快適すぎるので他のニューバランスのスニーカーも全部このインソールに替えた。デフォルトでこれを搭載してほしい

[ニューバランス] インソールサポーティブリバウンドインソール (RCP280 / LAM35689) 中敷きインサート LAM35689 GR(新) medium

new balance(ニューバランス)

Amazon

Anker 511 Charger (Nano 3, 30W) (充電器 USB-C)

常にPCを持ち歩いているため充電器も持ち運ぶ必要があり購入。元々は65Wのもの(150g)を持ち歩いていたのだけど、こっちは40gと超軽量なので買い換えた。100g減るだけでも持ち運び時の腰への負担が減るのでQoLが上がった。

Anker 511 Charger (Nano 3, 30W) (充電器 USB-C)【USB PD 対応/PSE技術基準適合/PPS規格対応】MacBook Windows PC iPad iPhone Galaxy Android スマートフォンノートPC 各種その他機器対応 (ホワイト)

Anker

Amazon

タニタ体重計体組成計スマホ連動 50g単位バックライト BC-332L WH ホワイト

元々はAnkerの体重計を使っていたのだけど、たまに1kg単位でズレることがあり信憑性に疑問を持ったので安心安定のタニタのものを購入。スマホと連動する機能はAnkerの方が便利だったけどまぁよし。

タニタ体重計体組成計スマホ連動 50g単位バックライト BC-332L WH ホワイト子供の成長を見守る

タニタ(Tanita)

Amazon

[ヘリーハンセン] スカンザライトジャケット SCANDZA LIGHT JKT ユニセックス

風を通さないので、中にフリースを着れば東京の冬はこのアウターで乗り切れる。あまりにも気に入ったので同じものをもう一つ購入した。

[ヘリーハンセン] ジャケット撥水防水防風防寒透湿保温スカンザライトジャケット SCANDZA LIGHT JKT ユニセックス HOE12272 ブラックブラック S

HELLY HANSEN(ヘリーハンセン)

Amazon

Logicool Signature M750LGR ワイヤレスマウス

クロールがなめらかでホイール音も静か。2台のPCにBluetooth接続できるのが便利

Logicool Signature M750LGR ワイヤレスマウスラージグラファイト Bluetooth Logi Bolt Unifying非対応 windows mac iPad Android Chrome OS スクロールホイール無線マウス静音マウス M750 国内正規品

Logicool(ロジクール)

Amazon

OCNモバイルONEからmineoにMNPした

Sat, 30 Nov 2024 16:25:29 +0900

最近ドコモ回線があまりにも詰まったり繋がらなかったりすることが多くてどうにも我慢できなくなったことと、たまたまmineoがキャンペーンをやっていてコストダウンできそうなので勢いでmineoに乗り換えた。後悔は全くしていない。

数ヶ月前まではドコモ回線がつながりにくいこと以外はOCNは特に不満もなく、Musicカウントフリーオプションの存在もあり3年ほど使っていた。ただ、最近は新規契約を停止していてirumoという改悪されたMVNOに軸足を移す流れがあるのと、その影響でOCNモバイルONE自体がもう改善されないリビングデッド状態になっていたので、緩く乗り換え先を探していた。

mineoにしようと思ったのは

1.5Mbpsなら使い放題のオプションがある
ドコモ以外の回線も選べる

という点で、実際乗り換えてみてよかったと思った。それ以外にも通話系のオプションが充実してたり、ギガを永遠に貯められるオプションなどユニークなオプションがあっていいなと思う。

Audibleにハマったのでオススメする記事

Tue, 17 Sep 2024 08:00:00 +0900

AmazonでAudibleが3ヶ月無料キャンペーンをやっていたので試しに使ってみたところ、かなり自分のツボに刺さったので良いポイントをまとめてみた。

自分的にAudibleが刺さったポイント

「本を読みたいけど時間がない...」というのが、Audibleに出会う前の自分だった。いや、正確には「読書したいけどスマホのKindleで読んでいると気付いたら他のことをしている」というのが実態だった。Audibleであれば、ウォーキング中や通勤時間などのスキマ時間に「耳」から本の内容をインプットできるので、「気付いたらスマホで違うことをしていた」ということが起きにくい。そのため、Audibleで本を聴くようになってから圧倒的に読書習慣が根付いた。

豊富なコンテンツ

詳しくは Audibleのサイトを見てもらうとして、対象の書籍の幅の多さに驚く。たとえば小説であれば、「三体」「プロジェクトヘイルメアリー」などヒットしたものは大体あるイメージ。ビジネス書も「イシューからはじめよ」「コンサル一年目が学ぶこと」などそれなりのラインナップがある。

もともと自分はウォーキング中にはPodcastを聴いていたのだけど、あまり興味のあるPodcastもなく惰性で聴いていた。Audibleであれば書籍が対象なので得られる情報の質がPodcastに比べて高いし、密度が濃いと感じる。

なお、Audibleは本の内容を人間が読み上げているため、小説だと「その声じゃないんだよなぁ」と思うこともあるがこれはしょうがない。

Audibleアプリのクオリティが高い

Audibleアプリは、単純にただのAudiobookよりさらに良い体験を提供していると思っている。具体的には、再生速度が0.05刻みで細かく調節できるのと、クリップ＆メモ機能が便利だ。

クリップ機能は、読まれている本の位置を保存する機能でいわゆるしおりみたいなもの。クリップしておいた場所に後からジャンプできるのと、そのクリップに対して自分用のメモを保存することができる。メモをする場合は自動で再生が止まるようになっているのも気が利いていて良い。

月1500円で聴き放題

中には別途お金を払う必要がある本もあるが、大体のものは1500円で聴けるので、聴いてみて「これはイマイチだな」と思ったらやめればいいし、逆に気に入ったら書籍を購入するのも良い。本屋での立ち読み感覚で色々聴くことができるのがグッド。

目にやさしい

Audibleを再生している間はなるべくスマホは見ないで外界を見るようにしている。本を読んでいるとどうしても目が疲れてしまう問題があるけど、Audibleではスマホさえ見なければ目は疲れない。

イマイチな点

再生速度を2倍にするなどして速度を上げることでカバーできるが、書籍を読む速読に比べると遅いという問題はある。あと上で書いたように小説はナレーターの声が自分のイメージと違うことが多いので、Audibleで聴くには向かないかもしれない。

まとめ

「Amazonから金でももらっているのか？」というような記事になってしまったけど、Audibleは自分の読書週間を大幅に改善してくれたプロダクトなのでオススメ記事を勢いで書いた。以前Audibleを試して「コンテンツが少ない」と思って使わなくなった人ももう1回見てみるといいかも。

Go言語でcodemod

Tue, 13 Aug 2024 08:00:00 +0900

大規模なコードベースでリファクタリングを省エネ化するためにcodemodを最近調べていて、軽く試行錯誤したのでそのメモ。

やりたいこと

例えば以下のようなTable Driven TestなコードをBEFOREからAFTERに書き換えたい。コード量が多いため人間がやるのは現実的ではなく、codemodで機械的に書き換えたい。

BEFORE

package main

import (
    "slices"
    "testing"
)

func TestContains(t *testing.T) {
    type args struct {
        ss []string
        s  string
    }
    tests := []struct {
        name string
        args args
        want bool
    }{
        {
            name: "empty: false",
            args: args{[]string{}, ""},
            want: false,
        },
        {
            name: "found: true",
            args: args{[]string{"a", "b", "c"}, "b"},
            want: true,
        },
        {
            name: "not found: false",
            args: args{[]string{"a", "b"}, "c"},
            want: false,
        },
    }
    for _, tt := range tests {
        t.Run(tt.name, func(t *testing.T) {
            if got := contains(tt.args.ss, tt.args.s); got != tt.want {
                t.Errorf("contains(): want=%v, got=%v", got, tt.want)
            }
        })
    }
}

func contains(ss []string, s string) bool {
    return slices.Contains(ss, s)
}

AFTER

func TestContains(t *testing.T) {
    type args struct {
        ss []string
        s  string
    }
    tests := map[string]struct {
        args args
        want bool
    }{
        "empty: false": {
            args: args{[]string{}, ""},
            want: false,
        },
    }
    ...
}

DIFF

--- a/tools_eg/table_driven_test.go
+++ b/tools_eg/table_driven_test.go
@@ -10,29 +10,25 @@ func TestContains(t *testing.T) {
        ss []string
        s  string
    }
-  tests := []struct {
-      name string
+   tests := map[string]struct {
        args args
        want bool
    }{
-      {
-          name: "empty: false",
+       "empty: false": {
            args: args{[]string{}, ""},
            want: false,
        },
-      {
-          name: "found: true",
+       "found: true": {
            args: args{[]string{"a", "b", "c"}, "b"},
            want: true,
        },
-      {
-          name: "not found: false",
+       "not found: false": {
            args: args{[]string{"a", "b"}, "c"},
            want: false,
        },
    }
-  for _, tt := range tests {
-      t.Run(tt.name, func(t *testing.T) {
+   for name, tt := range tests {
+       t.Run(name, func(t *testing.T) {
            if got := contains(tt.args.ss, tt.args.s); got != tt.want {
                t.Errorf("contains(): want=%v, got=%v", got, tt.want)
            }

試したこと

eg

egというのは golang.org/x/tools 配下で提供されているコード書き換えのコマンドのこと(link)。例えば以下のようにdeprecatedな ioutil.ReadAll を呼び出している箇所をtemplateのGoコードを用いて io.ReadAll に書き換えることができる。

http_get.go

package main

import (
    "fmt"
    "io/ioutil" //nolint:staticcheck
    "net/http"
)

func main() {
    resp, err := http.DefaultClient.Get("https://github.com/golang/go")
    if err != nil {
        panic(err)
    }
    defer resp.Body.Close()
    body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        panic(err)
    }
    fmt.Println(string(body))
}

http_get.template

package main

import (
    "io"
    "io/ioutil"
)

func before(r io.Reader) ([]byte, error) {
    return ioutil.ReadAll(r)
}

func after(r io.Reader) ([]byte, error) {
    return io.ReadAll(r)
}

egを使って書き換える

$ eg -t http_get.template -w http_get.go

ただ、egでは先ほどのようなTable Driven Testの struct -> map[string]struct にするのは eg: map[string]struct{} is not a safe replacement for struct{name string} のエラーでできなかった(ref)。

なので、次に紹介するast-grepを試してみた。

ast-grep

ast-grepは様々な言語に対応した、ASTベースでコードの検索、Linterの作成、コード書き換えを行えるコマンドラインツールである。YAMLファイルによる独自のルールを定義することによって、かなり複雑なパターンマッチングを行うことができる。

ASTツリーを表示しながらパターンにマッチした部分をハイライトするPlaygroundも用意されているので、AST初心者でも試行錯誤すればルールが定義できそうな雰囲気を感じる。自分はまだ使いこなせてないので、とりあえず紹介だけ。

これを使えばおそらく先ほどのTable Driven Testのコードは書き換えられそうな気がする。

その他のツール

TypeScriptだとts-morphというものがあり、これのGo版が欲しい...!!!
Codemodというコード書き換えのためのSaaSがある。内部的にはast-grepなどを呼び出すっぽい

最後に

とりあえずast-grepで試行錯誤して上手くいったらまた記事を書きます。

Markdown Style Guide

Wed, 19 Jun 2024 00:00:00 +0000

Here is a sample of some basic Markdown syntax that can be used when writing Markdown content in Astro.

Headings

The following HTML <h1>—<h6> elements represent six levels of section headings. <h1> is the highest section level while <h6> is the lowest.

H1

H2

H3

H4

H5

H6

Paragraph

Xerum, quo qui aut unt expliquam qui dolut labo. Aque venitatiusda cum, voluptionse latur sitiae dolessi aut parist aut dollo enim qui voluptate ma dolestendit peritin re plis aut quas inctum laceat est volestemque commosa as cus endigna tectur, offic to cor sequas etum rerum idem sintibus eiur? Quianimin porecus evelectur, cum que nis nust voloribus ratem aut omnimi, sitatur? Quiatem. Nam, omnis sum am facea corem alique molestrunt et eos evelece arcillit ut aut eos eos nus, sin conecerem erum fuga. Ri oditatquam, ad quibus unda veliamenimin cusam et facea ipsamus es exerum sitate dolores editium rerore eost, temped molorro ratiae volorro te reribus dolorer sperchicium faceata tiustia prat.

Itatur? Quiatae cullecum rem ent aut odis in re eossequodi nonsequ idebis ne sapicia is sinveli squiatum, core et que aut hariosam ex eat.

Images

Syntax

![Alt text](./full/or/relative/path/of/image)

Output

Blockquotes

The blockquote element represents content that is quoted from another source, optionally with a citation which must be within a footer or cite element, and optionally with in-line changes such as annotations and abbreviations.

Blockquote without attribution

Syntax

> Tiam, ad mint andaepu dandae nostion secatur sequo quae.  
> **Note** that you can use _Markdown syntax_ within a blockquote.

Output

Tiam, ad mint andaepu dandae nostion secatur sequo quae.
Note that you can use Markdown syntax within a blockquote.

Blockquote with attribution

Syntax

> Don't communicate by sharing memory, share memory by communicating.<br>
> — <cite>Rob Pike[^1]</cite>

Output

Don't communicate by sharing memory, share memory by communicating.
— Rob Pike¹

Tables

Syntax

| Italics   | Bold     | Code   |
| --------- | -------- | ------ |
| _italics_ | **bold** | `code` |

Output

Italics	Bold	Code
italics	bold	`code`

Code Blocks

Syntax

we can use 3 backticks ``` in new line and write snippet and close with 3 backticks on new line and to highlight language specific syntax, write one word of language name after first 3 backticks, for eg. html, javascript, css, markdown, typescript, txt, bash

```html
<!doctype html>
<html lang="en">
  <head>
    <meta charset="utf-8" />
    <title>Example HTML5 Document</title>
  </head>
  <body>
    <p>Test</p>
  </body>
</html>
```

Output

<!doctype html>
<html lang="en">
  <head>
    <meta charset="utf-8" />
    <title>Example HTML5 Document</title>
  </head>
  <body>
    <p>Test</p>
  </body>
</html>

List Types

Ordered List

Syntax

1. First item
2. Second item
3. Third item

Output

First item
Second item
Third item

Unordered List

Syntax

- List item
- Another item
- And another item

Output

List item
Another item
And another item

Nested list

Syntax

- Fruit
  - Apple
  - Orange
  - Banana
- Dairy
  - Milk
  - Cheese

Output

Fruit
- Apple
- Orange
- Banana
Dairy
- Milk
- Cheese

Other Elements — abbr, sub, sup, kbd, mark

Syntax

<abbr title="Graphics Interchange Format">GIF</abbr> is a bitmap image format.

H<sub>2</sub>O

X<sup>n</sup> + Y<sup>n</sup> = Z<sup>n</sup>

Press <kbd>CTRL</kbd> + <kbd>ALT</kbd> + <kbd>Delete</kbd> to end the session.

Most <mark>salamanders</mark> are nocturnal, and hunt for insects, worms, and other small creatures.

Output

GIF is a bitmap image format.

H₂O

Xⁿ + Yⁿ = Zⁿ

Press CTRL + ALT + Delete to end the session.

Most salamanders are nocturnal, and hunt for insects, worms, and other small creatures.

The above quote is excerpted from Rob Pike's talk during Gopherfest, November 18, 2015. ↩︎

Raycastを使い始めて1年経った

Mon, 08 Jan 2024 08:30:00 +0900

Raycastを使い始めて1年経ったので、どういうことに使っているかを振り返ってみる。去年書いた AlfredからRaycastに移行した - oinume journal の記事から少し使い方が変わっているところもあるのでメモがてら。

基本的な使い方

Ctrl + QをRaycast起動のショートカットとして割り当てている。Pro版は使っていないのでAI機能などは使ったことがない。
ブラウザのブックマーク検索など、よく使うけどHotKeyを割り当てるほどでもないRaycastコマンドはbmのようにAliasを設定している。
- Ctrl + QでRaycastを起動してbmと入力するとブックマークの検索ができるので楽ちん

アプリケーションランチャー機能

アプリケーションを起動するときのランチャーとして使っている。よく使うアプリにはHot Key(ショートカット)を割り当ててる。

Clipboard History

クリップボードの履歴を溜めておいて、後から検索してペーストできる機能。Ctrl + Cmd + CをHotKeyとして割り当てて瞬時に起動できるようにしている。

絵文字検索

正確にはSearch Emoji & Symbolsという機能。これが地味に便利な機能で、こんな感じで英語で絵文字を検索して選択するとクリップボードにコピーされるのですぐにペーストできる。

スクリーンショットの検索＆クリップボードへのコピー＆SlackやGitHubへ貼り付け

これも便利な機能で、以下のような流れで使うのだけど、スクショを貼り付けるのがキーボード操作だけでできるようになる。

スクリーンショットを撮った後にRaycastを起動
screenshotで検索して機能を起動して、スクショをサムネイルで検索して選択
するとクリップボードにスクショがコピーされるので、SlackやGitHubなどにペーストするとスクショが貼り付けられる。

ブラウザのブックマーク検索

正式名称はSearch Browser Bookmarks。ブラウザのブックマークを検索することができる。SafariとChromeがある場合は、Cmd + KでSelect Browsersを選ぶと対象のブラウザを選択することができる(Safari, Chromeの両方を対象にすることも可能)。

開いているウィンドウの検索・切り替え

正式名称はSwitch Windows。今開いているウィンドウをfuzzy検索できる。自分はIntelliJ IDEAを使っていてたくさんウィンドウを開いているので、これで検索してウィンドウを切り替えることが多い。Ctrl + Cmd + SをHotKeyとして割り当てている。

Chromeの履歴検索

「あの閉じてしまったタブをもう1回開きたいなぁ」という時に意外と重宝するのがChromeの履歴検索である。Chrome Extensionをインストールすると使えるようになる。

使わなくなった機能

最初便利だなと思っていたけど使わなくなった機能もある。

Quicklink: ブラウザのブックマークで十分だと感じた
カレンダー連携(My Schedule): ChromeでGoogleカレンダーを固定タブで開いているのでRaycastから飛べなくてもいいかなと思った。あと、MacのカレンダーとGoogle Calendarを連携するのが嫌になったというのもある。

Raycastの使いこなせていない機能

Raycast便利に使っているけど、Script CommandsやExtensionを作れるほどのレベルにはなっていないので、今年はそれらに挑戦してみたい。

HasuraをDokku上で動かす

Sat, 30 Dec 2023 15:00:00 +0900

VPS上にDokkuを構築したので、そこにHasuraを動かしてみるテスト。Hasuraとは簡単に言うとPostgreSQLのテーブルスキーマからGraphQLサーバーを構築してくれるミドルウェア。

前提として、Dokkuはすでに構築済みとする。(自分の場合はUbuntu 22.04 上にDokku 0.32.3を構築済み)

手順

まずは最初にhasuraという名前のアプリケーションを作成する

$ dokku apps:create hasura

次に、HasuraのためのPostgreSQL databaseを建てる。

$ dokku postgres:create hasura-db
       Waiting for container to be ready
       Creating container database
       Securing connection to database
=====> Postgres container created: hasura-db
=====> hasura-db postgres service information
       Config dir:          /var/lib/dokku/services/postgres/hasura-db/data
       Config options:
       Data dir:            /var/lib/dokku/services/postgres/hasura-db/data
       Dsn:                 postgres://postgres:<redacted>@dokku-postgres-hasura-db:5432/hasura_db
       Exposed ports:       -
       Id:                  272a6f8b722310887317b3d7e10821ed3cfcc88dae7911945c10590be338c09c
       Internal ip:         172.17.0.4
       Initial network:
       Links:               -
       Post create network:
       Post start network:
       Service root:        /var/lib/dokku/services/postgres/hasura-db
       Status:              running
       Version:             postgres:15.4

上で構築したhasura-dbをhasuraアプリケーションにリンクする。ただし、この時点ではまだhasuraはアプリケーションの設定がされていないのでApp image (dokku/hasura:latest) not foundのエラーが出るけどOK。

$ dokku postgres:link hasura-db hasura
-----> Setting config vars
       DATABASE_URL:  postgres://postgres:<redacted>@dokku-postgres-hasura-db:5432/hasura_db
-----> Restarting app hasura
 !     App image (dokku/hasura:latest) not found

次にhasura向けの環境変数を設定する。HASURA_GRAPHQL_DATABASE_URLで指定するDSNは上のコマンドで得られたDATABASE_URLをコピーしてくる。また、your_admin_secretはパスワードみたいなものなので、ランダム文字列にするのが良い。

$ dokku config:set hasura \
 HASURA_GRAPHQL_DATABASE_URL="postgres://postgres:<redacted>@dokku-postgres-hasura-db:5432/hasura_db" \
 HASURA_GRAPHQL_ADMIN_SECRET="your_admin_secret" \
 HASURA_GRAPHQL_ENABLE_CONSOLE="true" \
 HASURA_GRAPHQL_SERVER_PORT=5000

次にhasuraアプリケーションのためのdocker imageをpullしてくる。

$ docker pull hasura/graphql-engine:v2.36.1
FAIL

上のコマンドを実行するユーザーがdockerグループに所属していないと権限がなくてpullできないので、自分の場合はdokkuユーザーになってpullした。

$ sudo su - dokku
$ docker pull hasura/graphql-engine:v2.36.1

そして最後に dokku git:from-imageコマンドでhasuraアプリケーションにpullしてきたimageを指定してアプリケーションとしてデプロイする。

$ dokku git:from-image hasura hasura/graphql-engine:v2.36.1

これで http://hasura.<your_dokku_domain>/ のURLにアクセスするとHasura Consoleが表示されるはず。もしエラー画面が出ている場合は、/var/log/nginx/hasura-error.log を見てみると何かヒントがあるかもしれない。

ハマった点

Dokku上のコンテナのlisten portはデフォルトだと5000になるということを知らずに、環境変数HASURA_GRAPHQL_SERVER_PORTを指定していなかったため、Hasuraはデフォルトの8080でlistenしていてDokkuのNginxからDocker containerへのproxyがうまくできていなかった。

そのため

We're sorry, but something went wrong. If you are the application owner check the logs for more information.

のエラーがずっと出ていたけど(スクショ)、解決方法がなかなかググっても出てこずにハマった。

DokkuのPort Managementのドキュメントに書いてはあるのだが、正直そんなの知らんわって思った。でもおかげでDokkuのport mappingの仕組みが理解できたので良かったけど。

成功したら...

以下のような画面が出るので、HASURA_GRAPHQL_ADMIN_SECRETの環境変数で指定したシークレットを入力するとめでたくHasuraのConsoleが見れるようになる。

※この記事を書き終わってHasura on Dokkuの構築自体に満足してしまい、肝心のアプリケーションの作成はまだできていない。

Docker実践ガイド第3版 impress top gearシリーズ

作者:古賀政純
インプレス

Amazon

squash mergeの環境でCascading PRsでコンフリクトした時

Mon, 04 Dec 2023 09:00:00 +0900

最近以下のような記事を目にすることがあり、ちょうど自分もsquash mergeの環境でひとつ問題を抱えていたので、その話を自分のメモ代わりに書きたくなった。

問題とは、上にある記事のcascading PRsの話で、feature1 -> feature2 というようにbranchを派生して作った場合に、feature1 をmainにマージした後に作業ブランチを feature2 にして git rebase main すると、必ずコンフリクトが発生するので悩んでいた、ということ。

解決策としては、以下にあるようにgit rebase --onto main <last commit on feature1> <feature2 branch> をすればいい

stackoverflow.com

もしくはJun Mukai's blogに書いてあるような以下の方法でもいいのかもしれない。そういえば git rebase --skip って使ったことなかったな。

PR1に由来するコンフリクトは自分にとっては自明だし、ほとんどの場合にはgit rebase –skipするだけだ。

【改訂新版】Gitポケットリファレンス

作者:岡本隆史,武田健太郎,相良幸範
技術評論社

Amazon

VPSにDokkuをインストールする

Sat, 07 Oct 2023 20:10:00 +0900

VPS上にDokkuというものをインストールして、Dokku上でHello WorldするRailsアプリを動かすまでのメモ。

Why Dokku?

DokkuのWebサイトに書いてあるように、Dokkuはオープンソース版のHerokuという立ち位置のソフトウェア。かれこれ7年ぐらいHerokuを使い続けていてとても便利だと思っているのだけど、アプリケーションを1つ動かすのに$5かかるようになってしまった。昨今の円安で750円ぐらいかかるし、アプリを複数作るとなるとそれなりにお金がかかるので、VPSでDokkuを動かしその上でアプリケーションを稼働させるようにしたいと思った。

また、WebARENA IndigoのVPSだと、2vCPUでメモリ2GBで税込814円 / 月という安さなので、これを使うとかなりコスト抑えられそうだなと思ったからだった。

インストール

以下の環境にDokku 0.32.3をインストールする。

WebARENA IndigoのVPS(4vCPU, MEM 4GB, SSD 80GB)
OS: Ubuntu 22.04

インストール自体はDokkuのドキュメントの通り、aptを使ってインストールすれば特にハマることはないはず。

SSHの公開鍵の登録

アプリケーションのデプロイ時にgit push dokku ...とやる場合、sshの公開鍵が登録されていないと失敗するので、以下のコマンドで登録しておく。

$ echo 'CONTENTS_OF_ID_RSA_PUB_FILE' | sudo dokku ssh-keys:add admin

ドメインの設定

インターネット上にDokkuを使ってアプリケーションを公開するためには、当然ながらドメインが必要なので用意しておく。自分は dokku.lampetty.net をベースドメインにして、これのサブドメインでアプリケーションを公開していくつもりなので、必要な設定をした。

まず、 domains:report コマンドで現状のドメインを確認する。

$ dokku domains:report --global

=====> Global domains information
       Domains global enabled:        true
       Domains global vhosts:         i-xxxxxxxxx

Domains global vhostsはデフォルトではホストマシンのホスト名になっているので、これを以下のコマンドで変更する。

dokku domains:set-global dokku.lampetty.net

次に、dokku.lampetty.net サブドメインがこのVPSのIPアドレスになるようにDNSレコードを定義する。Aレコードの方は別になくてもいいけど、IPとのマッピングは1箇所にしたいのでこうしている。

dokku.lampetty.net A <VPSのIP>
*.dokku.lampetty.net CNAME dokku.lampetty.net

digコマンドでDNSレコードを確認して、以下のように返ってくればOK。

$ dig example.dokku.lampetty.net

example.dokku.lampetty.net. 300 IN      CNAME   dokku.lampetty.net.

これでドメインの設定は完了したので、サンプルアプリケーションをデプロイする。

アプリケーションのデプロイ

サンプルアプリケーションのデプロイはドキュメント通りにやって、最後にgit remote add dokku ...のところだけ、自分の環境に合わせて以下のようにやった。

$ cd ruby-getting-started
$ git remote add dokku dokku@dokku.lampetty.net:ruby-getting-started
$ git push dokku main

動作確認

http://ruby-getting-started.dokku.lampetty.net/ にアクセスして、以下の画面が表示されればアプリケーションがデプロイされている。(ruby-getting-started 以降のドメインは先ほど設定したドメイン)

あとはアプリケーションを https でアクセスできるようにする対応なども必要だけど、いったんこれでVPS上にアプリケーションをデプロイできるようになりましたとさ。

プログラマのためのDocker教科書第2版インフラの基礎知識&コードによる環境構築の自動化

作者:WINGSプロジェクト阿佐志保
翔泳社

Amazon

ししまるとしろ

Sat, 30 Sep 2023 20:00:00 +0900

最近、新しい猫を我が家に迎え入れた。名前は「しろ」。保護猫で年齢は5~6歳。岡山で多頭飼育の崩壊後ゴミ屋敷となった民家から保護された。その後、地元の預かりボランティアのお宅では他の猫と折り合いが悪く、ほぼケージ生活となったため、他に猫のいない家庭に譲渡したいということで東京に移動してきたところで、我が家で迎え入れることになった。

ウチに来て間もない頃のしろ

しろの話をする前に、このブログやTwitterにも登場していたししまるの話をしなければ、と思っている。ししまるは昨年の12月に虹の橋を渡ってしまった。昨年の夏から肺炎の症状があり投薬などで治療を続けていたが、(おそらく)間質性肺炎という難治性の病気で治ることなく他界してしまった。自分にとってはペットを飼うことが初めてで、当然その死に立ち会うのも初めてだったのでとてつもなく悲しかった。3ヶ月間は毎日ししまるの写真や動画を見ては泣いてしまうという状態が続いていたし、今でも病気で辛そうだったししまるのことを思い出すと泣いてしまう。

ししまる

その悲しさに一区切りつけられたのは、今年の4月に近所のお寺でペットの合同供養祭に参加したことだと思う。ペットを亡くした飼い主たちがお寺に集まり、お坊さんが供養のお経を唱えて線香をあげるという葬儀。人間と同じように葬儀を行うことで気持ちも少し整理された気がして、その後から「また猫を迎え入れる？」という話を妻とするようになった。そんな中で妻が保護猫のサイトで見つけたのがしろだった。色が白いところや雰囲気がなんとなくししまるに似ている...! ということで、本物を見に行ったところ、体重6.5kgの大きさがししまるっぽく、とてもビビりだけど人懐っこいということで、譲渡の申請＋トライアルで2週間ほどわが家に来てもらうことになった。

うちに来た当初はずっと机の下に隠れていたけど、2,3日で家の中を探検するようになり、息子含めた全員になでなでをお願いするぐらい懐いていった。ししまるは息子にはあまり甘えなかったので、息子もとても嬉しかったらしい。

ただ、ここで一つ問題が発生。ししまるの時は全然問題なかったのに、妻と息子の猫アレルギーが発動して、薬を飲まないとアレルギーの症状が抑えられず、「これだと迎え入れるのは厳しいかも」という状況になっていた。ひとまずトライアルを延長して、猫のアレルゲンを減らすキャットフードを試したり、体をまめにふく＆ブラッシングしたりして、なんとか薬を飲まなくても大丈夫な状態にまでなった。一緒に生活していると慣れてきてアレルギーがおさまったりすることもあるそうで、何が効いたのかはいまでもよくわかってないけど、問題が解決したので一旦良しとしている。

というわけで、無事に9月にしろを正式に迎え入れることができて、また家に猫がいる生活が始まった。白猫のため、黒いシャツを着ているとしろの抜け毛が目立ってしまい頻繁にコロコロをかけないといけないあの生活がまた戻ってきたと思うと、面倒くさいながらちょっとニヤニヤしてしまう。ししまるは家に知らない人がきても興味を持って挨拶していたりしたけど、しろはビビりで引きこもってしまうところなど、さまざまな違いを発見できて面白い。

ししまる、今まで本当に本当にありがとう。しろ、これからよろしくね。

Next.js + Auth0でLogin handler failedのエラーを解消する

Tue, 02 May 2023 08:30:00 +0900

Next.js + Auth0で認証機能を実装しようとして、nextjs-auth0をセットアップしつつ、このドキュメント通りにやっていたら、AUTH0_ISSUER_BASE_URL の設定を間違えていて以下のエラーが出ていた。

LoginHandlerError: Login handler failed. CAUSE: Discovery requests failing for http://localhost:3000, expected 200 OK, got: 404 Not Found

上のauth0のドキュメントでは AUTH0_ISSUER_BASE_URL='https://{yourDomain}' との記述だったので、http://localhost:3000を指定したのだけど、どうやらこれはhttps://YOUR_AUTH0_DOMAIN.auth0.comを記述するのが正しいらしい。というわけでAuth0の該当アプリケーションのページからDomainの部分をコピーしてきてhttps://oinume.us.auth0.comのように指定すればOK。というかnextjs-auth0にはそのように記載されていたのではじめからこっちを読んでおけばよかった...

multipassでAnsibleの動作確認用のVMを作る

Wed, 12 Apr 2023 09:00:00 +0900

モチベーション

趣味で開発しているプロダクトのためにVPSを立てていて、Ansibleで各種ミドルウェアの設定をしているんだけど、VirtualBoxのApple Silicon への対応が微妙なのでmultipassを使ってVMを立てる＋Ansible Playbookを流してセットアップするということをやってみたのでそのメモ。

multipassでVMを立ち上げる

まず初めにssh用の秘密鍵と公開鍵を生成する。multipassでVMを立ち上げるときはデフォルトでSSH用の鍵を生成してくれるけど、Ansibleでsshするときの鍵を作っておく。

ssh-keygen -t rsa -b 4096 -C multipass -f multipass

次に、以下のようなcloud-init.ymlを作成する。

users:
  - default
  - name: multipass
    sudo: ALL=(ALL) NOPASSWD:ALL
    ssh_authorized_keys:
      - "ssh-rsa <上で生成した公開鍵>"

multipass launchでVMを立ち上げる時に、--cloud-init オプションで先ほどのcloud-init.ymlを指定する。これを行うことでmultipassユーザーの authorized_keys に上で作成したSSHの公開鍵がセットされる。

multipass launch -n vps -c=1 -m=1G -d=5G --cloud-init=cloud-init.yml

次にVMのIPアドレスを確認する。

multipass info vps

Name:           vps
State:          Running
IPv4:           192.168.64.13
Release:        Ubuntu 22.04.2 LTS
Image hash:     f6b5b3a980f2 (Ubuntu 22.04 LTS)
CPU(s):         1
Load:           0.20 0.11 0.04
Disk usage:     1.4GiB out of 4.7GiB
Memory usage:   151.3MiB out of 962.5MiB
Mounts:         --

Ansibleのinventoryファイルを以下のようにする。

[local]
default ansible_host=<上で調べたIP> ansible_port=22 ansible_user='multipass' ansible_ssh_private_key_file='multipass'

最後にansible-playbookを実行する。

ANSIBLE_SSH_ARGS='-o IdentitiesOnly=yes -o ControlMaster=auto -o ControlPersist=60s' ansible-playbook  --inventory-file=ansible/inventory/multipass  --timeout=30 -v -D ./ansible/hoge.yml

multipassのコマンドメモ

multipass transfer : VMからファイルをコピーする or ホストからVMにファイルをコピーする
multipass shell : VM内にシェルでログインする

新しいLinuxの教科書

作者:三宅英明,大角祐介
SBクリエイティブ

Amazon

whisper.cppで文字起こしをやってみた

Wed, 15 Mar 2023 08:30:00 +0900

自分の備忘録としてのやってみた系の話。OpenAIが提供するモデルを使って文字起こしをするC++実装のwhisper.cppを試してみた。

環境

Apple M1 MacBook Air 2020 (Memory 16GB)

uname -a

Darwin hogehoge.local 22.3.0 Darwin Kernel Version 22.3.0: Mon Jan 30 20:39:35 PST 2023; root:xnu-8792.81.3~2/RELEASE_ARM64_T8103 x86_64

whisper.cppのビルド

以下のコマンドを実行してビルドする。

git clone https://github.com/ggerganov/whisper.cpp.git
cd whisper.cpp
make

ビルドが成功すると、カレントディレクトリに main という名前のバイナリが出来上がる。

モデルのダウンロード

次にモデルのダウンロードをしておく。

./models/download-ggml-model.sh large

文字起こしする音声ファイルのwavファイルを用意

whisper.cppはwavファイルしか受け付けないので、ffmpegで動画ファイルをwavにする。
ちょうど手元に会社で公開している勉強会の動画があったので、これを使ってみる
あと長いので最初の2分間だけを抽出。

ffmpeg -i ~/Downloads/2023-02-13.mp4  -ar 16000 -to 120 2023-02-13.wav

whisper.cppで文字起こし

先ほど出力したwavファイルからwhisper.cppを使って文字起こしする。

./main -m models/ggml-large.bin -f 2023-02-13.wav -l auto

注意点

-m でダウンロードしたモデルファイルを使う。largeだと精度が高い
-l auto を指定しないと日本語の文字起こししてくれないので指定する。もしくは-l jaでもOK

文字起こしの結果。ちなみに2分の音声ファイルを文字起こしするのに82秒ぐらいかかっている。

[00:00:00.000 --> 00:00:01.000]  お願いします
[00:00:01.000 --> 00:00:02.000]  お願いします
[00:00:02.000 --> 00:00:11.120]  はい 本日 Dpエンジニアリングまで 第60回始めていきたいと思います
[00:00:11.120 --> 00:00:12.120]  お願いします
[00:00:12.120 --> 00:00:13.120]  お願いします
[00:00:13.120 --> 00:00:14.120]  お願いします
[00:00:14.120 --> 00:00:21.840]  今日は React 18かな 18から新しく 出たディファードバリューっていう
[00:00:21.840 --> 00:00:28.440]  やつの紹介ですね もともとデバウンス とかスロットルみたいな感じで
[00:00:28.440 --> 00:00:33.840]  各種ライブラリーが似たような やつやってたんですけど そうじゃ
[00:00:33.840 --> 00:00:38.800]  なくて結構UIのアップデートで 最適化したやつが出ましたよっていう
[00:00:38.800 --> 00:00:44.320]  ので もともとデバウンスっていう 本当はスロットルも出したかったん
[00:00:44.320 --> 00:00:49.200]  ですけど React 18でスロットルのやつ がバグっていてとあるライブラリー
[00:00:49.200 --> 00:00:54.000]  でパッてデモが用意できなかったん ですけど 一応デバウンスだけ紹介
[00:00:54.000 --> 00:01:04.120]  しておくと 18入力した後に時間差 で18入力されるという 今これ1秒
[00:01:04.120 --> 00:01:09.680]  かな 1秒ってやってるので 最後に 入力した後1秒後に値が更新される
[00:01:09.680 --> 00:01:15.400]  ってやつですね 連続で入力してる 間はデバウンスバリューは変わん
[00:01:15.400 --> 00:01:20.840]  ないけれど 止めてから1秒すると デバウンスバリューは変わる これ
[00:01:20.840 --> 00:01:27.120]  何使いたいかっていうと インクリメンタル サーチとか オリジンのところを
[00:01:27.120 --> 00:01:31.600]  見てもらうと 一文字変わるごとに サーチ検索API叩きまくってると
[00:01:31.600 --> 00:01:38.320]  重すぎるし 重すぎるので デバウンス みたいにユーザーの操作が終わった
[00:01:38.320 --> 00:01:44.560]  後にAPI一回叩くみたいな感じで やってあげるっていう スロットル
[00:01:44.560 --> 00:01:50.280]  の場合は1秒ごとに発火される っていうイメージなので 例えば
[00:01:50.280 --> 00:01:55.240]  デバウンスバリューはこれ 最後 操作終わるまではデバウンスバリュー
[00:01:55.240 --> 00:02:00.040]  更新されないですけど スロットル だった場合は1秒ごとに発火されて

最後に会社の勉強会の宣伝

ドクターズプライムでは、DP Engineering Mondayという名前で毎週勉強会をやってます。月に1回、社外向けに開催したものをYouTubeで配信しているので、よかったらチャンネル登録してください。技術スタックはReact, TypeScript, ChakraUI, Go, GCP, Hasura, PostgreSQLなので、その周辺の話が多いです。

www.youtube.com

2023年に読みたい本

Mon, 30 Jan 2023 09:00:00 +0900

最近読書量が減ってきたので、今年は読書を頑張ろう！と思ったのでまずは読みたい本をリストアップしてみる。

プロを目指す人のためのTypeScript入門

仕事でTypeScript書いてるんだけど、型システムが難しすぎて詰まっているので、体系的に理解したい。

プロを目指す人のためのTypeScript入門安全なコードの書き方から高度な型の使い方まで (Software Design plus)

作者:鈴木僚太
技術評論社

Amazon

データ指向アプリケーションデザイン

分厚いけど良書だと噂の本。

データ指向アプリケーションデザイン ―信頼性、拡張性、保守性の高い分散システム設計の原理

作者:Martin Kleppmann
オライリー・ジャパン

Amazon

モダン・ソフトウェアエンジニアリング

これも良書だと噂なので。

モダン・ソフトウェアエンジニアリング

作者:Ivar Jacobson,Harold “Bud" Lawson,Pan-Wei Ng,Paul E. McMahon,Michael Goedicke
翔泳社

Amazon

A Philosophy of Software Design, 2nd Edition

いい加減読み終わりたい...

A Philosophy of Software Design, 2nd Edition (English Edition)

作者:Ousterhout, John K.

Amazon

詳解システム・パフォーマンス第2版

めちゃくちゃ評判がいい本なので。

詳解システム・パフォーマンス第2版

作者:Brendan Gregg
オライリージャパン

Amazon

LIFESPAN(ライフスパン): 老いなき世界

最近老いが気になってきたので...

LIFESPAN(ライフスパン): 老いなき世界

作者:デビッド・A・シンクレア,マシュー・D・ラプラント
東洋経済新報社

Amazon

AlfredからRaycastに移行した

Mon, 02 Jan 2023 08:00:00 +0900

最近はRaycastが巷で流行っているので、自分もAlfredから乗り換えてみた。Alfredはv5への移行をずっと保留にしていてタイミング的にも良かったというのが一番大きい。ちなみに自分はAlfredの有料課金のライトユーザーで、以下の機能を使っていた。

通常のランチャー機能
HotKey - よく使うアプリをHotKeyとして登録
Clipboard history - クリップボードの履歴
ブラウザのブックマーク検索

ライトユーザーなので、とてもスムーズに移行できた。

また、Raycastの拡張機能でいいなと思ったのは

Screenshotの検索とコピーが簡単にできる
Emojiの検索が簡単にできる
カレンダー連携すると直近のMeeting URLにRaycastから飛べる
- なので「あ、Meetingだ！」って思ったらRaycastを開いておけばいい、という体験が良い
Switch Windowsで開いているウィンドウを選択して開ける
- これまではcontextsというアプリを使っていたけど不要になった
Quicklinkの機能で簡単に指定のURLに飛ぶリンクが作成できる

の5点。色んな拡張がStoreにあるので、有用そうなものを日々探してインストールしている。まだ使い始めて3日ぐらいだけど、そろそろAlfredはアンインストールしようかなと思うぐらい馴染んでいる。

続編: Raycastを使い始めて1年経った - oinume journal

OpenTelemetryとhttptrace.ClientTraceを使ってHTTPリクエストのlatencyを可視化する

Mon, 11 Jul 2022 09:00:00 +0900

この記事は OpenCensusとhttptrace.ClientTraceを使ってHTTPリクエストのlatencyを可視化する - oinume journal のOpenTelemetry版。OpenTelemetryについては OpenTelemetryとは何か、そしてなぜそれが計装器の未来なのか？ | New Relic を見てもらうのが手っ取り早くて、httptrace.ClientTraceについては先のブログを見てもらえればと。

OpenTelemetry Tracing + httptrace.ClientTrace

早速本題に入ってしまうと、以下のようなコードを書くことでhttp.ClientでHTTPリクエストを送った際のlatencyを可視化することが可能になる。

以下のように otelhttptrace.NewClientTraceで生成したClientTraceをctxにセットし、そのctxをhttp.Requestにセットするだけで良い。

clientTrace := otelhttptrace.NewClientTrace(ctx)
ctx = httptrace.WithClientTrace(ctx, clientTrace)
req, err := http.NewRequestWithContext(ctx, "GET", url, nil)
...

Jaeger UIでの確認

https://github.com/oinume/go-http-client-trace-sample/ のリポジトリをcloneしてdocker-compose up -dするとJaegerが立ち上げることができる。

$ git clone https://github.com/oinume/go-http-client-trace-sample
$ docker-compose up -d
$ go run ./examples/otelhttp_client_trace/main.go

のように、Jaegerを立ち上げてサンプルコードを実行するとJaegerのexporterにトレースの情報が送られる。そのトレースの情報は http://localhost:16686/search にブラウザでアクセスすると見ることができる。以下のスクショを見てもらうとわかるように、http.getconnやhttp.dnsやhttp.tlsなど、httptrace.ClientTraceのコールバックメソッドごとにSpanが作成され、それがどのぐらい時間がかかっているのかがわかるようになっている。

OpenCensusとOpenTelemetryの違い

httptrace.ClientTraceに関わるところで、OpenCensusとOpenTelemetryで微妙に挙動が違うところがあったので、メモしておく。

OpenCensusの場合はデフォルトではhttp.getconnやhttp.dnsなどの情報がSpanにならないが、OpenTelemetryの場合はそれぞれSpanになっている。この挙動で注意した方が良いのは、例えばGCPのCloud Traceだとスパン単位で従量課金されるので、場合によっては金額が大きくなってしまうかもしれない。しかし、以下のようにWithoutSubSpansを指定することでSpanを生成しないようにすることができる。

clientTrace := otelhttptrace.NewClientTrace(ctx, otelhttptrace.WithoutSubSpans())

最後に

OpenTelemetryのTracingについては各言語のSDKも揃ってきて、クラウドベンダーの対応もされてきているので、そろそろ実戦投入していこうと思った。

データ指向アプリケーションデザイン ―信頼性、拡張性、保守性の高い分散システム設計の原理

作者:Martin Kleppmann
オライリー・ジャパン

Amazon

Chapter 5 - Information Hiding (and Leakage) / A Philosophy of Software Design

Tue, 15 Mar 2022 09:00:00 +0900

A Philosophy of Software Design, 2nd Edition (English Edition)

作者:Ousterhout, John K.

Amazon

第5章はInformation Hiding (and Leakage)というタイトル。いいモジュールを作るには情報の隠蔽(カプセル化)を行うことが大事だよ、という話。

5.1 Information hiding

Deep Moduleを作る上で最も大事なのは情報の隠蔽
モジュールを実装する上で必要なメカニズムをinterfaceとして表には出さないこと
- ex)
  - B-treeにどういう情報を保存するか
  - ファイルの中身が物理的なディスクのブロックのどこに存在するかを認識する方法
  - TCPプロトコルの実装の詳細
  - マルチコアCPUでのスレッドの実装
  - JSONをどうやってパースしているか
情報の隠蔽は2つの方法で複雑性を減らす
- 情報の隠蔽はモジュールのインターフェースをシンプルにする
  - 具体例) B-tree classを開発者が使うときに、理想的なノードの広がりやツリー内部の均衡化については、利用者は気にしなくて良い
- 情報の隠蔽はシステムの発展を容易にする
  - 情報がモジュール外には隠蔽されている＝(モジュール外からみて)その情報への依存性がなくなっているので、その情報に関する内部的な設計の変更の影響はモジュール内部のみである
    - 例えば、TCPでネットワーク混雑時の制御についてプロトコルの仕様が新しく追加されても、TCPのデータの送受信のコードには影響がないはずである

5.2 Information leakage

直訳すると情報の漏洩。情報の隠蔽の反対の概念
これはモジュール間の依存を作り出してしまう
情報の漏洩はインターフェースだけで起こるものではない
- 例えば特定のファイルフォーマットを扱う2つのクラスがあり、片方がファイルを読み込み、もう片方が書き込みをするような場合。ファイルのフォーマットが変更された時は両方のクラスを修正する必要がある。
情報の漏洩もまたred flag(危険信号)
情報の漏洩をどうやって防ぐか？
- 先ほどの2つのクラスの例であれば、クラスが小さくて密接に関連しているのであればマージして1つにしてしまうのが良い
- 情報をpull(取得)してカプセル化するクラスを新しく作る、という方法もある。
  - Another possible approach is to pull the information out of all of the affected classes and create a new class that encapsulates just that information. However, this approach will be effective only if you can find a simple interface that abstracts away from the details; if the new class exposes most of the knowledge through its interface, then it won’t provide much value (you’ve simply replaced back-door leakage with leakage through an interface).

5.3 Temporal decomposition

時間による分解
Temporal decompositionの考え方で「ファイルを読み込んで、その内容を変更して、新しいバージョンを書き出す」というアプリケーションを考えると、3つのクラスに分解される。
- ファイルを読むクラスと新しいバージョンを書き出すクラスはそれぞれファイルのフォーマットを知っている必要があるので、ここで情報の漏洩が発生する
- 情報の漏洩を防ぐには、ファイルを読むクラスと書き込むクラスは同じものにする必要がある
時間による処理の順番でクラスを分解するのではなく、そのクラスが行う処理が知識として何を持っているべきか(先程の例だとファイルのフォーマット)に着目してクラスを分解するべき

5.4 Example: HTTP server

生徒がHTTPプロトコルの実装をした際のデザインの意思決定について、実際の例を交えて考察
HTTPプロトコル説明の図

5.5 Example: too many classes

生徒がよくやってしまう間違いとしては、たくさんのShallow Classに分割してそのクラス間での情報漏洩をもたらしてしまうこと
- 例) ネットワークコネクションからHTTPリクエストを読み込んでstringに変換するクラスを作り、別のクラスでそのstringをパースする
  - Temporal Decompositionのダメな例
  - 例えばContent-Length headerでbodyの長さが指定されているので、Bodyの長さを計算するにはまずContent-Lengthをパースしないといけない
    - stringになったリクエストをパースする時にBodyの長さがわからないとパースできない
    - コードの具体例がなかったのでちょっとここはよくわからなかった
  - 結果として、2つのクラスに分割してもそれぞれがHTTPリクエストの構造を知っていないとダメな実装になっている
  - さらに呼び出し側も2つのクラスの使い方を知っている必要が出てくるので、呼び出し側に余計な認知負荷がかかる
- よって、上の例ではリクエストを読み込むクラスとパースするクラスは一つにマージした方が良い
  - HTTPリクエストをパースという処理を１クラスに集約することで情報の漏洩が発生しない
  - クラスの数を減らすことで利用者から見たインターフェースはシンプルになる

5.6 Example: HTTP parameter handling

HTTP requestがサーバーに来ると、サーバーはリクエストの情報を参照する必要がある
例えば、以前のFigure 5.1で言うとphoto_idというリクエストパラメーター
- パラメーターはURLのQuery Stringとして送られてくることもあれば、ボディで送られてくることもある
- Query Stringの場合はURLEncodeされているが、処理する時にはこれはデコードされている必要がある
著者の生徒の大半は以下の良い情報の隠蔽を行なっていた
- パラメータはQuery StringまたはBody経由で送信されてくるが、それを利用する人にはどちらから来ているかは重要ではないのでマージしている
- 2つ目の良いところは、パラメーターのデコードについて利用者が意識しなくて済むようにしていること
ただし、生徒が作るモジュールは以下の点でShallow Moduleだった
- HTTPRequestというクラスを作ってその中に Map<String, String> getParams() というメソッドを定義していた

    public Map<String, String> getParams() {
      return this.params;
    }

Map<String, String> という内部のデータ型を利用者に公開するのではなく、String getParam(String name) という形にした方が、仮に内部のデータ構造を変えたいときに利用者に影響を与えずに済む
パフォーマンスチューニングのために内部のデータ構造を変更することもあるので、なるべく内部のデータ構造は利用者からは見えないようにした方が良い
あとはこのMapを利用者側で変更できないようにImmutableにする必要があるなどの問題もある

5.7 Example: defaults in HTTP responses

HTTP Responseに関する、生徒たちがよくやる不適切なデフォルト値について説明
HTTP ResponseのHTTPのバージョンに関して
- (生徒の)あるチームはメソッドの呼び出し元にHTTPのバージョンを指定させるようにしていた
- しかし、HTTPのバージョンはリクエストで指定されているものと一致しているべき
- なので、リクエストのHTTPバージョンをそのままレスポンスのバージョンとすることが望ましい
- 呼び出し元がHTTPのバージョンを指定すると、このHTTPのライブラリと呼び出し元の間で情報の漏洩が発生してしまう
HTTPレスポンスに必要なものとしてDateヘッダーもある
- これもHTTPライブラリが気の利いたデフォルト値を提供すると良い
- もし呼び出し元が何かしらの理由でDateヘッダーをオーバーライドしたい場合は、専用のメソッドを用意する
- クラス or モジュールはできる限りいい感じのデフォルト値を用意する
- P.26のJavaのIOバッファリングは、この点でよくない例となっている
  - IOライブラリのほとんどのユーザーはバッファリングするのでそれがデフォルトになっているべきだが、Javaの標準ライブラリではバッファリングのために別のクラスを使ってラップする必要がある

    FileInputStream fileStream = new FileInputStream(fileName);
    BufferedInputStream bufferedStream = new BuffferedInputStream(fileStream);

Red Flag: Overexposure(過度の露出)
- よく使われるAPIが、たまにしか使われない機能もユーザーに覚えさせるようにしてしまうと、認知負荷を増大させてしまう(意味がよくわからなかった)

5.10 Conclusion

情報の隠蔽とDeep Modulesは密接に関連している
モジュールがたくさんの情報を隠蔽することで、インタフェースをシンプルにしつつ多くの機能が提供される
システムをモジュールに分解するときに、実行時に行われる処理の順番を意識しないようにすること
- 以前に説明したTemporal decompositionが発生し情報の漏洩やShallow modulesの問題を引き起こす
- モジュールが知っているべき知識を考慮してそれを各モジュールがカプセル化することで、Deep modulesを作ることができる

2022年の抱負

Mon, 31 Jan 2022 09:00:00 +0900

もうすっかり年が明けてしまって1月末ですが、今年の目標というか抱負を書いておこうかなと思います。

健康第一

最近は風邪をひいたりすると仕事でもプライベートでも明らかに悪影響が出るので、健康第一で生きたい。その意味で以下を引き続き習慣として頑張る。

筋トレ
有酸素運動

有酸素運動はジョギングや早歩きの散歩だと膝が痛くなってしまい、色々と試した結果、マンションの階段昇降が一番コスパ良いかつ膝へのダメージが少ないということが昨年分かったので、1日20分 / 週4を目安に頑張る。

GraphQL+Next.jsでWebアプリを作れるようになる

昨年は趣味プロダクトのReact Hooks + React Query化が終わったので、今年はGraphQL+Next.jsを導入しつつ学びたい。具体的には以下を使っていきたい。

Next.js
GraphQL
- gqlgen
- apollo-client

英語

iKnowを週5
Camblyが良さそうなのでトライ
TOEICを年に2回受ける

をやる。DMM英会話はやめてしまったけど、値段的にはCamblyが良さそうなので試してみる。

アウトプット

1ヶ月に1つはちゃんとした記事を書く。昨年に引き続き継続は力なり、ということで。

というわけで

2022年もやっていきだ！

2021年の振り返り

Fri, 31 Dec 2021 23:53:43 +0900

2021年の抱負 - oinume journalで年初に考えていた抱負がどうだったのか？を振り返ってみる。

習慣化

Habitifyというアプリを1年使い続けてみたけど、習慣化するものとそうじゃないものがあった。ある程度習慣化したものはiKnow(英単語)だけで、その他は習慣化しなかった。Habitify、通知してくれるのはいいんだけど習慣化するにはモチベーションも維持する必要があるので、その点ではあまり役に立たなかったように思う。何かいいアプリがあったら乗り換えたい。

というわけでこれは達成度20%ぐらい。

ReactでSPA作れるようになる

趣味で開発しているプロダクトで、ログイン後の動的なページはReact化が終わった。まだSPAにはできていないけど、React + React Queryを使って動的なページを作るのはできるようになったので、来年はGraphQL + Next.jsを導入してみたい。

英語

今年は6月にTOEICを受けて自己ベストを更新 & 800点超えしたのが地味に嬉しかった(この時の問題が異常に簡単だったという説もある)。来年も自己ベストを更新できるように頑張りたい。

TOEIC自己ベストを更新していたので思わずガッツポーズしてしまった。

— oinume@Dr.’s Prime (@oinume) December 11, 2019

英語のレッスン自体は週1でやっていたのだけど、DMM英会話時代からお世話になっていた先生が育休に入ってしまうということで3ヶ月ぐらい中断している。来年は再開してこれも習慣化したい。

アウトプット

月に1エントリは書くという目標だったけど、2,3,4,5,10月が達成できず。いつものように仕事が忙しくなってしまうとアウトプットが疎かになってしまうので、月初からちゃんとネタを仕込みつつアウトプットできるようにする。

ライブ

海外アーティストが来れないので、そっちは諦めて邦楽のライブに3回ほど参戦。本当はGWのビバラも行くはずだったんだけどコロナが怖くて断念。これがずっと心残りだったので、デルタ株がピークだったけど散々悩んだ挙句、死ぬ気で8/6にZeppまで足を運んだ。もはや生き甲斐がライブぐらいしかないので、不謹慎で危険な行為だとは思ったけど行って良かったと思う。神経すり減らしながらも爆音が鳴っている中で「生きてる」って感じがして、なんとも言えない感覚だった。

8/6 Straightener & Dragon Ash @ Zepp Tokyo
10/14 ROTTENGRAFFTY @ Zepp DiverCity
12/28 Creepy Nuts & Dragon Ash @ Zepp Tokyo

昨日はZepp Tokyoでライブ納め。Creepy Nutsかっこ良かったしDragon Ashは神セトリで締めにふさわしいライブだった。来年ももっとライブ行きたい pic.twitter.com/uQDgXqX4vh

— oinume@Dr.’s Prime (@oinume) December 29, 2021

まとめ

2021年もパンデミックであまり旅行も行けなかったけど、ライブにも映画にも行けたし2020年よりはパンデミックに慣れてきた気がする。2022年はライブハウスでモッシュとかダイブができる世の中になるといいなぁと思っている。海外旅行も行きたいですね。

Chapter 4 - Modules Should Be Deep / A Philosophy of Software Design

Mon, 27 Dec 2021 09:00:00 +0900

A Philosophy of Software Design, 2nd Edition (English Edition)

作者:Ousterhout, John K.

Amazon

第4章はModules Should Be Deepというタイトル。

4.1 Modular Design

ソフトウェアの複雑性を管理するためのもっとも大事なテクニックの一つとして、全体の複雑性の一部分だけに直面するようにシステムを設計するということが挙げられる。このアプローチは modular design と呼ばれている。
この手法を用いると、ソフトウェアシステムは複数のモジュール(クラス, サブシステム, サービス)に分解される。
それぞれのモジュールは相互に依存せず独立しているため、開発者はあるモジュールの開発をしている時に他のモジュールのことを考えなくて良い
しかし、上記の独立性の話はあくまで理想で実際にはそんなことはない
- 例えば、あるメソッドに引数を追加した場合はその呼び出し元のコードも変更しないといけない
依存の認識と管理をするためには、モジュールをinterfaceとimplementationの2つに分けることが大事である
Typically, the interface describes what the module does but not how it does it.
- interfaceはそのモジュールが「何をするか」を表明し、それを「どうやるか」については表明しない
あるモジュールの開発者は、そのモジュールのinterfaceと実装、およびそのモジュールが依存している他のモジュールのinterfaceを知っている必要があるが、他のモジュールの実装については知らなくても大丈夫である
interfaceが実装に比べてとてもシンプルに表現されているモジュールがベスト
上記のようなモジュールは2つのメリットがある
- シンプルなインタフェースを提供するモジュールは、他のモジュールにもたらす複雑性を少なくする
- インターフェースが変更されない限り、他のモジュールには影響がない。

4.2 What's in an Interface?

interfaceにはformal, informalな情報がある
formal: メソッドのシグネチャ(引数およびその型、戻り値およびその型)
- プログラミング言語の機能によってもたらされる
informal: そのメソッドを呼び出した時にもたらされる結果など
- eg) 引数で与えられたファイル名のファイルを削除するなど
- informalな情報はメソッドのコメントで説明されることが多い
- Method Bを呼ぶ前にMethod Aを呼ぶ必要がある、みたいなものもinformalな情報である。

4.3 Abstraction

Abstractionとは、実体から重要ではない詳細を除外したもの
間違った抽象化には以下の2つがある
- 抽象化したが、重要ではないものを含んでしまう
  - 結果的に他の開発者の認知負荷をあげてしまう
- 抽象化して重要なものを隠してしまう(false abstraction)
  - そのモジュールがシンプルなものだと誤解させてしまう
良い抽象化の例として、ファイルシステムが挙げられる
- ファイルにデータを書き込む時に、ユーザーはそのデータがストレージデバイスのどのブロックに書き込まれるかなどは意識しない
- これはファイルシステムがうまく抽象化されていて、ユーザーにとっての不必要な情報を除外しているから
- 一方で、書き込んだデータのフラッシュについての情報は除外されていない
  - 例えばデータベースのようなソフトウェアだと、「システムがクラッシュしてもファイルに必ず書き込まれているか」を保証するために、「実際のストレージにいつデータが書き込まれるか(=フラッシュされるか)」は知っておく必要がある。そのためこの情報は抽象化されても利用者からわかるようになっている。

4.4 Deep Modules

モジュールの深さはコストとベネフィットで考える
- モジュールのコスト：システムの複雑性。interfaceによって表現される
- 小さくてシンプルなインターフェースだと複雑性は少なくなる
以下がコストとベネフィットの説明の図
UnixのFile I/O はdeep interfaceの良い例
- 以下の図のようにinterfaceはシンプルだが、実装は以下のような複雑である
  - ディスク上での効率的なアクセスのためのファイルの実装
  - ディレクトリ構造とその階層構造
  - ファイルのパーミッション
  - interruption, background code、およびこれらのやりとり
  - 同時アクセスが発生した場合のスケジューリング
  - アクセスしたファイルのメモリ上のキャッシュ
  - セカンダリのストレージデバイス(ディスク、Flashドライブなど)を一つのファイルシステムに統合する
- 上記のような複雑なものは利用者からは見えない一方で、何年もの時間を経て大幅に進化している
- 別の例だと、ガベージコレクションもdeep interfaceである
  - 利用者がほとんど意識しなくていいものだが、実装はとても複雑という意味で。

4.5 Shallow modules

interfaceが(提供する機能と比較して)複雑であること

  private void addNullValueForAttribute(String attirubte) {
      data.put(attribute, null);
  }

上のコードは何も抽象化していない
もしこのメソッドのドキュメントを適切に書いたとしたら、コードより長いドキュメントになる
Shallow moduleはRed Flag
- A shallow module is one whose interface is complicated relative to the functionality it provides. Shallow modules don’t help much in the battle against complexity, because the benefit they provide (not having to learn about how they work internally) is negated by the cost of learning and using their interfaces. Small modules tend to be shallow.
  - Shallow moduleは提供するベネフィットをラーニングコストで打ち消してしまっている
    - 小さいモジュールがshallow moduleになりやすい
(個人的に思ったこと)Clean Architectureって割とshallow moduleになりやすいのでは？と思った。例えばinfrastructure層とか、クライアントライブラリのメソッド呼ぶだけみたいなのが多い
- クライアントライブラリ自体をinfrastructure層に見立てるというやり方もあるっぽい

4.6 Classitis

昨今だとクラスは小さくする方が好まれている。メソッドも同様で「N行超えたら分割するべき」みたいな風潮がある
しかし、Deep Classを目指すのであれば、クラスは大きくなる傾向にある
Classitis
- The extreme of the “classes should be small” approach is a syndrome
Classitisはたくさんのクラスを生み出し、それぞれのクラスはシンプルになるが全体のシステムとして見ると複雑性が高まる
- 小さいクラスはそれ単体では十分な機能を提供できない

4.7 Examples: Java and Unix I/O

Classitisの典型的な例としてJavaのIOまわりのクラスの話がある。例えばJavaでオブジェクトをファイルから読むときのコードは以下のようになっている。

FileInputStream fileStream = new FileInputStream(fileName);
BufferedInputStream bufferedStream = new BuffferedInputStream(fileStream);
ObjectInputStream objectStream = new ObjetInputStream(bufferedStream);
....

バッファリングは基本的にみんな使うので、上記のように専用のクラスを使わないと有効にならないデザインよりかは、よくあるケースに対してシンプルなデザインになっていた方が良い
- この例だとデフォルトでバッファリングを有効にして、オプションで無効にできるとか。
対照的な例として、Unix Filesystemはシンプルになっている。
- シーケンシャルIOが最も一般的に使われるので、それをデフォルトの挙動にしている
  - readはシーケンシャルアクセスで、 lseek でランダムアクセスもできるようになっている

4.8 Conclusion

interfaceを抽象化してシンプルなものにして、複雑な実装はinterfaceから除外することが大事

Chapter 3 - Working Code Isn’t Enough / A Philosophy of Software Design

Wed, 01 Dec 2021 09:00:00 +0900

A Philosophy of Software Design, 2nd Edition (English Edition)

作者:Ousterhout, John

Amazon

第3章はWorking Code Isn’t Enough (Strategic vs. Tactical Programming)というタイトル。

Tactical Programming

近視眼的に目の前のタスクを終わらせるためにコードを書く
目の前のタスクを終わらせることが最優先になるので、これだといい設計はもたらされない
これが積もり積もってシステムに複雑性をもたらす
開発メンバー全員がこのアプローチで開発すると一気に複雑性が高まる
tactical tornado
- Almost every software development organization has at least one developer who takes tactical programming to the extreme: a tactical tornado.

Strategic Programming

The first step towards becoming a good software designer is to realize that working code isn’t enough.
- working code = 動くコードの意味？
Your primary goal must be to produce a great design, which also happens to work. This is strategic programming.
- 第一のゴールを素晴らしいデザインでかつきちんと動作するものにするべき
良いデザインに対して投資する、という考え方を持つべき
- 最初に思い浮かんだ設計のアイデアをそのまま実装するのではなく、少し時間をかけてよりシンプルな設計がないかを模索する時間をかけるべき
どのぐらい良い設計のために時間をさくべきか？
- 作業の10-20%とこの本ではいっている
- 良いデザインにそのぐらいコストをかけると、数ヶ月後にはそのベネフィットを感じることができる
スタートアップと良い設計への投資
- スタートアップで10-20%コストをかけることは現実的ではないと考えられているため、大抵のスタートアップではTacticalなアプローチが採用される
- Facebook is an example of a startup that encouraged tactical programming
- the company’s motto was “Move fast and break things.”
- Over time the company realized that its culture was unsustainable. Eventually, Facebook changed its motto to “Move fast with solid infrastructure”

Chapter 2 - The Nature of Complexity / A Philosophy of Software Design

Tue, 30 Nov 2021 09:00:00 +0900

A Philosophy of Software Design, 2nd Edition (English Edition)

作者:Ousterhout, John

Amazon

第2章は"The Nature of Complexity"というタイトルで、ソフトウェアのComplexityつまり複雑性についてじっくり説明されている。

Complexityの定義

Complexity is anything related to the structure of a software system that makes it hard to understand and modify the system.

Complexityの3つの症状

1. Change amplification

- とある機能追加・変更をしたいだけなのに、いろんなところを変更しないといけない。以下の図で言うと、背景色を変更したいだけなのに`bg = "red"`の定義が複数箇所あるため、これらを全て修正しないといけない、みたいな。

2. Cognitive load

認知負荷。開発者が機能追加・変更のタスクを完了させるためにどのぐらいシステムの内部を知っている必要があるか、と言うこと。多ければ多いほど把握できなくなり、修正漏れなどのバグが発生することになる。
システム設計者は時々コードの行数で複雑性を表そうとするが、1行に処理が集約されてすぎていて逆に認知負荷を高めるケースもある。1行より複数行のコードの方がシンプルになっている場合もある

3. Unknown unknowns

開発者が機能追加・変更のタスクを完了させるために、どの部分を変更すればいいのかが明らかではないこと。もしくはどの部分を変更すればいいのかの情報が明らかではないこと
上の図だと、「背景色を変更したい」と言うタスクがある時に、bannerBgを変更しても全てのページの背景色が変わらないので、どの部分を変更すればいいのかが分かりにくい

Chapter 1 - Intruduction / A Philosophy of Software Design

Mon, 29 Nov 2021 09:00:00 +0900

A Philosophy of Software Design, 2nd Edition (English Edition)

作者:Ousterhout, John

Amazon

A Philosophy of Software Design の第1章を読んだのでそのまとめ。

Intro

プログラムは機能が増えるごとに複雑さが増していく。複雑さが増えると、開発スピードが遅くなりバグが増える
開発ツールは複雑性に対処するに役立つが、これには限界がある。一方、シンプルなソフトウェアのデザインはより大きくてパワフルなプログラムを導いてくれる。
複雑性に対処するには2つのアプローチがある。
- 1つ目はコードをシンプルかつ明らか（わかりやすく）すること。例えば複雑性は特殊ケースを削除することで減らすことができる。
- 2つ目のアプローチはカプセル化でmodular design とよばれている。
  - Modular designではソフトウェアをモジュールに分割して管理して(OOPだとクラスとか)それぞれのモジュールは他のものに依存しない。
  - そのため、プログラマーはあるモジュールの開発をするときに、他のモジュールの詳細を知らなくて済む。

ウォーターフォールモデルの紹介

ウォーターフォールだと基本的には設計フェーズではすべてを設計し、開発のフェーズでは設計をしない。ソフトウェアは物理的なシステムより複雑で目に見えないので、特に大きなシステムであるほど全体を細部まで理解することは難しい。
開発フェーズで初めて問題がわかるケースもよくあり、場合によっては設計のやり直しが発生する。ウォーターフォールモデルだとこれは大きな手戻りになってしまう。
この問題があるため、最近のソフトウェア開発ではアジャイルのようなインクリメンタルなアプローチが使われている。

How to use this book

ソフトウェアの設計スキルを向上させるための良い手法の一つは、"red flags"という複雑なソースコードの断片のサインを認識することである。この本ではその"red flags"を、メジャーな設計の問題を通じて説明する。

A Philosophy of Software Designを読み始めた

Sun, 28 Nov 2021 14:54:17 +0900

タイトル通りで、最近第2版が発売されたのと、いろんなところでオススメされていたのでこの本を読んでいる。やっと第6章まで読み終わったので、それぞれの章のまとめをブログにアップしていく予定。

A Philosophy of Software Design, 2nd Edition (English Edition)

作者:Ousterhout, John K.

Amazon

以下は読んだ章のINDEX.

JavaScriptの記号の演算子と構文

Tue, 07 Sep 2021 18:09:10 +0900

JavaScript / TypeScript では一見すると「これなんだ？」という記号の演算子や構文がよく出てくるので、自分用の備忘録としてメモしておく。式と演算子 - JavaScript | MDNには演算子の一覧のページがあるため、わからない記号が出てきたら以下のページを見るとだいたい載っているはず。

?? - Nullish coalescing operator

Null 合体 (??) - JavaScript | MDN
Null 合体演算子 (??) は論理演算子の一種です。この演算子は左辺が null または undefined の場合に右の値を返し、それ以外の場合に左の値を返します。
例えば以下のコードだと、aがnull or undefinedの場合は a is null or undefined がvalに代入される

const val = a ?? 'a is null or undefined';

!! - Double not operator

Logical NOT (!) - JavaScript | MDN
複数の否定演算子を連続して使用することで、明示的にあらゆる値を対応する論理型プリミティブに変換することができます。
否定の否定なので肯定ということになり、元の値をbooleanに変換するということらしい

const val = !!a; // val is always boolean

?. - Optional chaining operator

オプショナルチェーン (?.) - JavaScript | MDN
?. 演算子の機能は . チェーン演算子と似ていますが、参照が nullish (null または undefined) の場合にエラーとなるのではなく、式が短絡され undefined が返されるところが異なります。関数呼び出しで使用すると、与えられた関数が存在しない場合、 undefined を返します。

const val = a?.b?.c; // aがnull or undefinedの場合 val が undefinedになる

... - Spread syntax

スプレッド構文 - JavaScript | MDN
スプレッド構文 (...) を使うと、配列式や文字列などの反復可能オブジェクトを、0 個以上の引数 (関数呼び出しの場合) や要素 (配列リテラルの場合) を期待された場所で展開したり、オブジェクト式を、0 個以上のキーと値のペア (オブジェクトリテラルの場合) を期待された場所で展開したりすることができます。
一番多用されるのは配列やオブジェクトをコピーするときなのではないかと思われる

const arr = [1, 2, 3];
const arr2 = [...arr]; // arr.slice()みたいな

! - Non-null assertion operator

これはJavaScriptではなくてTypeScriptにしかない演算子。

TypeScript: Documentation - TypeScript 2.0
以下のようなコードの時に、eがundefinedまたはnullではないことを保証して、nameにアクセスできる

// Compiled with --strictNullChecks
function validateEntity(e?: Entity) {
  // Throw exception if e is null or invalid entity
}

function processEntity(e?: Entity) {
  validateEntity(e);
  let s = e!.name; // Assert that e is non-null and access name
}

TypeScriptのDestructuring assignment

Tue, 10 Aug 2021 10:08:43 +0900

最近仕事でfrontendの開発を少しずつやるようになったのだけど、TypeScriptはGoに比べて演算子や記号を使う記法が多くて読むのに一苦労する。なので「これなんだろう？」と思ったやつをメモしておく。

TypeScriptやっていて一番最初に「ん？」と思ったのは、以下のような構文だった。

const obj = { title: 'hello' }
const  { title: myTitle } = obj // ★
console.log(myTitle) // "hello"

★のコードでは

obj というオブジェクトから title という要素を取り出して
myTitleという定数を宣言
myTitleに 1. で取り出した要素を代入する

ということをやっている。myTitleが定数宣言であるのに対して、キーのtitleは単純にオブジェクトのキーなので特に何かが宣言されているわけでない、ということが初めはわかっていなかったのでこの構文を見るたびに頭が混乱していた。

調べてみると、これはJS由来の構文でDestructuring assignmentと呼ぶらしい。

上の例ではオブジェクトから要素を取り出す例だったが、当然配列から特定の要素を取り出すこともできる。

const array = [1, 2]
const [ first, second ] = array
console.log(first) // 1

さらにスプレッド構文 ... を使って以下のような代入も可能。

[a, b, ...rest] = [10, 20, 30, 40, 50];
console.log(rest); [30, 40, 50]

Goと違って多値が返せないからこういう構文が必要になるのかなと思ったのだけど、どうなんだろう？

Go1.17beta1でGenericsに触れてみた

Wed, 14 Jul 2021 08:30:00 +0900

Go1.17beta1がダウンロードできるようになったので、Generics(Type Parameters)でStackを書いて軽く遊んだメモ。

Generics (Type Parameters)について

最新の仕様のProposalは以下を見ると良い。

実際にどんな感じのコードになるのかは、GitHubのdev.typeparams branchのコードを見ると良さそう。

Go1.17beta1のダウンロード

普段使っているgoコマンドから以下のようにGo1.17beta1をダウンロードできる。

$ go get golang.org/dl/go1.17beta1
$ go1.17beta1 download

これで ~/sdk/go1.17beta1 にインストールされる。

FYI: Goは標準の機能で複数のバージョンをインストールできる。より詳しくは以下のドキュメントを読むと良い。

Genericsのサンプルコード

Go1.17beta1に付属している以下のディレクトリに結構ある。

$ ls $(go1.17beta1 env GOROOT)/test/typeparam
absdiff.go      fact.go         issue45738.go   min.go          slices.go       tparam1.go
adder.go        graph.go        list.go         ordered.go      smallest.go     typelist.go
append.go       importtest.go   list2.go        orderedmap.go   smoketest.go    value.go
chans.go        index.go        lockable.go     pair.go         stringable.go
combine.go      interfacearg.go map.go          pragma.go       stringer.go
cons.go         issue45547.go   maps.go         sets.go         struct.go
double.go       issue45722.go   metrics.go      settable.go     sum.go

GenericsでStackを書いてみる

こんな感じになった。現時点ではType Parametersの型をexportすることができないっぽいので、stackと小文字で定義してmainパッケージに書いている。

// run -gcflags=-G=3
package main

import "fmt"

var (
    ErrEmptyStack = fmt.Errorf("stack is empty")
)

type stack[T any] struct {
    data     []T
    capacity int
}

func newStack[T any](capacity int) *stack[T] {
    if capacity <= 0 {
        panic("must be 'capacity' > 0")
    }
    data := make([]T, 0, capacity)
    return &stack[T]{data: data, capacity: capacity}
}

func (s *stack[T]) Push(v T) {
    s.data = append(s.data, v)
}

func (s *stack[T]) Pop() (T, error) {
    if s.Size() == 0 {
        var zero T
        return zero, ErrEmptyStack
    }
    v := s.data[len(s.data)-1]
    s.data = s.data[:len(s.data)-1]
    return v, nil
}

func (s *stack[T]) Peek() (T, error) {
    if s.Size() == 0 {
        var zero T
        return zero, ErrEmptyStack
    }
    return s.data[len(s.data)-1], nil
}

func (s *stack[T]) Size() int {
    return len(s.data)
}

func main() {
    s := newStack[int](10)
    s.Push(1)
    s.Push(2)
    s.Push(3)
    fmt.Printf("s = %+v\n", s)

    _, err := s.Pop()
    if err != nil {
        panic(err)
    }
    fmt.Printf("s = %+v\n", s)
}

コード書いてて少し悩んだのは、func (s *stack[T]) Pop() (T, error) のようなメソッドでerrorを返す時にT型のゼロ値をどうやって返すのか、という点だった。どうやら以下のように var zero T を定義してそれを返すのが良いらしい。return nil, ErrEmptyStackという風に書くと、Tはポインタ型ではないのでコンパイルエラーになる。

func (s *stack[T]) Pop() (T, error) {
    if s.Size() == 0 {
        var zero T
        return zero, ErrEmptyStack
    }
    v := s.data[len(s.data)-1]
    s.data = s.data[:len(s.data)-1]
    return v, nil
}

実行

main関数があれば普通にgo1.17beta1 runコマンドで実行できる。-gcflags=-G=3を付けないとgenericsのコードはコンパイルできないので注意。

$ go1.17beta1 run -gcflags=-G=3 ./typeparam.go
s = &{data:[1 2 3] capacity:10}
s = &{data:[1 2] capacity:10}

感想

Type Parametersの機能が入るリリースは2022年の2月のGo 1.18だと思うけど、現時点でもモリモリ実装されているのでとても楽しみである。

Apple Silicon向けDocker Desktop for Macでコンテナがハングしないようにする

Mon, 14 Jun 2021 09:00:00 +0900

TL;DR

Apple Silicon(M1) Docker Desktop for Macでgoogle/cloud-sdkのDocker Imageを使ってコンテナ内でCloud Datastore Emulatorを立ち上げると、CPUが100%で張り付いてハングするという問題があった。
解決方法として、該当のDocker Imageをarm64v8アーキテクチャでビルドして、そのイメージでコンテナを立ち上げるようにしたら問題は起きなくなったので、その方法の紹介

問題の詳細

Apple Silicon版のDocker Desktop for MacはRosetta2を使いインテルアーキテクチャ(amd64 / x86_64)をエミュレーションして実行されている。エミュレーションが行われているため、ネイティブでarm64v8のコンテナを実行するよりCPUを使ってしまうという問題がある。これはKnown Issuesとして以下のように書かれている。

However, attempts to run Intel-based containers on Apple Silicon machines under emulation can crash as qemu sometimes fails to run the container. In addition, filesystem change notification APIs (inotify) do not work under qemu emulation. Even when the containers do run correctly under emulation, they will be slower and use more memory than the native equivalent.

In summary, running Intel-based containers on Arm-based machines should be regarded as “best effort” only. We recommend running arm64 containers on Apple Silicon machines whenever possible, and encouraging container authors to produce arm64, or multi-arch, versions of their containers.

自分が遭遇した現象としては、google/cloud-sdkのイメージを使ってgcloudコマンドでDatastore Emulatorを立ち上げようとすると、3回に1回ぐらいの確率でCPUが100%になり、コンテナが全く応答しなくなるという問題だった。

We recommend running arm64 containers on Apple Silicon machines whenever possible

とDocker Desktop on MacのKnown Issuesに書かれているので、これにしたがってgoogle/cloud-sdkのarm64v8のDocker Imageをビルドしてみた。

google/cloud-sdk arm64v8 Imageをビルドする

公式には提供されていないので、自分でDockerfileを作ってイメージをビルドする必要がある。 https://hub.docker.com/u/arm64v8 には様々なarm64v8のDocker Imageがあるので、debian:buster-slimをベースにして以下のようなDockerfileを作る。ちなみに今回はgoogle-cloud-sdk-datastore-emulatorしか使わないのでこれだけをインストールしているが、他のEmulatorが必要であれば公式のDockerfileを参考にインストールすれば良い。

FROM arm64v8/debian:buster-slim

ARG CLOUD_SDK_VERSION=341.0.0
ENV CLOUD_SDK_VERSION=$CLOUD_SDK_VERSION

RUN groupadd -r -g 1000 cloudsdk && \
    useradd -r -u 1000 -m -s /bin/bash -g cloudsdk cloudsdk

RUN mkdir -p /usr/share/man/man1/ && \
    apt-get update && \
    apt-get -y install \
        curl \
        gnupg \
        sudo \
        python3 \
        python3-crcmod \
        bash \
        openjdk-11-jre-headless

RUN echo "deb [signed-by=/usr/share/keyrings/cloud.google.gpg] http://packages.cloud.google.com/apt cloud-sdk main" | sudo tee -a /etc/apt/sources.list.d/google-cloud-sdk.list
RUN curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key --keyring /usr/share/keyrings/cloud.google.gpg add -
RUN apt-get update && \
    apt-get install -y \
    google-cloud-sdk \
    google-cloud-sdk-datastore-emulator
RUN gcloud config set core/disable_usage_reporting true && \
    gcloud config set component_manager/disable_update_check true && \
    gcloud config set metrics/environment github_docker_image_emulator

そしてDocker Imageをビルドする。

$ docker build -t cloud-sdk-emulators-arm64v8:341.0.0 .

最後に

今回はGoのユニットテストからory/dockertestを使ってDatastore Emulatorを立ち上げていたのだが、コンテナを何個立ち上げても全くハングしなくなりとても安定した。今回はDatastore Emulatorだったけど、他のImageでも起こりうる問題だとは思うので、もしApple siliconのマシンでDockerを動かしていて同じような症状で困っている人は参考にしてもらえると良いと思う。

2021年の抱負

Sat, 30 Jan 2021 23:14:54 +0900

年初に新年の抱負を書こうと思っていたがずっと後回しになってしまい、1月もそろそろ終わってしまう時期になった。というわけで明けましておめでとうございます。

例によって全ては達成できないと思うけど、今年やりたいことを抱負としてまとめてみる。

習慣化

これは抱負というよりかはよりメタなものだけど、継続していきたいことは習慣化させないと続かないため、習慣化を努力しようと思っている。昨年の11月からHabitifyというiOSアプリを試していてなかなか良いなと思ったので、年初に1年単位で課金してみた。このアプリは、例えば「ジョギング」のような習慣化したいものを登録しておいて、それを通知でリマインドしたり、実際にやったことを記録して週や月単位で振り返りするようなアプリだ。自分の場合は以下のような習慣を登録している。

プロテインを飲む
階段ジョギング
筋トレ
iKnow(英単語学習)

このアプリ、特に何かすごい機能があるわけではないけど、リマインドを1日に2回するなど割と気が利いているのとストレスなく使えるので気に入っている。今年はこのアプリとともに習慣化に一番力を入れたいなと思っている。

ReactでSPA作れるようになる

仕事では専任のFrontend Engineerがいないため、自分もFrontのコードを触らなくてはいけないし、もともと自分ひとりでサービスを作ったりしたいので、今年はTypeScript + ReactでSPAのサービスを作れるようになりたい。

TypeScript
React
React Hooks
React Context
React Router
Jest

あたりを学べばいいのかなと漠然と思っている。余裕があったらNext.jsにもトライしてみたい。

英語

毎日iKnowで英単語をやるのと、週に1回はSkype英会話のレッスンをやるようにして、英語力を下げない努力をしようと思っている。昨年まではDMM英会話をやっていたが

値段が高くなってきている
英会話をやる時間を捻出するのが難しい
単語を発声して覚える方が英語身についてそう(自分が発音できない単語は聞き取れないらしいので)

と思ったのでiKnowをなるべくやるようにして、週1のSkypeレッスンに切り替えた。あと、実力値を安価に測るためにTOEICを年に2回受けるつもり。

アウトプット

1ヶ月に1つはちゃんとした記事を書く。昨年に引き続き継続は力なり、ということで。

というわけで

2021年もやっていくぞい

2020年の振り返り

Thu, 31 Dec 2020 23:48:22 +0900

早いもので2020も終わってしまう。歳をとるごとに1年が過ぎていくのが早く感じる気がするけど、ここまで早く過ぎ去ってかつ内容が薄い年は初めてなのではないかと思う。ただ、多くの人にとって大変な年になったのは間違いないと思うけど、自分はソフトウェアエンジニアという職業だったおかげで、相対的に見ればCOVID-19の経済的な影響は少なかったので、ラッキーだったとは思う。あらためてテクノロジーの進化とソフトウェアエンジニアになろうと決めた2000年頃の自分に感謝したい。

1月

2019年末からインフルエンザにかかって実家に帰ったりもできず最悪のスタート。しかし、初めて家族でスキーに行ったり、その直後にGoDaysというベルリンで開催されたGoのカンファレンスに参加できたのはとてもラッキーだった。GoDaysのついでにワルシャワに1泊2日で個人旅行してきて、ポーランドという国の大変な歴史を学びつつ、社会主義から資本主義に移行している勢いも感じられたのでよかった。

Got gopher finally. Thank you! #GoDays20 pic.twitter.com/Afl5mm6X6u

— oinume@Dr.’s Prime (@oinume) January 22, 2020

旧市街を一通り歩いてきた。ここは家族で来たかったなぁ。 pic.twitter.com/8gCFSjOD3f

— oinume@Dr.’s Prime (@oinume) January 24, 2020

振り返ると2020年は私生活ではこの1月が最高に充実していたと思う。スタートアップへの転職について考え始めたのもこの1月からだったと思う。

2月

会社の炎上プロジェクトが本格的に炎上し始めて仕事が大変になってきたのがこの時期だった。ただ、コロナも未だこの頃は猛威を奮っていなくて呑気に出社して仕事をしていた気がする。

3月〜6月

会社が原則WFHに移行し、さらに子供が保育園に行けなくなり精神的に削られる日々が続いた。子供が家にいる状態で集中して作業できる時間が確保できなくなったため、自分でコードを書くのは諦めて、担当しているmicroserviceのproductivity teamのPM的な役割に徹した。コードが書けないのは個人的にはストレスだったけど、とても強い人たちが支えてくれたので、チームとしては結構うまく立ち回れたのではないかと思っている。

また、GW前の仕事が一番炎上している時にSoftware Designの記事の締め切りがあり、生きている心地がしないぐらい忙しかった記憶がある。(みんな買ってくれ)

gihyo.jp

7月〜8月

メルペイを退職する意向を固めて、本格的に転職活動をしていた時期。コロナ渦での最終出社は寂しかったけど、あまり盛大に送り出されるのも苦手なので、あのぐらいがちょうどよかった。たまたま会社に10人ぐらい人が来ていたので久しぶりに同僚といい話ができた気がする。

8月後半にはグラファーとドクターズプライムからオファーをもらい、どちらに行くか決めきれなかったので9月と10月でそれぞれで働いてどちらかに決めることになった。悩みまくってとりあえず横浜のみなとみらいまで海を見に行ったりした。

9月

この1ヶ月はグラファーで業務委託としてお試しで働かせてもらっていた。地方自治体向けのSaaS開発の裏側と急成長しているスタートアップの裏側を何一つ隠すところなく見せてもらい、とても有意義だった。「こういうことをやって欲しい」というお題をある程度与えてもらいつつ、自分的に課題だと感じたところを見つけて直していくようなことをやった。結果としてグラファーからのオファーは断ってしまったけど、CEOの石井さんの考え方がとても好きでファンなので、副業で少しだけ手伝わせてもらっている。

10月

10月はドクターズプライムで1ヶ月働いてみた。グラファーはリモート中心で、こっちはオフィスに出社するのが中心であり、久々にオフィスメインで仕事することもあってか、人と雑談しながら仕事をするのがとても楽しかった。この頃は自分以外にまだエンジニアが誰もいなかったので、どういう風に仕事を進めればいいか悩ましいところもあったけど、他の人々が優しく接してくれたのであまり肩肘貼らずに仕事できたように思う。

11月〜12月

最終的にドクターズプライムに決めて社員として働き始めた。正直コードを書く量は前職に比べて減った気がするけど、プロダクト開発やセキュリティ強化、採用など様々なことをやらなくてはいけないカオスな状況は楽しい。メルペイで働き続けていた方がバックエンドエンジニアとしてのキャリアは積めるだろうけど、社員10名規模で技術スタックが完全一致しているスタートアップで働ける機会なんてそうそうないと思ったので転職してよかったと思う。

やっていきます💪💪https://t.co/mgHx9JgpTD

— oinume@Dr.’s Prime (@oinume) November 10, 2020

ライブ

今年はこれらのライブに行くはずだったけど当然全部キャンセル or リスケされた。来年こそはと思うけどワクチン次第なのでどうなることやら。

Knotfest
Green Day
Avril Lavigne
Viva La Rock

しかしストリーミングでDragon Ashのライブを3個も見れたので、これはこれでありなのでは？とも思い始めている。

最後に

何だかんだで今年は激動の1年だった。他にも大事なことがいろいろあった気がするけど思い出せないので気にしないことにします。新型コロナに負けずに来年もよい年を迎えられると良いなと思っております。皆さんも良いお年を！！

O'Reilly Online Learningで日本語の本を読む方法

Fri, 27 Nov 2020 09:00:00 +0900

O'ReillyのOnline Learning(旧O'Reilly Safari Books Online)は月額$49でオライリーの本や動画などが見放題になるエンジニア向けのサブスクを提供している。以前は英語の本しか読めなかったが、いつからか日本語の本も読めるようになっていたのでメモ。

www.oreilly.com

Sign Inして、左のメニューのSettingsをクリックするとLanguage Preferencesがあるので、ここでJapaneseにチェックを入れて下のUpdate Preferencesをクリックして保存する。

これでHomeに行き、例えばGraphQLで検索すると検索結果の画面でBooksのタブがあるのでこれを選択する。そうするとLanguageの選択ができるので、ここでJapaneseを選ぶと日本語の本だけに絞ることができる。(手っ取り早く検索結果を表示したい時はこちら)

目的の本が見つかったらそれをPlaylistに入れるなりすればOK。なお、AndroidのO'Reillyのアプリからだと日本語の本をダウンロードして読むことができたが、iOSはエラーになって読めなかった。

2021年2月時点では合計57冊の日本語の本が読めるらしい。個人的に良さそうだなと思ったものをいくつか書いておく。

なお、裏技としてACMの会員になると年$99でO'Reilly Online Learningにアクセスできるようになるので、4冊ぐらい読めば元は取れることになる。ACMの登録方法についてはここによくまとまっているので参考になると思う。

それでは素敵なO'Reillyライフを！

ドクターズプライムに入社しました

Tue, 10 Nov 2020 09:09:46 +0900

これはなに？

入社エントリー＆会社紹介です。表題の通りで、10月をもってメルカリ/メルペイを退職し、11月からドクターズプライムという会社で働いています。

なにやってるの？

Backend Engineerとして、救急車のたらい回しをなくすためのプロダクトを開発しています。救急車のたらい回しが発生する理由としては以下のスライドに書いてある通りなのですが、これを解決するのがDr.'s Primeという医師の採用サービスになります。

自分も子供を持つ親なので何度か病院のお世話になったことはあるし、子供が救急車で運ばれて手術＆入院したこともあるので、救急医療に関しては一当事者として良くしていきたいという思いがありました。ドクターズプライムは救急車の搬送を断らないための仕組みを採用サービスとして第三者の立場から提供していて、素直にいいソリューションだなと思っています。

入社の経緯

今年に入ってからスタートアップで働くと言うことを意識し始めて、何社か話を聞かせてもらいました。時系列にするとこんな流れです。退職すること自体は昨年から別の理由で検討していたのですが、今年に入ってからスタートアップ良さそう！と思うようになりました。

1月：スタートアップでDXをやっている会社に興味を持ち始める
6,7月：メルペイを退職する意向を固めて、本格的に転職活動を始める
8月：2社からオファーをもらって悩み始める
10月末：入社を決める

8月は2社からオファーをもらっていて悩んでいた時期で、そのうちの一つがドクターズプライムでした。2社のうちどちらにするかを悩んでいたところ、「両方で働いてみて決めればいいんじゃない？」という提案をしてもらい、ありがたく両方の会社で1ヶ月ずつ働くことにしました。ちなみにもう一つは地方自治体向けのSaaSを提供しているグラファーという会社です。

最終的には、より会社規模が小さいドクターズプライムを選びました。エンジニアが自分を含めて2名しかいないため、必然的にプロダクト開発チームを作るところからスタートになります。1ヶ月お試しで働いてみてこのメンバーならチーム作りを含めて楽しくやれそうだと感じたこと、HRT(Humility, Respect, Trust)をはじめとしてカルチャーを大事にしていて、実際に中で働いてそれを体験できたことが決断の後押しになりました。

ちなみにグラファーもいい会社です。こちらはリモート中心の働き方でしたが、相談事があったらすぐにZoom MTGが開催されたり、障害が発生した場合はポストモーテム(振り返り)をきちんと行い再発防止に努めていたり、プロフェッショナルさを感じることが多かったです。たまにオフィスに集まると和気藹々とランチを一緒に食べたり、スタートアップとしての一体感も強いです。

取り組んでいる分野に違いはあれど、どちらの会社も日本に存在するペインを猛烈なスピードで解決するスタートアップであり、その両方で働く機会をもらったことはとてもいい経験になりました。両社とも楽しく仕事させてもらったので、分身できるのなら両方でフルタイムで働きたかったぐらいですw

ドクターズプライムでやっていきたいこと

創業時のリーンなプロダクト開発の結果として、GAS + Spreadsheet + Google Forms のシステムで売り上げが立つという、ある意味嬉しい誤算の状態になっていました。しかし、このGASベースのシステムもそろそろ綻びが見え始めており、一般的なFrontend + Backendの構成に置き換えていくことが当面やっていくことになります。

これ以外にも

新しい病院向けプロダクトの開発
GCPの設定をterraformで管理したい
もっとTDDを押し進めたい
社内の情報機器の管理をもっと効率的にやりたい
勤怠システムの打刻がめんどいのでSlackで打刻できるようにしたい

などなど、やりたいことは山のようにあります。しかし、まだBackend engineer2名という体勢なので採用も頑張らなくてはなりません。特に初期設計から実装までまるっとお任せできる強いFrontend Engineerの助けを必要としています。(マジで助けてくれ！)

その他にも多数の職種を募集しているので、興味がある人は以下の採用ページをみてもらえればと。オープンポジションもあるので、事業に興味はあるけど自分がマッチするポジションのイメージがなくても大丈夫です。

採用情報 | 株式会社ドクターズプライム

などと採用の話になってしまいましたが、とりあえず私は生きていて浅草で働いているので近くにいる人はぜひランチでも行きましょう！

オフィス近くから見えるスカイツリー

moq - gomockを使わないMock生成

Thu, 22 Oct 2020 09:00:00 +0900

Goでよく使われるMockの生成ツールとしてgomockがある1。個人的にはgomockが生成したコードでモックを書くのが好きではないので、代替としてmoqを使うやり方を取り上げてみようと思う。

なお、本記事ではgithub.com/golang/mockではなく、go.uber.org/mockを使うように 2024-06-11 に改訂している。[^1]

TL;DR

moqは、mockしたいinterfaceで定義されているメソッドと同じシグネチャのメソッドを生成し、そのメソッドを実装することでmockが作れる
- 純粋にメソッドのモック実装のコードを書けばいいだけなので、gomockのようにライブラリとしての使い方を覚える必要はない
- 生成されるコードもtype safeであり、gomockのようにanyは登場しない
moqには、mock化したメソッドが呼び出された回数を取得するなど、最低限のことはできるようになっている。
- それ以上のことをやりたければ自分で実装する

題材

GitHubのAPIを使い指定したリポジトリのブランチを出力するServiceを考えてみる。このServiceには以下の引数owner, repoで指定されたリポジトリのブランチをwに出力するというメソッドを持っている。

PrintBranches(ctx context.Context, w io.Writer, owner, repo string) error

service.go

このServiceの実装コードは以下のようになっていて、githubClientを使ってGitHub APIを呼び出し引数のリポジトリのブランチの一覧を取得している。

github/client.go

次にServiceから参照されているgithub.Client interfaceについて説明する。これは以下のように純粋なinterfaceとして定義している。そして、ユニットテストではGitHub APIへのアクセスをモックにしたいので、このinterfaceが定義しているListBranchesを実装するモックをgo:generateで生成するようにしている。

package github

//go:generate moq -out=client.moq.go . Client
//go:generate mockgen -destination=client.gomock.go -package=github . Client

import "context"

type Client interface {
    ListBranches(ctx context.Context, owner, repo string) ([]string, error)
}

gomockを使ったテストコード

それではgomockを使ってService.PrintBranchesのテストコードを書いてみよう。以下のようにgithub/client.go にgo generateでmockgenを呼び出すコードを追加し、go generate ./mock/github を実行すると、./mock/github/client.mock.go が生成される。

//go:generate mockgen -destination=client.gomock.go -package=github . Client

そして、以下が実際にgomockが生成するMockを使って書いたservice.goのテストコードである(service_test.go)。

ctrl := gomock.NewController(t)
defer ctrl.Finish()
githubClient := github.NewMockClient(ctrl)
githubClient.
    EXPECT().
    ListBranches(context.Background(), "oinume", "playground-go").
    Return([]string{"main", "develop", "feature/a"}, nil)
s := Service{githubClient: githubClient}
out := new(bytes.Buffer)
if err := s.PrintBranches(context.Background(), out, "oinume", "playground-go"); err != nil {
    t.Fatal(err)
}
fmt.Printf("--- out ---\n%v\n", out.String())

注目して欲しいのは、以下のEXPECT()以降の部分。

mockGitHubClient.
    EXPECT().
    ListBranches(context.Background(), "oinume", "playground-go").
    Return([]string{"main", "develop", "feature/a"}, nil)

このEXPECT()が返すのは*MockClientMockRecorder型で、これに定義されているメソッドListBranchesのシグネチャはListBranches(arg0, arg1, arg2 interface{}) *gomock.Callになっている。これは本来のListBranchesのシグネチャとは異なるものになり、引数の型がinterface{}になっているため、オリジナルの引数の型であるstring以外の型も渡せてしまう。テストコードの実行には問題がないかもしれないが、本来であればClient interfaceに定義されている引数の型と同じにしておいた方が変な誤解を生まなくてすむと思う。

また、MockClientMockRecorder.ListBranchesが返す*gomock.Callに対してモックが返す値をReturn([]string{"main", "develop", "feature/a"}, nil)のようにセットする必要があるが、戻り値の数を間違えてもコンパイル時にはエラーにならず、実行時にエラーになることもイケてないと思う。

また、Mockのために以下のようなboilerplateのコードを毎回書くのも個人的には好きではない。俺はメソッドをmockしたいだけなのになぜこんなことをしなければならないのか

ctrl := gomock.NewController(t)
defer ctrl.Finish()
...

moqを使ったテストコード

では次に、moqが生成したコードとそれを使った場合のコードを見てみる。

moqが生成したコード client.moq.go
moqを使うservice_test.go

まずmoqが生成したコードは以下のようになっている。

type ClientMock struct {
    // ListBranchesFunc mocks the ListBranches method.
    ListBranchesFunc func(ctx context.Context, owner string, repo string) ([]string, error)

    // calls tracks calls to the methods.
    calls struct {
        // ListBranches holds details about calls to the ListBranches method.
        ListBranches []struct {
            // Ctx is the ctx argument value.
            Ctx context.Context
            // Owner is the owner argument value.
            Owner string
            // Repo is the repo argument value.
            Repo string
        }
    }
    lockListBranches sync.RWMutex
}

// ListBranches calls ListBranchesFunc.
func (mock *ClientMock) ListBranches(ctx context.Context, owner string, repo string) ([]string, error) {
    if mock.ListBranchesFunc == nil {
        panic("ClientMock.ListBranchesFunc: method is nil but Client.ListBranches was just called")
    }
    callInfo := struct {
        Ctx   context.Context
        Owner string
        Repo  string
    }{
        Ctx:   ctx,
        Owner: owner,
        Repo:  repo,
    }
    mock.lockListBranches.Lock()
    mock.calls.ListBranches = append(mock.calls.ListBranches, callInfo)
    mock.lockListBranches.Unlock()
    return mock.ListBranchesFunc(ctx, owner, repo)
}

そして、上記のmoqが生成したClientMockを使うコードはこんな感じになる。

githubClient := &github.ClientMock{
    ListBranchesFunc: func(ctx context.Context, owner string, repo string) ([]string, error) {
        return []string{"main", "develop", "feature/a"}, nil
    },
}
s := Service{githubClient: githubClient}
out := new(bytes.Buffer)
if err := s.PrintBranches(context.Background(), out, "oinume", "playground-go"); err != nil {
    t.Fatal(err)
}

fmt.Printf("--- out ---\n%v\n", out.String())

moqの場合はモックしたいメソッドをstructの初期化時にセットする。これはただのメソッドなので、中身の実装は好きなように書けばよくて、引数の型や戻り値の型も元のClient interfaceと全く同じである。つまり、戻り値の数を間違えてもコンパイル時に検出してくれる。このmoqを使ったコードの方がboilerplateなコードもなく純粋にモックにフォーカスできるのではないかと思う。

まとめ

gomockではなくmoqを使うとモックを使ったテストコードがよりわかりやすく、かつ使い方を間違えた時の実行時のエラーもなくなることが伝わったのではないかと思う。個人的にはモック化する対象のメソッドが少なければ、moqを使わずにmoqが生成するような該当メソッドを置き換えるfuncを手で書くのもありだと思う。というわけで、gomock割といろんなところで使われているけどより良いツールがあるよ、という紹介でした。おしまい。

改訂2版みんなのGo言語

作者:松木雅幸,mattn,藤原俊一郎,中島大一,上田拓也,牧大輔,鈴木健太
技術評論社

Amazon

2023年1月時点で github.com/golang/mock がアーカイブされたため、go.uber.org/mock としてforkされたものが継続的に開発されているため↩

2020年8月までの振り返り

Sat, 12 Sep 2020 00:00:00 +0900

ずいぶんと振り返りをサボってしまったので、頑張って7ヶ月分を書く

2月

この頃は各国のコロナの感染者数を毎日チェックしていた気がする。

国別の罹患者数。Cruise Shipが国に格上げされているｗhttps://t.co/rp6wUIvCrS

— oinume (@oinume) February 17, 2020

そしてコロナの影響で2月終わりから在宅勤務、英語でカッコよく言うとWFHというヤツに会社が全体的に移行した。仕事的にはGitHub Actionsを使って何かいろいろ自動化しようとしていて、そんなに切羽詰まっている感じではなかった気がする。

3月

新型コロナの影響で3月〜5月に行く予定だったライブやフェスがことごとく延期もしくは中止になり、個人的な趣味を奪われてしまって、仕事で溜まったストレスが発散できなくなった。仕事はプロジェクトが炎上し始めたのと、WFHになったおかげでこの月から労働時間が著しく増えた気がする。

4月〜6月

保育園から「在宅勤務の家庭は登園を自粛して欲しい」という状態になり、子供の面倒を家で見ながら仕事をするというとてもストレスフルな状態になった。そして仕事ではプロジェクトが炎上し始め、さらにSoftware Designの原稿の締め切りがGW明けとバッティングして苦しい状況だった。

仕事では4月にProductivity Teamなるものを立ち上げ、炎上プロジェクトに対して人を増やすと言うアンチパターンにアンチテーゼを投げかけた。自分一人でやっていたものに対してチームで取り組めるようになったので、自分はリーダー業務に徹して実作業はチームメンバーにお願いすることになるのだが、子供の面倒をみなくてはいけないという状況においてはこれはかなり良かった。

というのは、子供が家にいるととにかく集中して作業することができない。奥さんが見てくれる時間もあるとはいえ、となりの部屋で叫び声が聞こえてくるとどうしても気になってしまう。なので、集中力が必要なタスクは深夜または早朝にやるようにして、昼間はSlackでのやりとりやMTGに終始するようにした。ただし、労働時間は平常時の1.25倍ぐらいになっているにもかかわらず、アウトプットはほぼ変わらない OR 下がっているという状態で、この期間が精神的にも肉体的にも一番つらかった。

7月

保育園の登園自粛が解除され、平日昼間も集中できる時間が増えた。また、炎上プロジェクトもなんとかリリースが終わり、自分はもう退職することが決まっていたので引き継ぎを徐々に始めた。

リリースしたとはいえ、リリースがむしろスタートであり、特にリリース直後のオンコールはつらかった。未知の問題のアラートが多発し、過去のSlackのログなどを漁ってなんとか対応するというやり方で逃げ切った感がある。途中からOperation Reportなるものを作るようにしたおかげで、過去にどういう対応をしたのかなどがわかりやすくなり、手間はかかるがこの仕組みはやって良かったと思う。

8月

8/14が最終(物理)出社日だった。オフィスに珍しく10人ぐらい人がいたので集合写真を撮ったりした。会社のアカウント類は本来は最終出社日で無効化されるはずが、なぜか1週間ぐらい無効化されてなかったのでSlackは毎日のように見ていた。

退職エントリーというやつを人生で初めて書いたところ、反響がすごくてこれだけでTwitterのフォロワーが200人ぐらい増えたw メルカリ/メルペイのブランド力というヤツはすごいなーとあらためて思う。

現況です
メルカリ/メルペイを退職します - oinume journalhttps://t.co/ThfsB9DEhn

— oinume (@oinume) August 24, 2020

買ったもの

Dell 4Kモニター 27インチ USB Type-C モデル

【Amazon.co.jp限定】Dell U2720QM 27インチ 4K モニター (3年間無輝点交換保証/IPS非光沢/USB Type-C・DP・HDMI/縦横回転・高さ調整/DCI-P3 95%/VESA DisplayHDR 400)

Dell

Amazon

この半年の中で買ったものの中ではこれが満足度が一番高い。このモニタからMacBookが充電できるし、場所もそこまで取らない。23.8インチと迷ったけど1万円しか違わなかったのでこっちを購入。

Galaxy Buds+

[asin:B084HSPN1X:detail]

3月〜7月はとにかくオンラインの会議が多くて、AirPodsだと充電が持たなかったので購入。バッテリーは11時間確かにもつし、音もなかなか良いので気に入っている。難点はBluetoothが弱くて満員電車など人が多いところだと混戦して音が飛んでしまうことがある。この点ではAirPodsに軍配が上がるけどそれ以外では重宝している。

Kuman 3.5インチ HDMI 小型モニター 480*320 ラズベリーパイ向け

Kuman 3.5インチ HDMI 小型モニター 480*320 ラズベリーパイ3b タッチスクリーンディスプレイビデオ/ゲーム可能保護ケースセット raspberry pi 3 b+ 2 Model B A+ A に対応ラズベリーパイ SC6AC

Kuman

Amazon

もともとラズパイは32インチのテレビにつなげていたのだけど、そのテレビをメルカリで処分してしまったので代わりに購入。ターミナルの文字が視力検査ばりに見えないけど、安くてコンパクトだったのでまぁ良いかという気がしている。

個人的な取り組み

今まで通勤中にやっていたこと・習慣がWFHになったため全て消え去ってしまった。特に英会話はオフィスでやっていたため、家でやる時間も習慣も根付かなかった。とりあえずなんとか家でも習慣作りをしていかないと。WFHはあと1年ぐらいは続くと思うので、これは今後の課題。

英語: ほぼやれてない。英会話をする時間がないのでiKnowで単語や文章を発音することだけ毎日やっている
アルゴリズム: 全然やれてない

Gatsby + Firebase Hostingでプロフィールサイトを構築する

Mon, 31 Aug 2020 09:00:00 +0900

GatsbyとFirebase Hostingを使って自分のプロフィールサイトを構築したのでそのメモ。

前提

サイトの中身はGitHubリポジトリで管理
https://github.com/santosfrancisco/gatsby-starter-cvがプロフィールサイト向けだったのでこれを使った
GitHub Actionsでmasterブランチにpushされたら自動的にFirebase Hostingに反映されるようにした
今回は一つのGitHubリポジトリで複数のサイトをホスティングしたかったので、サブディレクトリを作成した。以下のような構成になっている。
- lampetty-net-sites (リポジトリルート)
  - www (今回構築するプロフィールサイト)
  - xyz (別のサイト)

準備

GitHubリポジトリを作っておく
NodeJSをインストールしておく

Quick Start | Gatsbyに沿って以下を実行する。

(on repository root)
npm install -g gatsby-cli
gatsby new www https://github.com/santosfrancisco/gatsby-starter-cv

これで www ディレクトリ配下にサイトの静的ファイルが生成される。次にこれをFirebase Hostingにデプロイする。

Firebase Hostingのセットアップ

プロジェクト作成する
Firebase Hosting の設定を行う
- 公式ドキュメントに沿ってやればOK

(on repository root)
npm install -g firebase-tools
firebase login
firebase init

今回は一つのリポジトリと一つのFirebaseプロジェクトで複数のサイトのファイルをホスティングしたかったので、以下のファイルを作成した。

https://firebase.google.com/docs/hosting/multisites に沿ってFirebaseの設定を行い、以下のようなファイルを作成した。

firebase target:apply hosting www lampetty-net-sites

firebase.json

{
  "hosting": [
    {
      "target": "www",
      "public": "www/public",
      "ignore": [
        "firebase.json",
        "**/.*",
        "**/node_modules/**"
      ]
    }
  ]
}

.firebaserc

{
  "projects": {
    "default": "<PROJECT_NAME>"
  },
  "targets": {
    "<RESOURCE_NAME>": {
      "hosting": {
        "www": [
          "<RESOURCE_NAME>"
        ]
      }
    }
  }
}

最終的にデプロイは以下のように行う。

firebase deploy --only hosting:www

GitHub Actionsの設定

以下のような感じでnode_modules配下をキャッシュすることでビルド時間を短縮している。

まとめ

静的サイトを構築するのは簡単

Firebaseによるサーバーレスシングルページアプリケーション (技術の泉シリーズ（NextPublishing）)

作者:小島佑一
発売日: 2019/05/24
メディア: Kindle版

メルカリ/メルペイを退職します

Mon, 24 Aug 2020 10:00:00 +0900

いわゆる退職エントリーというヤツです。表題の通りで、10月をもって4年3ヶ月勤めたメルカリ/メルペイを退職します。思い返せば、退職エントリーというものをブログに書くのは初めてです。少し緊張してます。

だれ？

oinume です。Goが好きなBackend engineerです。

何をやっていたのか？

2016年5月に入社してからやってきたことを書き出すと以下のような感じです。メルカリ→ソウゾウ→メルペイと、気付いたらチームごと会社を異動しており、様々なプロジェクトに携わりました。一つの会社の中でこれだけたくさんのことをやったのは初めてで、様々な経験を積ませてもらい、とても刺激的でした。

ID Platform Teamでメルカリや周辺サービスのアカウントの統合 @メルカリ
- この記事でID Platform Teamについて詳しく説明されている
メルカリ月イチ払い(現メルペイスマート払い)の立ち上げ @ソウゾウ
メルカリNOWの立ち上げ @ソウゾウ
ID Platform Teamでmicroservice内の認証・認可を司るAuthority Serviceの開発・運用 @メルペイ
- この記事で軽くAuthority Serviceが説明されてる
メルカリ月イチ払いをメルペイスマート払いにリニューアル @メルペイ
メルペイスマート払いのモノリス→microserviceへの移行 @メルペイ

最も思い入れが強かったプロジェクト

どれもこれもやりがいの多い仕事だったのですが、一番思い入れが強いのはメルカリ月イチ払いの立ち上げです。これはメルカリの中で使える「後払い」の機能だったのですが、当時は後払いというとお金を借りるというイメージがあり、あまり良くないイメージがありました(今でもまだあるかも)。しかし、以下のようなUXの良さがあったため、たくさんの人に使われる機能になりました。

クレジットカードが作れなかったりする若い人向けに後払いの機能を提供することで欲しいものがすぐに購入できる
コンビニ払いを使っていた人が後払いを使うことで売り手側の入金待ち状態が減らせる

さらに、この後払いの機能がメルペイスマート払いとリニューアルすることで、メルカリ以外の店舗でも使えるようになり、かつ機械学習による与信枠(クレジット)の付与ができるようになりました。

最後はメルペイスマート払いのBackendのTech Leadをやらせてもらい、VPoEのhidekさんとなぜか腕相撲をするまでになりました(違

メルカリ/メルペイの良いところ

プロダクトの人だけではなく、コーポレートの人もお客様のことを常に考えているプロフェッショナルの人が多かったです。どうしてもプロダクトの部分にフォーカスされることが多いですが、人事・PR・BizDev・CS・プロダクト開発の部署がとにかく一体となっていることがこの会社の強みだと思います。周りの人が頼りがいのある人が多く、「この人だったらやりたいことだけ伝えておけばなんとかしてくれる」ということが多かったです。そんな人達に助けられながらどんな時も仕事を前に進めることができたので、本当に感謝しかありません。

また、技術面では #tech-golang や #tech-gcpなどの技術系のSlack channelが活発で、例えばGCP関連で質問があったら #tech-gcp に軽く質問をすると詳しい人がすぐ回答してくれます。何かしらその道のエキスパートがいるので、これはエンジニアとしては最高の福利厚生だと思います。

なんで辞めるの？

もう少し小さな会社で事業を伸ばすフェーズに立ち会いたい、というのが一番の理由になります。日本には主にDX(Digital Transformation)の面で、たくさんの「未開の地」があり、様々な分野で圧倒的に成長の余地があると思っています。なお、これを書いている時点ではまだ転職先は決まっていませんが、おそらくこの「未開の地」を切り開くスタートアップに行くと思います。

※9/2時点で2社からオファーをもらっているので、どちらかに転職することになると思います。

さいごに

もう40歳を超えて脂の乗りまくった年齢になってきたので、そろそろ真面目に今後のキャリアのことを考えたほうがいいかなと思いつつも、やはりプロダクト開発が好きなので生涯現場でコードを書いていきたいです。

次もGoをメインでやっていきたいと思っているので、私を知っている人は勉強会などで会った時にはぜひ声をかけてもらえればと思います。

go testを並列で動かして速くする

Wed, 12 Aug 2020 09:00:00 +0900

はじめに

アプリケーションが大きくなってくると、テストを並列で実行しないとどんどんgo testの実行時間が長くなってしまい、いわゆる「CI待ち」というものが発生してしまう。この記事は自分用のメモだが、テストを少しでも速くしたいという人のための記事。おそらく会社の誰かがもっと丁寧な説明のブログ記事を書いてくれるはず。

go testを速くする方法

方法としては以下がある。それぞれ細かく説明していく。

go test実行時に-pオプションを使う
Test関数にt.Parallelを入れる

go testの実行方法

go testコマンドでは大きく分けて以下の2つを行っている。

.go, _test.goをコンパイルしてバイナリを生成
生成したバイナリの実行(=テストの実行)

この時 go test ./... のように実行するとパッケージごとにバイナリを生成してテストを実行する。-pフラグはこのパッケージごとのコンパイルとテスト実行の並列数を設定するもので、デフォルトではGOMAXPROCSの数になっている。

t.Parallel

上では-pによってパッケージごとのテストの実行を並列にすることができると説明したが、同じパッケージ内のTest関数は直列で実行されている。これを並列で実行したい場合はどうするのかというと、(*T).Parallelを使えば良い。これを入れることで「そのTest関数は並列実行できる」ということを伝えられる。

まとめ

パッケージごとのテストのコンパイルと実行を並列にしたい場合は-pを指定する(デフォルトはGOMAXPROCS(
t.Parallel()の呼び出しがあると、そのTest関数は並列で実行される

Resolving 3rd party proto file on IntelliJ IDEA

Thu, 25 Jun 2020 09:00:00 +0900

I use Protobuf Support Plugin for syntax highlighting. However, it can't resolve 3rd party proto file like this:

In my case, the file which is not resolved is located in proto/third_party directory.

Solution

Open Project Structure (File -> Project Structure or Cmd + ; )
Choose the directory as Resource root

Finally, unresolved error was gone 🎉🎉🎉

Touch BarありでIntelliJ IDEAのShift + F6などのショートカットキーが効かない場合の対処方法

Tue, 16 Jun 2020 00:00:00 +0900

TL;DR

Touch BarありのMacBookProで、IntelliJ IDEAでShift + F6などのFunction Keyと他のキーを組み合わせた場合のショートカットキーが効かないという問題があった
Karabinar Elementsを使っている場合は Devices で No product name (No manufacturer name) にチェックを入れることで解決する
スクショ: https://github.com/pqrs-org/Karabiner-Elements/issues/535#issuecomment-350522019

問題の詳細

IntelliJ IDEAをTouch BarありのMacBookProを使っている場合、Shift + F6(Rename)やOpt + F7(Find Usages)のようなFunction Keyと組み合わせたショートカットキーが動作しないという問題に長年苦しめられてきた。特にIntelliJはFunction Keyとなにかを組み合わるショートカットが多くて、これはIntelliJ使いとしては死活問題だった。

この問題のせいで「MacBook ProもTouch Barついてるのか？じゃあ買うのやーめよ」と本気で考えるぐらい困っていた。そして実際Touch BarがないMacBook Airを買う寸前だった。

どうやって解決したのか？

MacBook Airを購入する寸前で「もしかしたら解決方法があるかもしれない」と思い、いろいろとググってみた。しかし検索しても引っかかるのはIntelliJのTouch Bar Supportの記事ばかり... しかし、IntelliJのフォーラムのコメントを熟読していたところ、以下のようなコメントがあった。

Ok, did som further debugging and tracked it down to Karabiner Elements (which I have installed) - quitting it fixed the problem. It seems that they have a number of conflicts with the touchbar

おっ、もしかしてKarabinar Elementsがなにか悪さしているのか？と思い、試しにKarabinar-Elementsを落としてShift + F6を試したところ Renameが動く。動くぞ...！！！

というわけで、 IntelliJ Touch Bar Karabinar Elements function keys というキーワードでググったところ、冒頭で紹介したKarabinar-ElementsのIssueにたどりついた。そして以下のスクショのようにNo product name (No manufacturer name)のチェックを入れて見事Shift + F6が効くようになりましたとさ。

というか、2017年に解決されていたのね、、、ググる力が足りなくて3年も我慢してしまっていた。

まとめ

Touch Bar + IntelliJ のファンクションキーが効くようになり人権を取り戻しました。

IntelliJ IDEAハンズオン――基本操作からプロジェクト管理までマスター

作者:山本裕介,今井勝信
発売日: 2017/11/08
メディア: 大型本

使ってみて便利だったGitHub Actions

Mon, 08 Jun 2020 09:00:00 +0900

今年の2月ぐらいからGitHub Actionsを仕事で使うようになったので、実際に使ってみて便利だったものを紹介する。

Slackへの通知を行うaction-slack

github.com

Slackへ通知するActionはいくつかあるけど、これが一番きめ細かく送る内容を設定できてかゆいところに手が届く感じだった。

branchにcommitがあったらSyncするPull requestを作るSync branches

github.com

たとえばmasterとdevelop branchがあるとして、masterにcommitがあった時にmaster -> develop に対して差分のpull requestを自動で作ってくれる。自分たちはそれを確認してマージすればよい。

特定のファイルに更新があった場合にラベルをつけるLabeler

github.com

設定ファイルを書くことで「このディレクトリ配下のファイルが更新されたら」とか「この拡張子のファイルが更新されたら」とかの条件でPull requestにラベルをつけることができる。難点なのは、以下のような時にラベルを自動で削除してくれないこと。

条件にマッチするファイルが更新される(差分がある)
ラベルがつく
別のコミットによって1.のファイルの差分がなくなる

GoでLRU Cacheを実装する

Thu, 12 Mar 2020 09:00:00 +0900

LRU Cacheは何かをキャッシュする際によく使うデータ構造の一つだと思う。よく使う一方でその実装はやったことがなかったので、今回Goで実装してみたよ、という話。

LRUCacheとは？

Least Recently Used Cache のこと。一定のキャパシティを持つもので、キャパシティを超える場合使用された時間がもっとも古い要素から削除される。詳しくはWikipediaを見てもらうと良いと思う。

Goでの実装とその解説

まずは単純に実装してみた。テストも含めると上記の3つのファイルから構成されている。lru_cache.goには以下のようなGetとPutメソッドがinterfaceとして定義されており、その実装がdefault.goにある。

type LRUCache interface {
    // Get returns value for `key`. Returns -1 if not found
    Get(key int) int
    // Put sets value with key
    Put(key, value int)
}

使用例

example_test.go で使用例が書かれており、これを

   cache := lru_cache.NewDefault(2)
    cache.Put(1, 1)
    cache.Put(2, 2)

    fmt.Println(cache.Get(1)) // References key `1`

    cache.Put(3, 3) // This operation evicts key `2`
    // Output:
    // 1
    // -1
    fmt.Println(cache.Get(2))

上のコードにあるように、cache.Put(3, 3) によって一番参照が古いkey 2 がcacheから削除される。結果として、cache.Get(2)は-1を返す。これがLRU Cacheの基本的な動作である。

キャッシュのアイテム

キャッシュするアイテムはmapを使って管理する。この時、「いつ参照されたのか」を判断するために、mapのvalueには以下のようなitem構造体を保存する。

type item struct {
    value int
    age   int
}

なお、item.ageはそのアイテムがGetで参照された時またはPutで追加された時のageとなる。そのため、LRU Cacheの実装をしている defaultLRUCache ではGet/Putが呼ばれるたびにcurrentAgeというフィールドをインクリメントする。

type defaultLRUCache struct {
    capacity   int
    values     map[int]*item
    currentAge int
    mutex      *sync.Mutex
}

Get

Getの実装はシンプルで、以下を行うだけである

keyが存在しない場合: -1を返す
keyが存在する場合: 参照されたitemのageを更新し、currentAgeをインクリメントしてreturnする

func (c *defaultLRUCache) Get(key int) int {
    i, ok := c.values[key]
    if !ok {
        return -1
    }
    c.mutex.Lock()
    i.age = c.currentAge
    // `Get` also increment current age
    c.currentAge++
    c.mutex.Unlock()
    return i.value
}

Put

Getに比べるとPutはやや複雑である。

すでにitemがある場合: mapに存在するitemのageを更新する
itemがない場合
- LRU Cacheのcapacityを超えている場合: mapの中で一番ageが小さいitemを見つけて削除する
- 上記に加えて、mapにitemをセットする

という操作を行う。またそれぞれの操作で currentAgeをインクリメントする。

func (c *defaultLRUCache) Put(key int, value int) {
    c.mutex.Lock()
    defer c.mutex.Unlock()

    if i, ok := c.values[key]; ok {
        // If the key exists, update its value and increment its age for this key
        i.value = value
        i.age = c.currentAge
        c.currentAge++
    } else {
        if len(c.values) >= c.capacity {
            // Search key with least age when over capacity before setting key and value
            leastAge := math.MaxInt32
            leastAgeKey := 0
            for key, item := range c.values {
                if item.age < leastAge {
                    leastAge = item.age
                    leastAgeKey = key
                }
            }
            if leastAgeKey != 0 {
                // Evict least age key from cache
                delete(c.values, leastAgeKey)
            }
        }
        // Set key and value to cache
        c.values[key] = &item{
            value: value,
            age:   c.currentAge,
        }
        c.currentAge++
    }
}

この実装の問題点

このdefaultLRUCacheの実装には一つ大きな問題がある。というのは、capacityを超えている場合、ループで一番ageが小さいものを探しているため、O(n)のコストがかかる。これについては長くなるので別の記事でまとめようと思う。

まとめ

LRU Cacheのとてもシンプルな実装をやってみた。簡単なので面接の時の課題として出してみるのも面白いかなと思った。

アルゴリズムイントロダクション第3版総合版：世界標準MIT教科書

作者:Thomas H. Cormen,Clifford Stein,Ronald L. Rivest,Charles E. Leiserson
近代科学社

Amazon

Review on Jan 2020

Tue, 04 Feb 2020 09:47:09 +0900

What I did on Jan 2020

Got flu on the beginning of this year...
Went to GoDays 2020 in Berlin!
- Went to Warsaw as a persona trip
Work, work, work

Output

Wrote a blog post about GitHub Actions.

Sleep

6 hours 50 min.

1st week: many sleep hours but less deep sleep because of flu
2nd week: OK
3rd week: few sleep hours because of jet lag
4th week: OK

Algorithms and datastructures

No progress...

English

Had 4 lessons in DMMEikaiwa
Learned new words with iKnow on almost every day
English chat lunch once every week
- This is supported by my company, having a lunch with 4 people. This is very good to listen live English.
This blog post!

GitHub ActionsでReleaseが作成されたら次のバージョンのrelease branchを自動的に作る

Mon, 03 Feb 2020 09:00:00 +0900

はじめに

自分のチームではA successful Git branching modelに近い感じで、リリースする前にrelease branchを作りそこにfeature branchをmergeしてからテストしてリリースする、という流れで開発からリリースまでのサイクルを回している。
リリースする前に誰かがrelease branchを作成するという作業が手間だったため、GitHub Actionsで自動化できないかと思い、実際やってみたところ意外と簡単にできたので、そこで得られた知識をこの記事にまとめる

実際のコードと説明

それでは実際のactionsのYAMLファイルをもとに細かく説明する。今回使用したYAMLファイルはここにあがっている。

`on` でフックしたいイベントを定義する

GitHub Actionsを作成すると、.github/workflows/xxx.yml が作成される。まずこのYAMLに定義するべきものがonである。これはワークフローを実行するためのトリガーの定義である。今回の例だと以下のように、releaseがpublish(公開)されたらワークフローを動かすようにしている。

on:
  release:
    types:
      - published

他にも branchにpushされたら、pull-requestが作成されたらなどをトリガーすることができる。詳細は以下の公式ドキュメントで詳しく説明されている。

`jobs`で実行する処理を定義する

jobsの下に行いたい処理の名前(job_id)を書いて、その下に行いたい処理を記述していく。

runs-on: 実行するmachine typeを指定する。指定できるmachine typeについては公式ドキュメントに書いてある
stepにはusesやrunが定義できる
- uses: 他のGitHub Actionsを使う
- run: コマンドをshellで実行する。

例

jobs:
  build:
    runs-on: ubuntu-latest
    steps:
    - uses: actions/checkout@v2

環境変数のセット

何かしら計算した結果を保存して、次のstepで参照できるようにしたいことがある。そういう場合は環境変数をセットする。

    steps:
    ...
    - name: Create local changes
      run: |
        CURRENT_VERSION=$(echo $GITHUB_REF | sed 's/refs\/tags\///')
        echo "CURRENT_VERSION = $CURRENT_VERSION"
        NEXT_VERSION=$(echo $CURRENT_VERSION | perl -ne 'if ($_ =~ /^(\d+)\.(\d+)\.\d+$/) { $v = $2; $v++; print "$1.$v.0\n" } else { print "Invalid tag format."; exit 1 }')
        echo "NEXT_VERSION = $NEXT_VERSION"
        echo "::set-env name=NEXT_VERSION::$(echo $NEXT_VERSION)"

例えば上記のコードは以下の処理を行っている。

GITHUB_REFにあるタグの値(refs/tags/0.1.0)を取得
そこからバージョン部分を抜き出してCURRENT_VERSIONにセット
perlで次のバージョンにインクリメントしてNEXT_VERSIONにセット
::set-envを使って環境変数NEXT_VERSIONをセット

構文が気持ち悪いが、set-envを使うことで環境変数をセットすることができ、後続のstepで参照することができる。

secrets

    steps:
    ...
    - name: Create a pull request with a new release branch
      uses: peter-evans/create-pull-request@v2
      with:
        token: ${{ secrets.GITHUB_TOKEN }}
        branch: release/${{ env.NEXT_VERSION }}
        base: master
        title: "Release ${{ env.NEXT_VERSION }}"
        body: "## Pull-requests in this release\n- TBD"

上記のコードはpull-requestを作る例だが、GitHub上のリポジトリに対して何か操作を行う場合はGitHubのTokenが必要になる。そういう場合は secrets に定義されているGITHUB_TOKENを使用する。また、secretsはリポジトリの設定画面から自分で値をセットすることもできるので、秘匿したい文字列などはsecretsを通してstep内で使用するのが良い。

GitHub Actionsの良いところは、デフォルトのsecretsとしてGITHUB_TOKENが定義されていて、GitHubのリポジトリに対して操作を行う場合はTokenのことを気にする必要がないことだと思う。

contexts, expressions, functions

GitHub ActionsのYAMLでは式を書くことができる。例えば以下のコードはpeter-evans/create-pull-request@v2の引数としてbranch: release/${{ env.NEXT_VERSION }} を渡しているが、{{ ... }}の中には式を書くことができる。

    - name: Create a pull request with a new release branch
      uses: peter-evans/create-pull-request@v2
      with:
        token: ${{ secrets.GITHUB_TOKEN }}
        branch: release/${{ env.NEXT_VERSION }}
        base: master
        title: "Release ${{ env.NEXT_VERSION }}"
        body: "## Pull-requests in this release\n- TBD"

また、この式の部分では env のようなあらかじめ定義されているcontextsが使える。他にどのようなcontextsがあるかはドキュメントを読むと良い。

さらに、あらかじめ定義されたfunctionsがあり、expressionの部分で呼び出すことが可能である。

GitHub Actions Marketplace

GitHub Marketplace · Actions to improve your workflow · GitHubを見るとたくさんのActionがあることがわかると思う。他の人が作った汎用的なActionがたくさん転がっているので、これを見ているだけでも「ああこんなこともできるのか」と参考になるし、いろいろ組み合わせて面倒な作業を自動化することができる。

まとめ

エンジニアの業務であるコードを書く、コードレビュー、リリースに関連した作業を自動化するならGitHub Actionsはとてもオススメ。

2020の抱負

Thu, 16 Jan 2020 09:00:00 +0900

新年あけましておめでとうございます。年末年始はインフルエンザになって寝込んでいて、そういえば今年は厄年だったことを思い出しました。もう1/15になってだけど2020年の抱負をあらためて書いておこうと思います。

1日6時間15分以上寝る

昨年は1日6時間以上寝る、ということが目標だったので今年は15分長くしてみる。理想は1日7時間睡眠なので最終的にはこれを目指したい。

アルゴリズムとデータ構造をもっと勉強する

昨年途中で投げ出してしまったヤツ。なお、ちゃんと解説をブログにアウトプットする。

Graph
オートマトン

アウトプット

1ヶ月に1つはちゃんとした記事を書く。昨年に引き続き継続は力なり、ということで。

英語

IELTS Overall 6.0を目指す。

2019年の振り返り

Mon, 23 Dec 2019 08:30:00 +0900

2019年も早いものであっという間に終わってしまった。以下が2019年初頭に考えていた抱負だったので、これをベースに振り返りをしてみよう。

journal.lampetty.net

アウトプット

ちゃんとした記事を月に一つは書く！というの目標に対しては以下のように未達だったけど、合計25個の記事を書いたし、未達だったのは3月と10月だけだったのでほぼ達成と言って良いのではないかと。

1月: ◯
2月: ◯
3月: ✕
4月: ◯
5月: ◯
6月: ◎
8月: ◯
9月: ◯
10月: ✕
11月: ◯
12月: ◎

また、会社のAdvent Calendarでも以下の記事を書いた。3年半も勤めているのにこれが初めての記事だった...! はてブやTwitterでもいろいろフィードバックされているのを見てとても勉強になったし、来年はもっとアウトプットしていこうという気持ちが強くなった。

tech.mercari.com

1日6時間以上寝る

iPhoneのヘルスケアアプリによると各月の平均睡眠時間は以下のような結果だった。2,4,5,9月以外は達成できているし、実感として昨年より良く寝れていて毎日のパフォーマンスも上がっている気がする。

1月: データなし
2月: 5h11min
3月: 6h2min
4月: 5h56min
5月: 5h56min
6月: 6h20min
7月: 6h25min
8月: 6h10min
9月: 5h59min
10月: 6h27min
11月: 6h19min
12月: 6h13min

アルゴリズムもっと勉強する

以下のような結果だった。Graphは中途半端なところで終わっているので再開したい。

BTree: ◯
Graph: △
オートマトン: ✕

暗号技術を勉強する

これはまったくやる暇がなかったのと、特に何かで必要なものではないので、目標設定をミスったかなという気がしている。

業務で必要なものを身につける

gRPC: ☓
Cloud Spanner: △
Cloud PubSub: ◯
SQLを復習する: ☓

これはそれぞれの項目でどこまでやるというゴールをちゃんと決めたほうが良かった。

英語を再開する

いつかは海外で働きたいと思っていて、自分の英語力をどう伸ばすかはずっと課題だったのでまずはIELTSを受けてみた。結果としては Overall: 5.0 であり「6.0ぐらいはあるかなー」という予想を大きく下回っていた。でも自分の実力がわかったし、これまでやってきたDMM英会話ベースでデイリーニュースを読むみたいな学習法だと英語力は伸びないということがわかったので、来年からは違う方法(カランメソッド)でやっていこうと思う。

Overall: 5.0
Listening: 5.5
Reading: 5.0
Writing: 5.0
Speaking: 5.0

あと、2年前から伸び悩んでいたTOEICも受けてみたのだけど、2年前より30点だけスコアが上がっていて自己ベストを更新したのが嬉しかった。DMM英会話をやめて単語ぐらいしか真面目に勉強していなかったけど、それでもまだスコアが伸びる余地があるということが実感できた。何よりも40歳を過ぎても何かの能力・スコアが上がるという実感が得られたのが嬉しい。

読んだ本

今年はほとんど本を読まなかった。真面目に読んだのは以下のみ。

Googleを支える技術

Googleの初期の検索システムの内部構造などについて詳しく書かれている本。とてもわかりやすく説明してあって楽しく読めた。

Googleを支える技術 ‾巨大システムの内側の世界 (WEB+DB PRESSプラスシリーズ)

作者:西田圭介
出版社/メーカー: 技術評論社
発売日: 2008/03/28
メディア: 単行本（ソフトカバー）

脳を鍛えるには運動しかない!

運動後に何かを勉強すると学習効率が上がるなど、実験結果の事例から運動と脳の関係性について説明する本。運動することはメンタルヘルスにも良い影響があるということで、これを読んだあとから必ず週に2回はジムで有酸素運動をするようにしている。

脳を鍛えるには運動しかない! 最新科学でわかった脳細胞の増やし方

作者:ジョン J. レイティ,エリックヘイガーマン
出版社/メーカー: NHK出版
発売日: 2009/03/20
メディア: 単行本（ソフトカバー）

Go言語による並行処理

Goの並行処理についてとにかく丁寧にわかりやすく解説している良い本。Goは一通り書けるけど、channelやgoroutineを使いこなせていないと感じている人にはぜひオススメしたい。

Go言語による並行処理

作者:Katherine Cox-Buday
出版社/メーカー: オライリージャパン
発売日: 2018/10/26
メディア: 単行本（ソフトカバー）

IntelliJ IDEAハンズオン

IntelliJについて詳しく解説してある本。ほぼ独学で使っているIntelliJについて、体系的に学び直せたのは良かった。

IntelliJ IDEAハンズオン――基本操作からプロジェクト管理までマスター

作者:山本裕介,今井勝信
出版社/メーカー: 技術評論社
発売日: 2017/11/08
メディア: 大型本

エンジニアの知的生産術

これが2019年の中でベストな本だった。まだ読み終わっていないけど、どうすれば効率的に本を読めるかなどが体系的に書かれているし、すぐに実践できる内容でもある。

エンジニアの知的生産術 ──効率的に学び、整理し、アウトプットする (WEB+DB PRESS plusシリーズ)

作者:西尾泰和
出版社/メーカー: 技術評論社
発売日: 2018/08/10
メディア: 単行本（ソフトカバー）

育児

息子も5歳になって、0歳〜2歳の時に比べると本当に手がかからなくなってきたように思う。元気に育っていてそれが一番ありがたいし(元気すぎて困る)、今年だけで以下のアビリティを習得している(すごい!)。

自転車に乗れるようになった!
ひらがなを全部読めるようになった
自分の名前をひらがなで書けるようになった
(体操の)前転と後転がすごく上手になった
レゴをほぼ自分だけで組み立てられるようになった
英単語を少しだけ覚え始めた
箸を持てるようになった(練習中)

また、奥さんの海外出張が今年も2回あったけど、去年よりはうまく乗り切れた気がする。去年は出張中は寂しくて泣いてしまう時が多かったけど、今年は1,2回しか泣かなかったし、なるべく休みの日は鉄道博物館とか、今までに行ったことがないところに連れて行って楽しくやれたんじゃないかと思う。

まとめ

2019年は2018年に比べると仕事も忙しかったけど、学びやアウトプットは昨年よりこなせたかなと思う。2020年も引き続き目標を明確にして頑張っていきたいなと思う。

OpenCensusとhttptrace.ClientTraceを使ってHTTPリクエストのlatencyを可視化する

Thu, 19 Dec 2019 08:30:00 +0900

はじめに

みなさんこんにちは。これはGo5 Advent Calendar 2019の19日目の記事です。この記事はOpenCensusとhttptrace.ClientTraceを使ってHTTPリクエストの内部的なlatencyを可視化する話です。「内部的なlatency」というのは、HTTPリクエストの中で名前解決にどのぐらいかかったとか、コネクションを張るのにどのぐらいかかったなどです。

なお、この記事に記載しているコードは全てGitHub repositoryに上げてあります。

やりたいこと

とあるアプリケーションでHTTP Clientを使ってHTTPリクエストを大量に送る処理がありました。そのサーバーはUS Regionで動いていて、そこからHTTPリクエストを日本にあるサーバーに送るというもので、この処理のlatencyが非常に気になっていました。そのため、HTTPリクエストのどの部分が遅いのかを可視化したいと思って調べたところ、OpenCensusとhttptrace.ClientTraceに行き着いたのでその紹介をしたいと思います。

OpenCensusと分散トレーシング

今回使うのはOpenCensusのTracingという機能です。いわゆる分散トレーシングと呼ばれるものですが、詳しく説明していると長くなるので、詳細は以下の記事を読んでみて下さい。OpenCensusや分散トレーシングについてとてもよくまとまっています。

future-architect.github.io

Span

分散トレーシングではSpanというものを一つの処理の単位として登録します。例えば以下のようなGoのコードでは、main関数でSpanを1つ作り、main関数からfunc1, func2を呼び出して、それぞれの関数でも新しくSpanを作っています。

これをJaegerという分散トレーシングを可視化するソフトウェアで表示したものが以下になります。

trace: main
- trace: func1
- trace: func2

というようにSpanがツリー構造になっていて、それぞれのSpanでどのぐらい時間がかかっているかがわかると思います。この論理的にまとまったSpanたちがTraceと呼ばれています。

httptrace.ClientTrace

httprace.ClientTraceはHTTPリクエストの中で行われる以下の処理について、処理が開始したタイミングと終了したタイミングでコールバックを設定してイベントを受け取ることができるライブラリで、以下のようなコールバックが定義されています。詳しくはClientTraceのgodocを読むと良いでしょう。参考までに、以下に定義されているコールバックのコメントとその日本語訳を記載しておきます。

GetConn
- GetConn is called before a connection is created or retrieved from an idle pool
- コネクションが生成されたもしくはアイドルプールから取得された時に呼ばれる
GotConn
- GotConn is called after a successful connection is obtained
- コネクションの確立が成功した時に呼ばれる
DNSStart
- DNSStart is called when a DNS lookup begins.
- 名前解決が始まった時に呼ばれる
DNSDone
- DNSDone is called when a DNS lookup ends.
- 名前解決が終了した時に呼ばれる
ConnectStart:
- ConnectStart is called when a new connection's Dial begins
- 新しいコネクションのDialが始まった時に呼ばれる
ConnectDone
- ConnectDone is called when a new connection's Dial completes.
- 新しいコネクションのDialが完了した時に呼ばれる
TLSHandshakeStart
- TLSHandshakeStart is called when the TLS handshake is started
- TLSハンドシェイクが始まった時に呼ばれる
TLSHandshakeDone
- TLSHandshakeDone is called after the TLS handshake with either the successful handshake's connection state, or a non-nil error on handshake failure.
- TLSHandshakeDoneは、TLSハンドシェイクの接続に成功している場合か、ハンドシェイクがerrorで失敗している場合のどちらでも、TLSハンドシェイクが完了した後に呼ばれる。
WroteHeaderField
- WroteHeaderField is called after the Transport has written each request header
- それぞれのリクエストヘッダーのが書き込まれた後に呼ばれる。ヘッダーが複数ある場合は何回も呼ばれることになる。
WroteHeaders: WroteHeaders is called after the Transport has written all request headers.
- 全てのリクエストヘッダーが書き込まれた後に呼ばれる。
WroteRequest: WroteRequest is called with the result of writing the request and any body.
- リクエストのBodyも含めてリクエストが書き込まれた後に呼ばれる。
GotFirstResponseByte
- GotFirstResponseByte is called when the first byte of the response headers is available.
- レスポンスヘッダーの最初の1バイトが読み込める状態になった時に呼ばれる

試しにそれぞれのコールバック関数でfmt.Printするだけの簡単な実装を書いて実行してみると、以下のように出力されました。どうやらこの順番でコールバックが呼ばれていることがわかります。

$ go run examples/client_trace/main.go
GetConn
DNSStart
DNSDone
ConnectStart
ConnectDone
TLSHandshakeStart
TLSHandshakeDone
GotConn
WroteHeaderField: Host
WroteHeaderField: User-Agent
WroteHeaderField: Accept-Encoding
WroteHeaders
WroteRequest
GotFirstResponseByte

ということで、httptrace.ClientTraceを使うとHTTPのコネクションの接続のタイミングやリクエストを送信したタイミングのイベントが受け取れるということがわかりました。

OpenCensus Tracing + httptrace.ClientTrace

それではOpenCensusの分散トレーシングとhttptrace.ClientTraceの2つを組み合わせてみましょう。以下のようにochttp.NewSpanAnnotatingClientTraceを使うことで、簡単にhttptrace.ClientTraceの情報をTraceのSpanに入れることができます。

上記のプログラムを実行して、Jaegerに送られたSpanを可視化したものが以下のスクリーンショットになります。先ほど紹介したGetConnやDNSStartなどがどのぐらい時間がかかったかが相対的にわかるようになっています。例えば、DNSStartは0.25msでDNSDoneは59.84msなので、59.84 - 0.25 = 59.59ms かかっていることになります。

これは以下の手順で見ることができます。

$ docker-compose up #jaegerを起動
$ go run examples/ochttp_client_trace/main.go #プログラムを実行
$ open http://localhost:16686/search # ブラウザでjaegerを開く

NewSpanAnnotatingClientTraceとspanAnnotator

先ほどのNewSpanAnnotatingClientTraceでは、内部的にコールバックを定義したspanAnnotatorを用意して、これをhttptrace.ClientTraceのそれぞれのコールバックとして登録しています。spanAnnotatorはSpanを持っていて、それぞれのコールバック関数の中でSpanに対してAnnotationを登録しています。

Annotationを登録する時にはtimestampも記録されているため、上のJaegerのスクリーンショットのように各コールバック関数のタイミングで相対的にどのぐらい時間がかかったのかがわかるようになっています。

参考までに、以下はspanAnnotatorのDNSStartとDNSDoneのコードです。

func (s spanAnnotator) dnsStart(info httptrace.DNSStartInfo) {
    attrs := []trace.Attribute{
        trace.StringAttribute("httptrace.dns_start.host", info.Host),
    }
    s.sp.Annotate(attrs, "DNSStart")
}

func (s spanAnnotator) dnsDone(info httptrace.DNSDoneInfo) {
    var addrs []string
    for _, addr := range info.Addrs {
        addrs = append(addrs, addr.String())
    }
    attrs := []trace.Attribute{
        trace.StringAttribute("httptrace.dns_done.addrs", strings.Join(addrs, " , ")),
    }
    if info.Err != nil {
        attrs = append(attrs,
            trace.StringAttribute("httptrace.dns_done.error", info.Err.Error()))
    }
    s.sp.Annotate(attrs, "DNSDone")
}

まとめ

OpenCensusとhttptrace.ClientTraceを組み合わせることで、HTTPリクエストの詳細なlatencyを可視化する方法を紹介しました。

私の場合は、この情報を元にして「コネクションの確立に時間がかかっているから、KeepAliveを長い時間有効にしてなるべくコネクションを使いまわそう」という感じでパフォーマンスチューニングの役に立てています。この記事が何かしらのパフォーマンスチューニングの役に立てば嬉しいです。

改訂2版みんなのGo言語

作者:松木雅幸,mattn,藤原俊一郎,中島大一,上田拓也,牧大輔,鈴木健太
技術評論社

Amazon

Go言語における並行処理 - ユースケース編

Sat, 16 Nov 2019 09:00:00 +0900

はじめに

これは以下の記事の続きの記事。以下の2つではgoroutineとchannelについて説明したので、これらを使って具体的な並行処理のユースケースを書いてみる。

goroutineによる並行処理がすべて終わるまで待つ

処理を複数のgoroutineで並行で実行したい、というのはよくある例。起動したgoroutineがすべて終わるまで待ちたいときには、以下のようにsync.WaitGroupを使う。

package main

import (
    "fmt"
    "sync"
)

func main() {
    var wg sync.WaitGroup
    for i := 1; i <= 20; i++ {
        wg.Add(1) // カウンターをインクリメントする
        go func(i int) {
            fmt.Printf("i = %02d, fibonacci = %04d\n", i, fibonacci(i))
            defer wg.Done() // 処理が終わったのでカウンターをデクリメントする
        }(i)
    }
    wg.Wait() // カウンターが0になるまで待つ
    fmt.Println("Done")
}

func fibonacci(n int) int {
    if n <= 1 {
        return n
    }
    return fibonacci(n-1) + fibonacci(n-2)
}

goroutineで並行処理する数に上限を設けたい

よくある要件として「同時に実行する数を制限したい」があるが、この場合はセマフォというパターンで実装する。具体的には、Goであればchannelにバッファが付けられるので、このバッファの数で同時実行数を制限できる。

package main

import (
    "flag"
    "fmt"
    "io/ioutil"
    "net/http"
    "regexp"
    "sync"
    "time"
)

var (
    concurrency = flag.Int("c", 1, "num of concurrency")
)

func main() {
    flag.Parse()
    semaphore := make(chan struct{}, *concurrency) // 同時実行数
    var wg sync.WaitGroup
    urls := []string{
        "https://journal.lampetty.net/entry/what-i-like-about-heroku",
        "https://journal.lampetty.net/entry/e2e-test-with-agouti-in-go",
        "https://journal.lampetty.net/entry/heroku-custom-clock-processes",
        "https://journal.lampetty.net/entry/mac-settings-on-sierra",
        "https://journal.lampetty.net/entry/mysqldump-option-where",
        "https://journal.lampetty.net/entry/introducing-lekcije",
        "https://journal.lampetty.net/entry/intellij-shortcuts-for-reading-source-code",
        "https://journal.lampetty.net/entry/introducing-dead-mans-snitch",
        "https://journal.lampetty.net/entry/concurrency-in-go-channels",
        "https://journal.lampetty.net/entry/concurrency-in-go-goroutines",
        "https://journal.lampetty.net/entry/cancel-and-timeout-with-context-in-go",
        "https://journal.lampetty.net/entry/gcp-cloud-pubsub-memo",
        "https://journal.lampetty.net/entry/oauth2-client-handson-in-go-authorization-code-grant",
        "https://journal.lampetty.net/entry/satisfying-a-large-interface-quickly-in-go",
    }
    for _, u := range urls {
        wg.Add(1)
        u := u
        go func() {
            defer wg.Done()
            fetch(semaphore, u)
        }()
    }
    wg.Wait()
}

var r = regexp.MustCompile(`<title>(.*)</title>`)

func fetch(semaphore chan struct{}, url string) {
    semaphore <- struct{}{}
    defer func() {
        <-semaphore
    }()
    time.Sleep(3 * time.Second)
    resp, err := http.Get(url)
    if err != nil {
        fmt.Printf("err = %v\n", err)
        return
    }
    defer func() { _ = resp.Body.Close() }()

    bytes, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        fmt.Printf("err = %v\n", err)
        return
    }
    body := string(bytes)
    if group := r.FindStringSubmatch(body); len(group) > 0 {
        fmt.Printf("%v\n", group[1])
    }
}

上記のプログラムはURLのリストからhttp.Getしてtitleだけを表示するプログラムである。ここではsemaphoreというバッファ付きのchannelを使って、以下のように同時実行数を制限できるようにしている。

mainの中でsemaphoreを生成
fetch関数にsemaphoreを渡す
fetchの内部で、処理を実行する前にsemaphoreにデータを入れて、処理が終わったらdeferでsemaphoreからデータを取り出している。これによりchannelのバッファを超える場合は処理がブロックされるようになる

以下のように実行時に-c 3と指定することで、同時にhttp.Getする数が3つに制限されてコンソールに出力される数が3行ずつになるはず。

$ go run semaphore.go -c 3

Herokuの好きなところ - oinume journal
Better Heroku Schedulerを探したらCustom clock processesにたどり着いた - oinume journal
WebアプリケーションのE2EテストをGoで書く - oinume journal
...

バックグラウンドで一定の間隔で処理を行いたい

これはtime.Tickerとselectを使うことで簡単に実装できる。以下は1秒ごとにdoSomethingを呼び出すプログラム。

package main

import (
    "fmt"
    "time"
)

func main() {
    ticker := time.NewTicker(time.Second)
    defer ticker.Stop()
    for i := 0; i < 10; i++ {
        select {
        case <-ticker.C:
            doSomething(i)
        }
    }
}

func doSomething(v int) {
    fmt.Printf("%d\n", v)
}

まとめ

ユースケースについては探せばもっとありそうだけど、よくありそうな並行処理の実装パターン3つを紹介した。何かのためになれば幸いです。

Go言語による並行処理

作者:Katherine Cox-Buday
出版社/メーカー: オライリージャパン
発売日: 2018/10/26
メディア: 単行本（ソフトカバー）

2019年9月の振り返り

Sat, 12 Oct 2019 10:00:00 +0900

8月の振り返りをサボってしまったのでまとめて。

アウトプット

Goの並行処理の記事とMySQL 8.0へアップデートする記事を書いた。

睡眠

1日6時間以上寝る、ということを今年の目標にしている。ヘルスケアアプリによると

8月: 6h10min
9月: 5h59min

という感じで9月はギリギリで未達成。しかもこれ平均で平日は大体5時間ぐらいなのでかなりやばめ。

英語

9月にIELTSのテストを受けてきた。詳細については以下にまとめたけど、感触としては悪くない気がする。ちなみに11月にTOEICも受ける予定。あと来年前半にTOEFLもおそらく受ける。

https://journal.lampetty.net/entry/taking-ielts-test-first-time:ttile

アルゴリズム

特に進捗なし

Go, gRPC, SQLの復習

引き続き Go言語による並行処理 を読んでいる。あと一つ記事を書きたい。

まとめ

まぁボチボチ頑張る。

初めてIELTSを受験した

Mon, 30 Sep 2019 08:30:00 +0900

IELTSってなに？

国際的な英語の試験。大学の入学の条件に使われたり、国によっては永住権を申請する時のポイントとして使われるもの。

会場

自分は東京会場で、場所は幸ビルディングという新橋付近の貸し会議室っぽいところだった。

持ち込みできるもの

中に持っていけるものは

鉛筆
消しゴム
パスポート
パスポートのコピー
水

のみOK。なお、鉛筆はお願いすれば試験の最中に試験官が削ってくれるので、鉛筆削りは持っていなくても大丈夫。

会場に着いてから

荷物を預ける
IDチェック
試験室に入室

という流れ。

会場のビルの会議室でビニール袋に荷物を詰めて預ける。8:40にはこの荷物置き場が物理的に閉鎖されるので、それまでに会場に着いて荷物を預ける必要がある。

その後IDチェック。これをやったあとにトイレに行こうとすると再度指紋認証する必要がありめんどいので先にトイレは済ませておいたほうが良い。IDチェックでは指紋を採取されさらにカメラで写真を取られる。パスポートの顔写真と同一人物かも当然チェックされる。

終わると、試験官と一緒に試験する別の部屋に行く。

感想

受験者は予想通り若い人が多かった印象。驚いたのは、20%ぐらいは外国人(見た目で明らかに日本人じゃないとわかる人)だったこと。アフリカ系の人やインド系の人が多かった。もしかしたら中国人や韓国人も結構いたのかもしれない。カップルで受験している人もちらほらいた。自分みたいな40代のおっさんは1%ぐらいしかいない雰囲気だった。

IELTSの試験

意外なことに

Writing
Reading
Listnening

という順番だった。というのは、参考書ではListening, Reading, Writing, Spreakingの順番で問題が構成されていたから、順番が全然違うことにびっくりした。もろもろのアナウンスが終わって9:20頃から試験がスタートした気がする。

Writing: 40分
Reading: 60分
Listening: 30分

という時間配分で、12:30ごろには終わった。それぞれのパートの合間で問題や解答用紙を回収する時間があるので、少し休めるのは良かった。TOEICと比べるとこの休憩時間があるおかげでそこまで疲労感を感じなかった気がする。なお、Speakingは午後にあり、自分は15:20開始だったので、昼ごはんを食べて新橋駅付近のカフェで時間を潰していた。

Writing

トピックは

Task1: 友人に仕事(求人)を薦める時に、仕事内容、なぜその人にオススメするのか、求人への応募方法をレター風味で書く
Task2: 保育園に子供を預けることと、預けないで家族が育てることについての意見を述べよ

というもので、どちらも自分にとっては馴染みのあるものだった。なので、書く内容を日本語でまとめておいて、あとはそれをひたすら英語に訳すというスタイルで書いていった。Task1は130 word以上で、ギリギリかけた。一方、Task2は250 word以上なので、圧倒的に時間が足りなくて文章の途中で終わってしまった。Writingは「字数が足りないからあとから文章を付け足す」ということがとてもやりにくいので、英文を書き始める前にちゃんと書く内容を決めておくことが大事だと思った。Computer Basedなテストだったら文章の間に別の文を挿入したりするのが簡単にできたりするんだろうか、などと考えた。

とにかく仕事ではこういう風に文章を書くことがあまりないので(デジタルなら後からいくらでも文章を付け足したり入れ替えたりできるので)、時間配分も含めて痛いミスをしてしまったように思う。Task2はおそらく100 wordぐらいしか書けていない。

Reading

最後のsection以外はそこまで難しくなかった。あと時間が圧倒的に足りないかなと思ったけど、ギリギリ終わるレベルだった。例えばTOEICだと明らかに時間内に終わる量ではないので、それに比べれば時間的な厳しさはなかったように思う。

Listening

Section1はたしかに一番簡単だった。ただ、選択式ではなく単語を埋めるタイプなので、冠詞をつけるかつけないかでけっこう悩んだ。Section4がやはり最高に難しくて、2,3問合っていればいいか、ぐらいのノリ。

Speaking

これは外国人の試験官に連れられて小さい会議室で実施された。"How are you?" とか少し雑談してice breakしてから本試験が始まる。内容としては

学生 or 仕事している？
仕事で一番興味深いことはなに？
どんな音楽を聴く？
音楽を聴くときは一人で聴くのが好き？それとも他の人と聴くのが好き？

というような質問をされた。案の定Speakingが一番難易度が高いというか、普段の実力値が出てしまうのでこれが一番点数低そうだなと思った。

まとめ

試験の2週間前にIELTSの問題集をやって「うわっなにこれ難しすぎ」と絶望していたのだけど、本試験は意外と難しくなく、少しホッとした。スコアは10/13頃に送付されるらしいので、どのぐらいできているのか楽しみ。5.0〜6.0の間ぐらいだと思うんだけどどうなることやら。

【音声ダウンロード付】IELTSブリティッシュ・カウンシル公認問題集

作者: ブリティッシュ・カウンシル,旺文社
出版社/メーカー: 旺文社
発売日: 2015/09/24
メディア: 単行本
この商品を含むブログを見る

Problems when updating MySQL from 5.7 to 8.0

Tue, 24 Sep 2019 08:45:00 +0900

Introduction

I updated MySQL from 5.7 to 8.0. There were some problems when updating. This is just a memo how to solve the problems.

InnoDB deprecated file format parameters

These parameters are deprecated in 8.0.

innodb_file_format
innodb_file_format_check
innodb_file_format_max
innodb_large_prefix

ref: MySQL :: WL#7704: InnoDB: Remove deprecated file format parameters in 8.0

Query cache parameters are deprecated

These parammeters are deprecated in 8.0.

query_cache_limit
query_cache_size

ref: https://mysqlserverteam.com/mysql-8-0-retiring-support-for-the-query-cache/

innodb_support_xa

innodb_support_xa is deprecated as well.

ref: MySQL :: WL#8843: Deprecate and remove the parameter innodb_support_xa

Can't create users with GRANT

You can't create users with GRANT operation. For example, you need to change

GRANT SELECT, INSERT, UPDATE, DELETE, CREATE, DROP, INDEX, ALTER, LOCK TABLES ON db.* TO 'user'@'%' IDENTIFIED BY 'yourpassword'

like this:

CREATE USER IF NOT EXISTS 'user'@'%' identified by 'yourpassword';
GRANT SELECT, INSERT, UPDATE, DELETE, CREATE, DROP, INDEX, ALTER, LOCK TABLES ON db.* TO 'user'@'%';

ref: How to grant all privileges to root user in MySQL 8.0 - Stack Overflow

default-authentication-plugin

The default value of default-authentication-plugin is caching_sha2_password. If your MySQL driver doesn't support the authentication method, you'll get an error this authentication plugin is not supported. mysql_native_password is the default value in MySQL 5.7 so you can specify it like this:

default-authentication-plugin = mysql_native_password

Goにおける並行処理 - channel編

Tue, 10 Sep 2019 08:30:00 +0900

はじめに

これはGoにおける並行処理 - goroutine編 - oinume journalの続きの記事。goroutineに引き続き、Goの並行処理を支える重要な概念であるchannelについて説明する。

channelとは？

channelはメモリに対するアクセスを同期するためやgoroutine間の通信(データの受け渡し)として使うものである。Go言語による並行処理では

水が流れる川のように、チャネルは情報の流れの水路として機能します。値はチャネルに沿って渡され、そこから下流に読み込まれます。

と説明されている。例えば以下のプログラムでは、main関数からHello WorldをChannel messageChに書き込んで、それを無名goroutineが読み取って出力している(Playground)

package main

import (
    "fmt"
)

func main() {
    messageCh := make(chan string)
    go func() {
        fmt.Println(<-messageCh)
    }()
    messageCh <- "Hello World" 
}

channelを使う上で覚えておくべき基本的なものとしては以下である。

channelにデータを書き込む送信側とデータを受け取る受信側が存在している必要がある
- 例えば上のプログラムで fmt.Println(<-messageCh) がない場合、 fatal error: all goroutines are asleep - deadlock! というエラーになる
受信処理はchannelに書き込みがあるまでブロックされる
- 上のプログラムで messageCh <- "Hello World" の書き込みがない場合は、goroutineとして実行されている無名関数がずっとブロックされ何も起こらずにプログラムが終了する。
送信処理はchannelがいっぱいの場合、空きができるまでブロックされる
channelは一般的にはmakeで生成する
- make(chan, 3) のように、バッファをつけて生成することができる。この例だと3個のバッファがあるため、4個目を書き込む時にブロックされる。
送信専用channelと受信専用channelがある
channelをcloseする

channelのブロック

通常であれば、goroutineはsync.WaitGroupを使って起動元のgoroutineにjoinするようにしないと、タイミングにもよるがほぼ確実に実行されずにmain関数が終了されてしまう。しかし、上のHello Worldを出力するgoroutineでは、必ずHello Worldと出力される。これはいったいなぜだろうか？

理由は、channelからデータを受信する場合データが送信されるまでブロックするからである。つまり、上のプログラムの実行順序は以下のようになる。

func main() {
    messageCh := make(chan string)  // (1) channelを宣言
    go func() { // (2) goroutineの実行
        fmt.Println(<-messageCh) // (4) channelからデータを受信(送信されるまでブロックされている)
    }()
    messageCh <- "Hello World"      // (3) channelへデータを送信
}

つまりchannelとgoroutineを使うことで、何かデータを受信するまで待って、受信したら処理を開始する というようなWorker処理を簡単に実装することができる。

channelのバッファ

ch := make(chan int, 3)

のようにmakeの第2引数にバッファを指定することができる。バッファを指定することで、channelの読み込みが一度も行われなくても、キャパシティが3のバッファ付きchannelであればgoroutineは3回まで書き込みが可能になる。バッファを指定しない場合は1回書き込むとブロックされる。

送信・受信専用channel

channelを宣言する時に何も指定しなければ書き込みも読み込みも可能になるが、以下のように宣言することで書き込み専用・読み込み専用のchannelを作ることができる。

chan<- int: 読み込み専用
<-chan int: 書き込み専用

この文法は、関数の引数にchannelを受け取る場合や戻り値としてchannelを返す場合に「これは書き込みしかできない」「これは読み込みしかできない」ということを明示できるため有用である。

channelのclose

channelは使い終わったらcloseすることができる。closeされたchannelからはデータを読み込むことはできない。例えば以下のプログラムは

goroutineでchに書き込み、最後にchannelをcloseしている
mainの中のforループでチャネルchからデータを読み込んでいる

というものであるが、closeされているのでその段階でchannelからの読み込みはブロックされずにforループが終了する。

package main

import "fmt"

func main() {
    ch := make(chan int)
    go func() {
        defer close(ch)
        for i := 1; i <= 5; i++ {
            ch <- i
        }
    }()

    for value := range ch {
        fmt.Printf("%v ", value)
    }
}

実践的な例

最後に実践的なchannelの使い方を載せておく。上で紹介した以下のchannelの特徴を使っている。

バッファ
送信・受信専用channel
close

このプログラムが行っていることは、URLをchannelで送って、http.Getした結果をchannelで返すというものである。main関数の中で以下のgoroutineを立ち上げて、最後にchannel resultsを読み込んで標準出力にurl, status, errを出力している。

httpGetを実行する(channel urlsを読み込んで、resultsに書き込む)
channel urlsに書き込む

package main

import (
    "fmt"
    "net/http"
)

type result struct {
    url    string
    status int
    err    error
}

func main() {
    urls := make(chan string, 3)
    results := make(chan result, 3)

    // Consumer
    go httpGet(urls, results)

    // Producer
    go func() {
        targetURLs := []string{
            "https://journal.lampetty.net/entry/review-2019-07",
            "https://journal.lampetty.net/entry/review-2019-06",
            "https://journal.lampetty.net/entry/review-2019-05",
            "https://journal.lampetty.net/entry/review-2019-04",
            "https://journal.lampetty.net/entry/review-2019-03",
            "https://journal.lampetty.net/entry/review-2019-02",
            "https://journal.lampetty.net/entry/review-2019-01",
        }
        for _, url := range targetURLs {
            urls <- url
        }
        close(urls)
    }()

    for r := range results {
        fmt.Printf("url = %v, status = %v, err = %v\n", r.url, r.status, r.err)
    }
}

func httpGet(urls <-chan string, results chan<- result) {
    for url := range urls {
        resp, err := http.Get(url)
        if err != nil {
            results <- result{
                url: url,
                err: err,
            }
            return
        }
        results <- result{
            url:    url,
            status: resp.StatusCode,
        }
        _ = resp.Body.Close()
    }
    close(results)
}

まとめ

Goの並行処理の基礎となっているchannelについて説明した。次のパートでは、応用編としてgoroutineとchannelを使った並行処理の実践的なパターンを紹介したいと思う。

Go言語による並行処理

作者: Katherine Cox-Buday,山口能迪
出版社/メーカー: オライリージャパン
発売日: 2018/10/26
メディア: 単行本（ソフトカバー）
この商品を含むブログを見る

Goにおける並行処理 - goroutine編

Wed, 28 Aug 2019 00:00:00 +0900

はじめに

Goでは、goroutineとchannelが言語仕様として組み込まれているため、他の言語に比べてとても並行処理のコードが書きやすい。この2つの基本的な動作原理についてまとめた自分用のメモである。(channelについては別の記事で書く予定)

goroutineとは？

goroutine(ゴールーチン)とは、他のコードに対して並行に実行している関数のこと
goroutineはgoというキーワードを関数呼び出しの前に置くことで起動できる。簡単!
あらゆるGoのプログラムでは、main関数を動かすためのgoroutineが必ず存在する。つまりGoを支えるとてもプリミティブなものである。

goキーワードを使ってgoroutineを動かすとても簡単な例としては以下になる。

package main

import "fmt"

func main() {
     go sayHello() 
   // 他の処理を続ける
} 

func sayHello() {
    fmt.Println("hello") 
}

このコードは以下の2つのgoroutineで動作している。

main関数を動かしているgoroutine
main関数から分岐した、sayHello関数を動かしているgoroutine

goroutineの正体

ではgoroutineとは何なのだろうか？Javaなどの他の言語をやってきた人からすると、これはスレッドとして実行されているのか？と気になるところだが、実態はスレッドではない。Go言語による並行処理 P.38では以下のように説明されている。

ゴルーチンは(他の言語にも似た並行処理のプリミティブは存在しますが)Go 特有のものです。ゴルーチンはOSスレッドではなく、また必ずしもグリーンスレッド――言語のランタイムにより管理されるスレッド――ではありません。ゴルーチンはコルーチン(coroutine)として知られる高水準の抽象化です。コルーチンは単に「プリエンプティブでない」並行処理のサブルーチン(Goでは関数、クロージャー、メソッドに相応)です。つまり、割り込みをされることがないということです。かわりに、コルーチンには一時停止や再エントリーを許す複数のポイントがあります。

ゴルーチンが独特なのは、ゴルーチンが Go のランタイムと密結合していることです。ゴルーチンは一時停止や再エントリーのポイントを定義していません。Go のランタイムはゴルーチンの実行時の振る舞いを観察し、ゴルーチンがブロックしたら自動的に一時停止し、ブロックが解放されたら再開します。これによってある意味ゴルーチンをプリエンプティブにしていますが、ゴルーチンがブロックしたときにしか割り込みません。このようにランタイムとゴルーチンのロジックには美しい関係性があります。以上のことから、ゴルーチンは特殊なコルーチンと考えられます。

goroutineはGoのランタイムにより管理されるため、Goのコードから一時停止したりレジュームすることはできない(channelやcontextを使えば動作を止めるようにキャンセルすることは可能)。これがコルーチンとは違う点だと思う。また、goroutineとして関数を実行してもスレッドが新しく作られるわけではないので、スレッドよりも軽量である。

Go がゴルーチンをホストする機構は、いわゆる M:N スケジューラーと呼ばれる実装になっています。これは M個のグリーンスレッドを N個の OS スレッドに対応させるものです。ゴルーチンはグリーンスレッドにスケジュールされます。グリーンスレッドの数よりも多い数のゴルーチンがある場合には、スケジューラーはゴルーチンを利用可能なグリーンスレッドに割り振って、これらのゴルーチンがブロックした場合には他のゴルーチンを実行するようにしています。

fork-joinモデル

Goではfork-joinモデルと呼ばれる並行処理のモデルに従っている。

fork: プログラムの特定の場所で子供の処理を分岐させて、親と平行に実行させること
join: 分岐した時点より以降に、平行処理されている親と子が再び合流すること

図で表すと以下のようになる。

ここで先ほどのsayHelloを使ったgoroutineの例を見てみる。

func main() {
     go sayHello() 
} 

func sayHello() {
    fmt.Println("hello") 
}

sayHelloはgoroutineとして実行された後にjoinしていないので、helloと表示されずにこのプログラムは終わってしまう。ではmainに合流させるにはどうしたらよいだろうか？

一番簡単なやり方は以下のようにsync.WaitGroupを使うことである。

package main

import (
    "fmt"
    "sync"
)

func main() {
    var wg sync.WaitGroup
    wg.Add(1) // 1. 起動するgoroutineの数を伝えるため、カウンターに1を足す
    go func() {
        defer wg.Done() // 2. カウンターから1をマイナスする
        sayHello()
    }()
    wg.Wait() // 3. ここでsayHelloのgoroutineが終わるまで待つ
    fmt.Println("finished")
}

func sayHello() {
    fmt.Println("hello") 
}

https://play.golang.org/p/-uPFeh_37mB

まとめ

これがgoroutineの基本的なことの全てである。goというキーワードを使うだけで並行処理が簡単に書けるということがわかるはず。

Go言語による並行処理

作者: Katherine Cox-Buday,山口能迪
出版社/メーカー: オライリージャパン
発売日: 2018/10/26
メディア: 単行本（ソフトカバー）
この商品を含むブログを見る

2019年7月の振り返り

Sun, 04 Aug 2019 00:07:46 +0900

アウトプット

7月も小ネタだけどブログを書いた。

path-shrinker

path-shrinker というものを作った。ターミナルのプロンプトの /Users/go/src/github.com を /U/g/s/github.com みたいにするやつ。zshのoh-my-zshではプラグインがあるんだけど、Bashでは見当たらなかったので作ってみた。

Bashでもzshやfishみたいにターミナルのプロンプトのディレクトリをシュッと短くしたかったので作った。https://t.co/d3k5hWP6Gp

— oinume (@oinume) July 14, 2019

Cloud Next'19

GoogleのCloud Nextに参加した。AWSも含めてこういうクラウド系のイベントには参加したことがなかったのだけど、GoogleのSREの人のセッションは参考・刺激になったので自分も実践していきたいと思った。AWSに比べてGCPはServerlessがかなりいけてるという印象を持っていたのだけど、それが再確認できたのも良かった。

OpenCensus

US regionから日本のサーバにアクセスしていて、どうしてもレイテンシが気になってチューニングしたいので、手始めにhttptrace.ClientTrace + OpenCensusでtracingしてみてる。connectが遅いのか、TTFBが遅いのかなどがわかるので良い。

— oinume (@oinume) July 28, 2019

lekcijeのパフォーマンスチューニングのためにOpenCensusを導入して、Stackdriver Traceでlatencyを見れるようにした。もともとボトルネックはわかっていたのだけど、httptrace.ClientTrace + OpenCensusを導入してHTTPクライアントでどこが遅いかも視覚化できたのはいい勉強になったと思う。けっきょくHTTP KeepAliveを長めに設定して少しだけパフォーマンスが良くなった。

睡眠

1日6時間以上寝る、ということを今年の目標にしている。ヘルスケアアプリによると6月は平均6時間25分だった。ただ、毎日6時間以上の睡眠ができているわけではないので、引き続きこれは課題がある。特に平日は6時間寝れている日がほとんど皆無。

英語

IELTSの攻略本を見ると、語彙力がすべてのパートにおいて重要なので、頑張って英単語を地味に覚えるようにしている。

アルゴリズム

特に進捗なし

Go, gRPC, SQLの復習

引き続き Go言語による並行処理 を読んでいる。

まとめ

7月は体調を崩してしまって会社を2日を休んでしまったのと、あまりアウトプットはできてないので頑張っていきたい。

Intellij IDEAを2019.2にアップグレードするとコピペや入力がおかしくなる問題のワークアラウンド

Wed, 31 Jul 2019 09:00:00 +0900

先日IntelliJ IDEAを2019.2にアップグレードしたところ、以下の問題に遭遇した。

エディタでのコピー＆ペーストすると同じものが2回ペーストされる
文字の入力に取りこぼしがある(publicって入力してもpubcみたいなる)

バグトラッカーを見たところ、Copied text is pasted twice via Cmd+V (with Japanese input)が不具合として上がっていたが修正されそうな気配がなくて途方にくれていたところ、こんなワークアラウンドがあることをTwitter上で発見したので試してみた。

JBR11というJava Runtimeが原因とのことなので、これを古いバージョンにすればよいらしい。

自分は jbrx-8u202 をわざわざダウンロードするのが面倒だったので

$ brew cask install homebrew/cask-versions/adoptopenjdk8

してから

$ /usr/libexec/java_home -v "1.8"
/Library/Java/JavaVirtualMachines/adoptopenjdk-8.jdk/Contents/Home

で出力されたディレクトリをSwitch Boot JDKで指定したところ問題が起きなくなった。めでたしめでたし。

IntelliJ IDEAハンズオン――基本操作からプロジェクト管理までマスター

作者: 山本裕介,今井勝信
出版社/メーカー: 技術評論社
発売日: 2017/11/08
メディア: 大型本
この商品を含むブログを見る

xargsでファイルの内容をコマンドの引数として渡す

Sat, 20 Jul 2019 12:49:59 +0900

dates.txt

2019-01-01
2019-02-01
2019-03-01

みたいなファイルがあった時に、このファイルの行をxargsコマンド経由で任意のコマンドの引数として渡す方法。

$ cat dates.txt | xargs -I{} 'echo {}'

MacBookAir 2019を買おうか悩み中

Tue, 16 Jul 2019 11:06:48 +0900

今使っているのはMacBookPro 13inch late 2016 Two Thunderbolt3 portsなんだけど、2018年モデルのMacBookAirにCPUスコアは負けている...

browser.geekbench.com

Single-Core Score: 3886
Multi-Core Score: 7701

以下は2018年モデルのGeekBenchのスコア。

browser.geekbench.com

Single-Core Score: 4008
Multi-Core Score: 7396

Touch IDがついていてTouch Barがないモデルだし、重さも100gぐらい軽いし買い替えようか検討中...

Apple MacBook Air (13インチ, 1.6GHzデュアルコアIntel Core i5, 8GB RAM, 256GB) - ゴールド (最新モデル)

出版社/メーカー: アップル
発売日: 2019/07/10
メディア: Personal Computers
この商品を含むブログを見る

2019年6月の振り返り

Mon, 01 Jul 2019 08:30:00 +0900

2019年がもう半分が過ぎてしまった。やばい。

▓▓▓▓▓▓▓▓░░░░░░░ 50%

— Year Progress (@year_progress) July 2, 2019

アウトプット

6月は頑張ってブログを書いた。それなりの分量の記事を書こうとすると週に1個が限界な気がするので、良いペースだと思う。

睡眠

1日6時間以上寝る、ということを今年の目標にしている。ヘルスケアアプリによると6月は平均6時間13分だった。ただ、毎日6時間以上の睡眠ができているわけではないので、これは今後の課題である。

業務で必要なものを身につける

これは以下の3つに絞る。これ以外は必要になったら勉強する。

Go
gRPC
SQLを復習する

Goについては、Go言語による並行処理という本を読んでいるけどとてもわかりやすくてよい。

Go言語による並行処理

作者: Katherine Cox-Buday,山口能迪
出版社/メーカー: オライリージャパン
発売日: 2018/10/26
メディア: 単行本（ソフトカバー）
この商品を含むブログを見る

英語

もともとの目標はIELTS 6.5だが、今の自分のレベルだと高すぎるのでOverall 6.0に下方修正する。そして勉強は相変わらずできていない。電車の中の隙間時間でなるべくやるのが良いのだろうけど、Goの本を読んだりするほうが楽しいのでそっちをやってしまっている。

アルゴリズム

特に進捗なし

まとめ

6月は仕事がかなり落ち着いてきたのでプライベートの勉強がかなり捗った。来月もこれぐらいのペースで頑張って行きたい。

Goのcontextによるキャンセルやタイムアウト

Mon, 17 Jun 2019 09:00:00 +0900

これはなに？

Go言語におけるcontextパッケージを使ったキャンセルやタイムアウトについて説明する。この記事を読むと以下について詳しくなれるはず...!

context.WithCancel
context.WithTimeout
context.Done
context.Err

とはいいつつも、かなり自分向けのまとめではあるし既出のトピックなので以下の記事を読むともっとわかりやすいはず。

done channelを使ったキャンセルの実装

contextがあると何が嬉しいのかを説明するために、まずはdone channelを使ってキャンセルを行うコードを書いてみる。これはGo言語による並行処理のP.137に記載されていたサンプルプログラムを少し修正したものである。

このプログラムでやりたいことは、close(done)によってprintGreeting, printFarewell, genGreeting, genFarewell, localeの関数をキャンセルしたい、ということである。

このプログラムを実行すると以下の出力が得られる(場合によっては先にhello world!が出力されるかもしれない)。

$ go run context/done_chan/main.go
goodbye world!
hello world!

実行の流れとしては以下のようになっている(この図もGo言語による並行処理から引用)。

この図をより詳細に説明すると

main関数からprintGreetingとprintFarewellをgoroutineを起動して呼び出し、sync.WaitGroup.Waitを使って待つようにしている(L38)
printGreetingはgenGreeting -> locale の順番で関数を呼び出す
- localeは select の中で <-time.After(5 * time.Second) で５秒待ち、EN/USを返す
- genGreetingはlocale()の呼び出しがEN/USの場合 hello を返す
- printGreetingはgenGreetingの戻り値を出力する
printFarewellもgenFarewell -> locale の順番で関数を呼び出す
- localeは select の中で <-time.After(5 * time.Second) で５秒待ち、EN/USを返す
- genFarewellはlocale()の呼び出しがEN/USの場合 goodbye を返す
- printFarewellはgenGreetingの戻り値を出力する
printGreeting, printFarewellのgoroutineが終了したので、main関数は処理を抜ける。つまり defer close(done) が実行される(L12)

では、以下のように defer close(done) の部分を、close(done)した後にprintGreetingを呼び出すようにしたらどうなるだろうか？

defer func() {
    close(done)
    if err := printGreeting(done); err != nil {
        fmt.Printf("err=%v\n", err)
    }
}()

上のように修正して再度プログラムを実行すると、以下のように出力される。

$ go run context/done_chan/main.go
goodbye world!
hello world!
err = canceled

canceledがprintGreetingのerrorとして返ってきた。このerrorはlocale関数の以下の部分で生成されたもので、done channelがすでにcloseされたため、selectのこのcaseに処理が来たということである。

select {
case <-done:
    return "", fmt.Errorf("canceled")
    ...
}

このようにprintGreetingやprintFarewellをchannelをcloseすることでキャンセルを実現することができた。それでは次に、contextパッケージを使ったキャンセルのやり方を見てみよう。

contextを使ったキャンセルの実装

それでは、さきほどのdone channelの例をcontextを使って実装し直してみよう。

done channelの実装と比べた場合のポイントとしては以下である。

context.Background でroot contextを作成
context.WithCancel(ctx) では戻り値として子のcontextとキャンセルするための関数が返ってくる
このキャンセルするための関数 cancel を呼び出すことでキャンセル処理を実行する
printGreetingなどの関数の引数に ctx を渡す。これによって末端のlocaleまでctxを引き回している

このプログラムを実行してみると、以下のような出力になりcontextを使ってキャンセルが実装できたことが確認できた。これがcontextパッケージの大きな機能の一つである。

$ go run context/with_cancel/main.go
goodbye world!
hello world!
err = context canceled

ctx.Doneはcontextがキャンセルされるまでブロックされる受信専用のchannelを返す。このchannelからデータを取得できたということはキャンセルされたということなので、ctx.Err() でエラーを返すようにしている
context canceled というエラーはlocale関数のctx.Err() の戻り値である。contextパッケージにはCanceledというグローバル変数が定義されており、これが返却されている

タイムアウト

一番最初のdone channelのプログラムでは単純にprintGreetingやprintFarewellなどの関数の実行をキャンセルしたいタイミングでclose(done)しているだけだが、例えばprintGreetingやprintFarewell(およびこれらが呼び出す関数)の呼び出しを、一定時間が経過した場合にキャンセルしたいと思った場合はどうすればよいだろうか？ context.WithTimeoutを使うことでそのような実装が簡単にできる。

genGreetingでcontext.WithTimeoutで1秒後にタイムアウトするようにして新しい子のcontextを生成する。そしてlocaleにそれを渡し、 defer cancel() する
main関数のprintGreetingを呼び出すgoroutineで、printGreetingが失敗したら他の関数呼び出しをキャンセルするためにcancelを呼び出す

このプログラムの実行結果は以下のようになる。

$ go run ./context/with_timeout/main.go
cannot print greeting: context deadline exceeded
cannot print farewell: context canceled

まとめ

contextを使うことでキャンセルやタイムアウトが簡単に実装できることを説明した。この内容については以下のGo言語による並行処理にすべて書かれているし、よりgoroutineや並行処理について知りたい場合はこの本を読んでみることを強くオススメする。

Go言語による並行処理

作者:Katherine Cox-Buday
オライリー・ジャパン

Amazon

zshをやめてbashにした

Mon, 10 Jun 2019 09:00:00 +0900

TL;DR

Bashを使うにあたって、zshが持つ標準機能のレベルと同じにするには初期設定が面倒だったけどなんとかいける。Bashは進化していると感じた。
bash-itが便利
設定は .bash_profile も含めてoinume/dotfilesに上げているので参考にどうぞ

動機

ターミナル環境を見直す(1) - zsh + prezto編 - oinume journal の記事でデフォルトのshellをzshに切り替えたけど、tmuxでバンバン新しいタブを開くと起動の遅さが気になっていてそろそろどうにかしたいと思っていた。また、zshは便利だけど設定項目を覚えたり調べるのが大変だし、ほとんどの機能は使いこなせていなかったので、これを機にシンプルなbashに乗り換えてみた。この記事はその際にやったことのメモ。

以下によると次期macOS Catalinaではbashに代わってzshがデフォルトになるらしく、時代と逆行していて面白い。

support.apple.com

macOS mojaveに最新のbashをインストール

maxOS mojaveのデフォルトのbashは3.2.57と古いので、まずは最新のbashをhomebrewでインストールする。

$ brew install bash

chshでログインシェルを変更

brewでインストールしたbashは /usr/local/bin/bash にあるので、これをログインシェルとして変更する。

$ chsh -s /usr/local/bin/bash
(パスワードを聞かれる)
chsh: /usr/local/bin/bash: non-standard shell

しかし、↑のようなエラーになってしまうので、 sudo vi /etc/shells して /usr/local/bin/bash を追記してもう一度 chsh コマンドで変更する。

$ chsh -s /usr/local/bin/bash

Prompt

やはり素のプロンプトだと味気ないので、Prompt関連はけっこう設定をいじった。以下に詳細を書く。

Powerline

定番のPowerline。bash-powerlineというものがあったので、これを以下のように少しカスタマイズして使っている。(Macの場合プロンプトの記号が$ではなくになるのがどうしても嫌だった)

export PS_SYMBOL='$'
[ -f ~/dotfiles/bash-powerline.sh ] && . ~/dotfiles/bash-powerline.sh

カレントディレクトリの表示

デフォルトだとカレントディレクトリだけがプロンプトに表示されて、同じディレクトリが複数あるとどこにいるのかわからなくなる問題がある。zshだと ~/go/src/github.com/oinume/playground-go にいる場合は ~/g/s/g/o/playground-go のようにいい感じに省略してくれるので似たようなことがやりたかった。調べたところ、bashでもPROMPT_DIRTRIMという環境変数で似たようなことができる。PROMPT_DIRTRIM=2 にした場合は ~/.../oinume/playground-go のようになる。一つ上のディレクトリ名がわかれば良いと思ったので、自分としてはこれで満足している。

コマンド履歴のターミナル間での共有

zshでは当たり前にできるやつ。以下を .bash_profile に追加すればOK。

function share_history {
    history -a
    history -c
    history -r
}

PROMPT_COMMAND='share_history'
shopt -u histappend
export HISTSIZE=2000

過去に移動したディレクトリの検索

Bash の小枝集のcdhist.sh + fzf で検索できるようにしている。.bash_profileでの設定は以下のようになっていて、Ctrl+@で呼び出せるようにしている。

[ -f ~/dotfiles/cdhist.sh ] && . ~/dotfiles/cdhist.sh

_cd_cdhist() {
  cd "$(for i in "${CDHIST_CDQ[@]}"; do echo $i; done | fzf)"
}

bind -x '"\C-@": _cd_cdhist';

bash-it

様々なalias、補完、プラグインが用意されているbash-itというものを使ってみる。

以下のようにインストールする。

$ git clone --depth=1 https://github.com/Bash-it/bash-it.git ~/.bash_it
$ ~/.bash-it/install.sh

補完やプラグインを有効にする

$ bash-it enable completion bash-it

$ bash-it enable plugin xyz

上記のコマンドを実行すると、~/.bash-it/enabled にsymlinkが作成される。以下のコマンドで alias, completion, pluginの一覧を見ることができるので、自分が使いそうなものを有効にしていくと良い。

bash-it show aliases
bash-it show completions
bash-it show plugins

[改訂第3版]シェルスクリプト基本リファレンス ──#!/bin/shで、ここまでできる (WEB+DB PRESS plus)

作者: 山森丈範
出版社/メーカー: 技術評論社
発売日: 2017/01/20
メディア: 単行本（ソフトカバー）
この商品を含むブログ (1件) を見る

2019年5月の振り返り

Fri, 07 Jun 2019 19:10:03 +0900

仕事

4月はもっぱら仕事が忙しく、最終的にGWは半分以上出勤するという体たらくだったので振り返りはスキップしてしまった。おかげでメルペイあと払いのリリースは何とかできたけど、技術的負債が多すぎて運用で死んでいる。

アウトプット

GCPのCloud PubSubをGoで動かしてみただけのメモのみ。とにかく仕事が忙しくてプライベートで勉強したり何かをアウトプットすることを疎かにしてしまった。おかげで仕事は捗った。

英語

8月にIELTSを申し込んだ。受験料が2万5千円もするのでなかなか気軽には受けられないので気合を入れて勉強する
忙しくてDMM英会話が1回しか受講できていない
IELTSを申し込んで自分を追い込んだことで、英単語の学習は少しずつ進んでいる
- 英単語の本をKindleで読むと便利。わからない単語にマークをつけて簡単に復習できる。

アルゴリズム

Graphは深さ優先探索を実装した

algo/datastructure/graph at master · oinume/algo · GitHub

読んでいる本

Go言語による並行処理

作者: Katherine Cox-Buday,山口能迪
出版社/メーカー: オライリージャパン
発売日: 2018/10/26
メディア: 単行本（ソフトカバー）
この商品を含むブログを見る

まだ40ページしか読んでいないけど、並行処理の概念(CSP)についても詳しく書かれてあって良い本だと思う。ゴルーチンやチャネルについてはあまり体系的に理解していなかったので自分にとっては今年一番の買ってよかった本。

ターミナル環境の見直し

ずっとzshを使っていたけど、自分が使っているのは以下の機能しかないのでbashに乗り換えようかと思っている。

補完
Ctrl+@によるcdr
コマンド履歴をpecoで検索

ついでにpeco -> fzfへの移行も試している。

ターミナル環境を見直す: pecoからfzfへ

Wed, 05 Jun 2019 09:00:00 +0900

コマンドの履歴やディレクトリ移動の履歴を選択するためのツールとして長らくpecoを使ってきたけど、fzfに移行してみた。理由は大したものではなく

pecoはshellで複数行のコマンドを検索して実行する場合に、 \ が \\ と2重になってしまうという問題があった
日本国外だとpecoではなくてfzfの方が使われていそう

というもの。

インストール

github.com

リポジトリのREADMEに書いてあるので省略

設定

cdr

ディレクトリの移動履歴をfzfで検索するようにする。zshの設定は以下のような感じ。

function fzf_cdr () {
  local selected_dir=$(cdr -l | awk '{ print $2 }' | fzf --query "$LBUFFER")
  if [ -n "$selected_dir" ]; then
    BUFFER="cd ${selected_dir}"
    zle accept-line
  fi
  zle clear-screen
}

zle -N fzf_cdr
bindkey "^@" fzf_cdr

function fzf_select_history() {
    local tac
    exists gtac && tac="gtac" || { exists tac && tac="tac" || { tac="tail -r" } }
    BUFFER=$(fc -l -n 1 | eval $tac | peco --query "$LBUFFER")
    CURSOR=$#BUFFER         # move cursor
    zle -R -c               # refresh
}

zle -N fzf_select_history
bindkey '^R' fzf_select_history

感想

pecoはshellで複数行のコマンドを検索して実行する場合に、 \ が \\ と2重になってしまうという問題があった

この問題が解決されたので自分としてはこれだけでも満足度が高い。また、fzfは環境変数で見た目や挙動を変えられるのが良いと思っている。自分は以下のように設定している。

export FZF_DEFAULT_COMMAND='rg --files --hidden --glob "!.git"'
export FZF_DEFAULT_OPTS='--height 60% --border'

zsh最強シェル入門

作者: 中島能和
出版社/メーカー: 翔泳社
発売日: 2008/12/04
メディア: 単行本（ソフトカバー）
購入: 7人クリック: 175回
この商品を含むブログ (50件) を見る

GCPのCloud Runを使って簡単なリダイレクタを作った話

Fri, 17 May 2019 08:50:00 +0900

今年5月にbetaとしてリリースされたGCPのCloud Runを使って、もともとGAEで運用していたリダイレクタを移植してみたのでその紹介。

Cloud Runとは

HTTPリクエストを処理するためのFull ManagedなステートレスのContainerの実行環境。公式サイトには以下のように説明されている。

Cloud Run is a managed compute platform that enables you to run stateless containers that are invocable via HTTP requests

GCPでは、Full Managedな実行環境(PaaS)として

Google App Engine(Standard Edition)
Cloud Functions

が存在しているが、完全にContainerベースのCloud Runが新しく追加されたよ、という風に自分は認識している。

リダイレクタの詳細

blog.lampetty.net, tech.lampetty.net に来たリクエストを https://journal.lampetty.net にリダイレクトする

というだけのもの。実際にはURLごとにリダイレクト先が異なるのでプログラムを書いている。もともとはGAE Standard Editionで動かしていた。

準備

GCPのプロジェクトを作る
gcloud components update を実施する
gcloud components beta を実施する
Cloud RunのRegionを設定する
- gcloud config set run/region us-central1
Cloud Buildを有効にする
Container Registryを有効にする

Cloud Runで実行するコード

実際にCloud Runで実行するコードは以下のような感じ

Dockerfile

Cloud RunはContainerを実行するので、Dockerfileを用意する。やっていることは ./cmd/server/main.go をコンパイルして server というバイナリを生成しているだけ。

Cloud BuildでContainer Imageをdeployする

自動化も加味して、CircleCIからContainer Imageを生成してGCRにdeployするようにしてみる。CircleCIのconfig.ymlはこんな感じ。

実際は Makefile で実行しているのは以下のコマンドになる。

$ gcloud builds submit --project ${GCP_PROJECT_ID} \
  --tag gcr.io/$(GCP_PROJECT_ID)/server:${IMAGE_TAG}

GCP_PROJECT_ID: あなたのGCPのプロジェクトID
IMAGE_TAG: master-123 のような値になっている。CircleCI上でビルドするので IMAGE_TAG=$(echo "${CIRCLE_BRANCH}" | tr '._/' '-' | tr '[:upper:]' '[:lower:]')-"${CIRCLE_BUILD_NUM}" としている。ただこれはもっと良い生成方法があるかもしれない。

なお、CircleCIからgcloud buildsでGCRにimageをpushするときに以下のエラーが発生してハマった。

Uploading tarball of [.] to [gs://blog-lampetty-net-redirector_cloudbuild/source/1557916060.04-0e599d9522c1400ebb47e942a96cb9b2.tgz]
Created [https://cloudbuild.googleapis.com/v1/projects/blog-lampetty-net-redirector/builds/ec22748d-e4c6-4e10-ba89-f4e108cac0d8].
Logs are available at [https://console.cloud.google.com/gcr/builds/ec22748d-e4c6-4e10-ba89-f4e108cac0d8?project=310764868638].
ERROR: (gcloud.builds.submit) HTTPError 403: <?xml version='1.0' encoding='UTF-8'?><Error><Code>AccessDenied</Code><Message>Access denied.</Message><Details>circle-ci@blog-lampetty-net-redirector.iam.gserviceaccount.com does not have storage.objects.get access to 310764868638.cloudbuild-logs.googleusercontent.com/log-ec22748d-e4c6-4e10-ba89-f4e108cac0d8.txt.</Details></Error>

解決方法としてはここにあるように、Project ViewerのRoleをService Accountに対して付与しないといけない。もしくは、cloudbuild.yamlの設定で logsBucket を指定してここへのロールを追加すれば良い。

CircleCIからgcloudコマンドで最新のcontainer imageをCloud Runに反映する

これはまだ自動化していない。以下のコマンドで自分のマシンからCloud Runに反映している。

$ gcloud beta run deploy --project ${GCP_PROJECT_ID} --image gcr.io/${GCP_PROJECT_ID}/server:${IMAGE_TAG}

Service name (server):
Deploying container to Cloud Run service [server] in project [${GCP_PROJECT_ID}] region [us-central1]
✓ Deploying... Done.
  ✓ Creating Revision...
  ✓ Routing traffic...
Done.
Service [server] revision [server-00005] has been deployed and is serving traffic at https://xyz.a.run.app

コマンドを実行すると最後に表示される https://xyz.a.run.app がアプリケーションが動いているURLである。

独自ドメインの割り当て

Cloud Runによって自分のアプリケーションに割り当てられたURLを独自ドメインに変更することができる。以下のコマンドを使うか、Consoleから設定ができる。

$ gcloud beta run domain-mappings create

プログラマのためのGoogle Cloud Platform入門サービスの全体像からクラウドネイティブアプリケーション構築まで

作者: 阿佐志保,中井悦司
出版社/メーカー: 翔泳社
発売日: 2017/06/02
メディア: 単行本（ソフトカバー）
この商品を含むブログを見る

参考リンク

Cloud Run を最速で触ってみる - google-cloud-jp - Medium

2019年3月の振り返り

Fri, 05 Apr 2019 10:28:41 +0900

アウトプット

GCPのCloud PubSubをGoで動かしてみただけのメモのみ。とにかく仕事が忙しくてプライベートで勉強したり何かをアウトプットすることを疎かにしてしまった(おかげで仕事は捗った)。

英語

3月から会社がDMM英会話から試験的にNativeCampに切り替えたため1回しかレッスンを受けなかった。単語もiKnowを使っていたのだけど、DMM英会話がストップされた影響で使えなくなってやらなくなってしまった。4月からはまたDMM英会話に戻ったのでちゃんと再開する予定。

アルゴリズム

グラフはやりかけで放置してしまっている。

スマートウォッチ

Fitbit Charge3が微妙だったのでいったんPebbleに戻していたけど、Fitbit Versa Liteなるものが発売されたのでこれを買ってみた。やっぱりPebbleの方が使いやすいとは思いつつ、基本機能は満足しているのでこれを使っていこうかなと思っている。一番良いのは心拍数が測れるところ。ウォーキングやジョギングで頑張りすぎないようにペースを調節したり、逆にまだまだいけそうだと思ったらペースを上げたりする目安になっている。

Fitbit Versa Lite スマートウォッチ Charcoal/Silver Aluminum L/Sサイズ [日本正規品] FB415SRGY-FRCJK

出版社/メーカー: Fitbit(フィットビット)
発売日: 2019/03/15
メディア: エレクトロニクス
この商品を含むブログを見る

読んだ本

Googleを支える技術

全部読んだわけではないけどGoogleのシステムの内部について詳細にわかりやすく書かれている良い本。初期のGoogle検索エンジンのシステムの内部構成がわかりやすく解説されていて、「おっこれなら自分でも作れるのでは？」と思うぐらいに理解ができた。

Googleを支える技術 ……巨大システムの内側の世界 WEB+DB PRESS plus

作者: 西田圭介
出版社/メーカー: 技術評論社
発売日: 2018/11/14
メディア: Kindle版
この商品を含むブログ (1件) を見る

脳を鍛えるには運動しかない!

まだ読んでいる途中だけど、脳細胞を活性化させるために運動が必要だと説く本。アメリカの小学校では、授業の前に朝一で運動することで学力が上がったという話を皮切りに運動が脳に与えるプラスの効果について延々と書かれている本。これを読んで、自分も出勤前にジムに行くように心がけるようになった。

脳を鍛えるには運動しかない! 最新科学でわかった脳細胞の増やし方

作者: ジョン J.レイティ,エリックヘイガーマン,John J. Ratey,Eric Hagerman,野中香方子
出版社/メーカー: NHK出版
発売日: 2009/03/20
メディア: 単行本（ソフトカバー）
購入: 31人クリック: 757回
この商品を含むブログ (75件) を見る

GCPのCloud PubSubをGoで動かしてみただけのメモ

Mon, 01 Apr 2019 09:00:00 +0900

これはGCPのCloud PubSubのチュートリアルをやってみただけの自分用のメモ。この記事で紹介されているサンプルコードはGitHubに置いてある。

Cloud PubSubとは

GCPで提供されているメッセージキュー。メッセージの送信をして(publish)、複数のシステムがそのメッセージを受信(subscribe)することができる。

登場する概念

Message: PubSubを通じて送受信したいメッセージ
Publisher: Messageを生成しTopicに送るもの
Topic: Messageの送信先
Subscription: Topicに対して紐付けられるMessageを受信するもの。1つのTopicに対して複数のSubscriptionを設定することができる
Subscriber: Subscriptionと関連付けられた、Messageを受信するシステム

詳細はドキュメントに書いてある。

イメージ

使ってみる

APIを有効にする

gcloud services listで検索して

$ gcloud config set project oinume-pubsub-sample
$ gcloud services list --available | grep pubsub
pubsub.googleapis.com Cloud Pub/Sub API

enableで有効にする。

$ gcloud services enable pubsub.googleapis.com
Operation "operations/acf.dd53c399-e6be-48c3-a087-ff01c982d0d8" finished successfully.

Topicの作成

first-topic という名前のTopicを作る。

$ gcloud pubsub topics create first-topic
Created topic [projects/oinume-pubsub-sample/topics/first-topic].

Subscriptionの作成

first-topic へのSubscriptionを作る。SubscriptionはPull型とPush型の2つの種類があるが、今回はPush型を使っている。この2つについて詳しく知りたい場合はドキュメントを参照。--push-endpoint の詳細については次で説明する。

$ gcloud pubsub subscriptions create first-topic-subscription \
—topic first-topic \
—push-endpoint="https://oinume-pubsub-sample.appspot.com/_ah/push-handlers/first-topic“

Google App Engineでpush型のsubscriberを作る

先ほど --push-endpoint で指定したendpointをGAEで実装してみる。これはPubSubのmessageがpublishされたときにGCPから呼ばれるもの。GitHubにコードを上げてあるが、 "/_ah/push-handlers/first-topic のURLのHandlerを定義して、標準出力に来たmessageを出力するだけのコードである。

main.go

package main

import (
    "encoding/json"
    "fmt"
    "log"
    "net/http"
    "os"
)

func main() {
    http.HandleFunc("/", indexHandler)
    http.HandleFunc("/_ah/push-handlers/first-topic", pushHandler)

    port := os.Getenv("PORT")
    if port == "" {
        port = "8080"
        log.Printf("Defaulting to port %s\n", port)
    }

    log.Printf("Listening on port %s", port)
    log.Fatal(http.ListenAndServe(fmt.Sprintf(":%s", port), nil))
}

func indexHandler(w http.ResponseWriter, r *http.Request) {
    if r.URL.Path != "/" {
        http.NotFound(w, r)
        return
    }
    fmt.Fprint(w, "Hello, World!!")
}

func pushHandler(w http.ResponseWriter, r *http.Request) {
    type pushRequest struct {
        Message struct {
            Attributes map[string]string
            Data       []byte
            ID         string `json:"message_id"`
        }
        Subscription string
    }

    message := &pushRequest{}
    if err := json.NewDecoder(r.Body).Decode(message); err != nil {
        log.Printf("Could not decode body: %v\n", err)
        http.Error(w, fmt.Sprintf("Could not decode body: %v", err), http.StatusBadRequest)
        return
    }

    log.Printf("Data = %v\n", string(message.Message.Data))
    fmt.Fprint(w, "ok")
}

messageをpublishしてみる

以下のような感じでpublisherを実行すると first-topic にmessageがpublishされる。 oinume-pubsub-sample は自身のGCPプロジェクト名に置き換えること。

$ export GOOGLE_CLOUD_PROJECT=oinume-pubsub-sample
$ export GO111MODULE=on
$ go run cmd/publisher/publisher.go first-topic "Hello world"

実際にmessageのsubscribeが成功したかどうかはGCPのStackdriver Loggingで見ることができる。

疑問

push-handlerがHTTPで200以外を返した場合、どのぐらいのタイミングで再送される？
再送する回数の上限は指定できる？

プログラマのためのGoogle Cloud Platform入門サービスの全体像からクラウドネイティブアプリケーション構築まで

作者: 阿佐志保,中井悦司
出版社/メーカー: 翔泳社
発売日: 2017/06/02
メディア: 単行本（ソフトカバー）
この商品を含むブログを見る

2019年02月の振り返り

Mon, 04 Mar 2019 00:00:00 +0900

アウトプット

特になし

英語

1月とほぼ変わらずという状態。ふと、2年前ぐらいに受けたTOEICの結果を見ていたら、Readingにおいて自分は単語力が弱いと書かれていたので、単語をちゃんと勉強するのが一番効果的っぽい。なお、今まで会社の補助で使えていたDMM英会話が使えなくなり途方にくれている。

アルゴリズム

やっとBTreeを実装した。写経していたはずが、些細なバグに悩まされ時間がかかってしまったけどやっと実装できてよかった。この記事をおおいに参考にさせてもらった。多謝。

来月はグラフをやる。

Fitbit Charge3

時計をPebble TimeからFitbit Charge3に変えた。のだけど、Pebbleに比べてFitbitが微妙過ぎてつらい。

時計盤が常に表示されているわけではないので、時刻を見たい時は常に腕を回す動作をしないといけない。場合によってはこれでも表示されないので、わざわざ画面をタップしないといけない。
- これはいろいろ調べたけど設定変更で直せるものではないっぽいぞ... Pebbleは常に表示されていたので良かった。
通知のバイブレーションが微妙。通知が連続できたのか、それとも電話が鳴っていているのかバイブのパターンではわからない。
自転車に乗っている時でも歩いたことになっているようでステップ数がカウントされているっぽい
- これはまだちゃんと確認してない
標準のFitbitアプリからiOSのヘルスケアにデータを同期してくれない。

というわけでPebbleの完成度の高さをあらためて知るのであった。Pebble自体は会社がFitbitに買収されてディスコンなんだけど、Pebble2あたりを買い直そうか真剣に悩んでいる。

楽天銀行のデビットカードはいいぞ

Wed, 13 Feb 2019 09:00:00 +0900

最近メインバンクを三菱UFJから楽天銀行に移している。現在進行系なのは、様々な引き落としの手続きに時間がかかっているためだけど、近日中には終わると思う。

デビットカードってなに？メリットは？

使うときはクレジットカードと同じように使える。例えばVISAブランドのデビットカードであればVISAの加盟店であればどこでも使える。クレジットカードみたいに請求が遅れてくることがないため、「気づいたら今月30万もクレカで使っていた」というようなことが起きにくい。また、銀行が発行するデビットカードはたいていキャッシュカードとの一体型になっているので、クレカとキャッシュカードの2枚持ちに終止符を打つことができる。デビットカードではなくクレジットカードを使いたい場合、楽天銀行のキャッシュカードと一体型のものも存在するのでこれを使うのもいいかもしれない。

また、ほとんどの銀行においてクレジットカードのような審査がないという点も大きなメリットの一つだと思う。収入が少ない学生や定職についてない人などは審査がないことは大きなメリットのはず。

なぜ楽天銀行なの？

楽天ポイントがつく。そして獲得したポイントをデビットカードでの支払いに使うことができる
もともと楽天カードを使っていた
ATM引き出しの手数料や振込手数料が無料になる条件が三菱UFJに比べると緩い
- 楽天銀行の場合: 給与振り込み口座にするとそれだけで他行への振込手数料が3回無料になる
- 預ける資産が300万円以上でATM利用手数料7回無料、他行振込手数料が3回無料になる。
- 三菱UFJの場合は、預ける資産が500万円以上ではないとATM手数料や振込手数料が無料にならない
(これは楽天銀行だけではなくネット銀行のメリットだけど)印鑑とか紙の通帳から開放されたかった

実際どうなのか？

良いところ

クレジットカードだと明細に残るまでに数日から数週間のタイムラグがあるが、デビットカードだとそれがないのがやっぱりいい
あとは楽天ポイントをデビットカード利用時に使えること。

不便なところ

デビットカードで決済すると、リアルタイムに自分の銀行口座から引き落としされるんだけど、明細には「どの店で利用したか」という情報が残らないっぽい。なので、マネーフォワードと連携していても「この5000円何に使ったんだっけ？」というのがわかりづらい。
マネーフォーワードと連携する場合、クレカであれば単純に支出が記録されるだけだが、銀行口座の連携の場合は他の口座への振替や現金引き出しも連携されてデータが残ってしまうので、マネーフォーワードで都度計算対象から外すのが面倒

というのが感じているところ。まぁ我慢できる範囲かなと思ってこの2つに関しては諦めている。

さいごに

メガバンクは早く淘汰されてほしいので、ネット銀行に移行しよう(煽り)

学校では教えてくれない大切なこと3お金のこと

作者: 旺文社,関和之
出版社/メーカー: 旺文社
発売日: 2015/07/17
メディア: 単行本（ソフトカバー）
この商品を含むブログを見る

クライアントを作って理解するOAuth2(実装編)

Tue, 12 Feb 2019 09:00:00 +0900

はじめに

クライアントを作って理解するOAuth2(準備編) - oinume journalの続編。前の記事ではGoogle APIsのプロジェクトを作成してOAuth2 clientを登録した。この記事では発行されたClient idを使って実際にAccess tokenを取得する部分をGoで実装してみたいと思う。

ソースコードは GitHub - oinume/go-oauth2-client-sample: OAuth2 client sample in Go にあり、OAuthの実装はserver.goにまとまっている。main関数はcmd/oauth2-client-sample/main.goにあるが、これはサーバーの起動処理があるだけの薄いものである。サーバーの起動方法などについてはGitHubのREADMEを見てほしい。

前提

OAuth2のGrant typeはAuthorization code grantを使用する
Webブラウザを使用する

Webブラウザを使うことに関しては特に疑問はないと思うが、Authorization code grantって何？というのを説明しておく。

これはEnd userから認可を得て、Access tokenを取得するための手法の一つ。Authorization codeというトークンをAuthorization server(今回だとGoogleの認可サーバー)から取得して、そのAuthorization codeとAccess tokenを交換する。なお、Authorization code grantを使用すると、Access token以外にもRefresh tokenも取得ができる。このgrant typeはConfidential clientから実行されることを想定している。Confidential clientについては次に説明する。

Public clientとConfidential client

OAuth2.0の仕様にその定義が書いてあるが以下のようになっている。(RFCの日本語訳より抜粋)

コンフィデンシャル (confidential): クレデンシャルの機密性を維持することができるクライアント (例えば, クライアントクレデンシャルへのアクセスが制限されたセキュアサーバー上に実装されたクライアント), または他の手段を使用したセキュアなクライアント認証ができるクライアント.
パブリック (public): (例えば, インストールされたネイティブアプリケーションやブラウザベースのWebアプリケーションなど, リソースオーナーのデバイス上で実行されるクライアントのように) クライアントクレデンシャルの機密性を維持することができず, かつ他の手段を使用したセキュアなクライアント認証もできないクライアント.

今回はGoで実装されたサーバーからGoogleのAuthorization serverに対して通信するため、コンフィデンシャルクライアントになる。

Access tokenを取得するまでの流れ

End userがSign in with Googleボタンをクリックし、Clientのサーバーにリクエストが送信される
Clientが認可リクエストを認可サーバーに送信する
認可サーバーが認可画面のHTMLをレスポンスで返す
Webブラウザで認可画面を表示
End userが認可を行い、認可サーバにリクエストが送信される
認可サーバが認可コードを生成し、ClientのサーバーにRedirectする
Clientのサーバーがstateをチェックし、認可コードからトークンリクエストを認可サーバーに送信する
認可サーバーが認可コードをチェックしてAccess tokenを生成する
認可サーバーからClientのサーバーにリダイレクトしてAccess tokenをClientに返す
ClientはAccess tokenを取得する

ソースコードベースでの説明

ソースコードの詳細な説明に入る前に全体の構成を説明する。今回作るAuth2 Clientのサーバーは以下のendpointを持っている。これらのendpointはソースコード上ではserver.goに定義されている。今回は説明のしやすさのためGoのOAuth2ライブラリであるgolang.org/x/oauth2は使用せず独自で実装している。

/: Sign in with Googleボタンを表示するためのHTMLを返す
/oauth2/authorize: Sign in with GoogleボタンがクリックされるとこのURLが呼び出される。この処理の中でAuthorization serverへリダイレクトし、Authorization requestを送る。
/oauth2/callback: Authorization serverからリダイレクトで呼び出される。Authorization codeを受け取るので、それをもとにToken requestを送ってAccess tokenを取得する
/static: Sign in with Googleボタンのイメージの静的リソースを返す

それではendpointごとに詳細に説明していくとしよう。/ と /static は特に難しいところはないので省略する。

/oauth2/authorize

以下がこのendpointに対するメソッドで、おおまかに説明すると以下のような流れになっている。

まずgenerateStateでstateを生成する
createAuthorizationRequestURLでURLを生成する。このURLにはAuthorization requestに必要なquery stringなどが含まれている。
stateをCookieにセットする
- これはあとで検証に使用するため。stateの検証がなぜ必要かはOAuth 2.0のRFCを参照
- 日本語だとOAuth 2.0のstateとredirect_uriとOpenID ConnectのnonceとID Tokenについて - r-weblifeが詳しい
Authorization server(Google)にリダイレクトする

func (s *server) authorize(w http.ResponseWriter, r *http.Request) {
    state, err := generateState()
    if err != nil {
        s.writeError(w, http.StatusInternalServerError, err)
        return
    }
    u, err := s.createAuthorizationRequestURL(redirectURI, scopes, state)
    if err != nil {
        s.writeError(w, http.StatusInternalServerError, err)
        return
    }
    log.Printf("authorization request url = %v\n", u)

    // Set state to cookie
    cookie := &http.Cookie{
        Name:     stateCookieName,
        Value:    state,
        Path:     "/",
        Expires:  time.Now().Add(10 * time.Minute),
        HttpOnly: true,
    }
    http.SetCookie(w, cookie)

    // Send authorization request by redirection
    http.Redirect(w, r, u.String(), http.StatusFound)
}

createAuthorizationRequestURLが重要なので、次にこのメソッドを詳細に説明する。

func (s *server) createAuthorizationRequestURL(
    redirectURI string,
    scopes []string,
    state string,
) (*url.URL, error) {
    u, err := url.Parse(authorizationEndpoint)
    if err != nil {
        return nil, err
    }

    q := u.Query()
    q.Set("response_type", "code")
    q.Set("client_id", s.clientID)
    if redirectURI != "" {
        q.Set("redirect_uri", redirectURI)
    }
    if len(scopes) > 0 {
        q.Set("scope", strings.Join(scopes, " "))
    }
    q.Set("state", state)
    q.Set("prompt", "consent")
    u.RawQuery = q.Encode()

    return u, nil
}

このメソッドは引数にredirectURI, scopes, stateを受け取る。redirectURIおよびscopesは動的に生成されるものではないのでハードコードしてもよいが、再利用性を考慮してメソッド外部から渡せるようにしている。

このメソッドでは

authorizationEndpointからurl.URLを生成する
必要なパラメータをquery stringとしてセットする
uにquery stringをURL encodeしてセットする
生成したAuthorization requestのURLであるuを返す

という処理を行っている。必要なパラメータについてはOAuth2.0の仕様に定義されているが、簡単に説明すると以下である。

response_type: Authorization code grantのためcodeを指定
client_id: Googleから発行されたClient id
redirect_uri: Googleに登録したRedirect URI
scope
- email: Googleアカウントのメールアドレスを参照できる権限
- https://www.googleapis.com/auth/gmail.readonly: Gmailの情報を参照できる権限
state: 先に生成したランダム文字列
prompt: 今回は認可画面を必ず表示するためにconsentを指定しているが、なくても良い。

話をもとに戻して、createAuthorizationRequestURLで生成されたURLに対してHTTPリダイレクトを行い、GoogleのAuthorization serverにAuthorization requestを送るのがこのメソッドで行っている全てである。

認可画面の表示

Authorization requestが成功すると、Authorization serverから認可画面のHTMLがレスポンスとして返ってくるので、Webブラウザはそれを表示する。Googleの場合だと以下のような画面になる。(Googleにログインしていない場合は、認可画面の前にログイン画面が表示される)

認可画面で表示されている内容は、gmail-fetcherというClient(3rd party application)が、表示されているGoogleアカウントのメールメッセージと設定の表示(scope)を行うことを許可するかどうかを確認するというものだ。ここで許可するというボタンをクリックすると、gmail-fetcherというClientに対してアクセスする許可を与えたので、Access tokenが発行されることになる。

/oauth2/callback

End userが認可画面で許可するボタンをクリックすると、Authorization serverからこのendpointにリダイレクトでコールバックされる。メソッドのコードは以下。

func (s *server) callback(w http.ResponseWriter, r *http.Request) {
    log.Printf("callback: state=%v, code=%v", r.FormValue("state"), r.FormValue("code"))

    if e := r.FormValue("error"); e != "" {
        // Should handler error correctly as described in https://tools.ietf.org/html/rfc6749#section-4.2.2.1
        s.writeError(w, http.StatusBadRequest, fmt.Errorf("error returned in authorization: %v", e))
        return
    }
    if err := validateState(r); err != nil {
        s.writeError(w, http.StatusBadRequest, err)
        return
    }
    code := r.FormValue("code")
    if code == "" {
        s.writeError(w, http.StatusBadRequest, fmt.Errorf("code is required"))
        return
    }

    ctx, cancel := context.WithTimeout(context.Background(), 10*time.Second)
    defer cancel()
    token, err := s.exchange(ctx, code)
    if err != nil {
        s.writeError(w, http.StatusInternalServerError, err)
        return
    }

    w.WriteHeader(http.StatusOK)
    fmt.Fprintf(w, "accessToken = %v", token.AccessToken)
    // save token to database or do something
}

やっていることとしては以下になる。OAuth2.0の仕様としてはAuthorization Responseに記載されている。

errorが渡って来ているかどうかをチェック
- 今回の実装では、errorがある場合は400エラーを返すようにしているが、本来であればこれはエラーの種類に応じて適切なエラー画面を表示するのが正しい実装だと思う。エラーの種類に関してもOAuth2.0の仕様に定義されている。
checkStateを呼び出して、Cookieに保存したstateとcallbackのパラメータで来たstateが一致しているかをチェック
- なぜこのようなチェックをしているかは長くなるので別の記事で説明する予定
codeが渡って来ているかをチェック
exchangeを呼び出してcodeからAccess tokenを取得
Access tokenをレスポンスとして返す
- Webブラウザに取得したAccess tokenが表示される
- ちゃんと実装するなら、Access tokenをDBに保存したりするはず

exchangeメソッドについては長くなるので次で詳細に説明する。

exchangeメソッド

これはAuthorization codeからAccess tokenを取得するメソッドである。Access Token Requestに仕様が書かれている。

リクエストに必要なquery stringをセットする
Authorization serverがクライアント認証を行うため、Client idとClient secretをセットする
Token endpointにHTTPリクエストを送る
返ってきたHTTPレスポンスを受け取って内容をパースし、Access tokenなどを得る
Webブラウザで表示するためにAccess tokenをレスポンスにセット

ということがやっていることだ。query stringにセットしているパラメータはそれぞれ以下になる。

grant_type: Authorization code grantなのでauthorization_codeをセット
code: Authorization codeをセット
redirect_uri: Authorization requestで使ったredirect_uriと同じものをセット
client_id: Client idをセット

また、仕様には以下のように書かれているので、Client credentialsとしてreq.SetBasicAuthでClient idとClient secretをセットしている。

The authorization server MUST:

o require client authentication for confidential clients or for any client that was issued client credentials (or with other authentication requirements),

o authenticate the client if client authentication is included,

func (s *server) exchange(ctx context.Context, code string) (*tokenEntity, error) {
    v := url.Values{
        "grant_type":   {"authorization_code"},
        "code":         {code},
        "redirect_uri": {redirectURI},
        "client_id":    {s.clientID},
    }
    req, err := http.NewRequest("POST", tokenEndpoint, strings.NewReader(v.Encode()))
    if err != nil {
        return nil, err
    }
    req.Header.Set("Content-Type", "application/x-www-form-urlencoded")
    // Client authentication: https://tools.ietf.org/html/rfc6749#section-4.1.3
    req.SetBasicAuth(url.QueryEscape(s.clientID), url.QueryEscape(s.clientSecret))

    // Send token request
    resp, err := http.DefaultClient.Do(req.WithContext(ctx))
    if err != nil {
        return nil, err
    }
    defer resp.Body.Close()

    body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        return nil, fmt.Errorf("oauth2: cannot fetch token: %v", err)
    }
    if code := resp.StatusCode; code < 200 || code > 299 {
        // Should handler error correctly as described in https://tools.ietf.org/html/rfc6749#section-5.2
        log.Printf("token request failed: statusCode=%v, body=%v\n", code, string(body))
        return nil, fmt.Errorf("oauth2: token request failed: statusCode=%v", code)
    }

    // Create tokenEntity from response
    var token *tokenEntity
    contentType, _, err := mime.ParseMediaType(resp.Header.Get("Content-Type"))
    if err != nil {
        return nil, fmt.Errorf("oauth2: failed to parse Content-Type header: %v", err)
    }
    if contentType != "application/json" {
        return nil, fmt.Errorf("oauth2: invalid Content-Type in response: %v", contentType)
    }
    token = &tokenEntity{}
    if err = json.Unmarshal(body, token); err != nil {
        return nil, err
    }
    if token.ExpiresIn != 0 {
        token.expiry = time.Now().Add(time.Duration(token.ExpiresIn) * time.Second)
    }

    return token, nil
}

なお、Access tokenには有効期限があり、あとどのぐらいで有効期限が切れるのか？がレスポンスのexpires_inというフィールドにセットされている。通常であればAccess tokenをDBに保存すると同時にこの有効期限も保存しておき、有効期限が切れたらRefresh tokenを使ってAccess tokenをリフレッシュするという処理が必要になる。

まとめ

細かいところは飛ばしつつも、Authorization code grantによるAccess tokenの発行まで、ライブラリを使わずに一通り実装してみた。ところどころにOAuth2.0のRFCへのリンクを入れたので、適宜参照してもらうと仕様の理解が深まるのではないかと思う。自分で実装していて思ったのは、「エラーハンドリングとか細かいところは面倒なポイントがあるけど、全体的にOAuth2.0のClientの実装って簡単じゃん！」ということ。OAuthって聞くとなんか大変そうなイメージがあったけど自分的には攻略できた感じ。この記事が仕事で外部サービスとの連携でクライアントとか認可サーバーの実装しなくてはいけない人たちの役にたてば嬉しいです。

OAuth徹底入門

作者: Justin Richer,Antonio Sanso
出版社/メーカー: 翔泳社
発売日: 2019/02/16
メディア: Kindle版
この商品を含むブログを見る

2019年01月の振り返り

Mon, 11 Feb 2019 13:19:51 +0900

アウトプット

OAuth 2.0について以下の記事を書いた。少しかじった程度だけど、その知識をアウトプットした感じ。

journal.lampetty.net

英語

Daily Tech News Showをほぼ毎日聞いている
- 1エピソードが5分以内なので聞きやすい。長い英語のpodcastは途中で集中が切れてしまうと離脱してしまうけど、5分なら集中できる
- また、テック業界のニュースが多いので基本的な文脈はわかっているため内容も理解しやすい
- これを聞いていて思ったのは、日本に流れてこないニュースが意外とあるのだということ。なんとなく得した気分になる
DMM英会話で、Daily Newsだけではなく文法をやり始めた。難易度が高い方から逆順にやっているのだけど、意外と忘れていることが多いので良い。
6月にIELTSの試験を受ける予定

アルゴリズム

本は読んでいるけど特にアウトプットはなし。

アルゴリズムイントロダクション第3版総合版：世界標準MIT教科書

作者: Thomas H. Cormen,Clifford Stein,Ronald L. Rivest,Charles E. Leiserson
出版社/メーカー: 近代科学社
発売日: 2018/01/09
メディア: Kindle版
この商品を含むブログ (4件) を見る

睡眠時間

今年に入ってからなるべく早くベッドに入るようにしていい感じのペースができている。1月の平均だと5時間59分だった。6時間以上寝た次の日は頭がちゃんと働いているのがよい。

仕事

チームが変わってそのチームにさらにインターナショナルなメンバーが増えて、英語を使うことがさらに多くなった。

インド
台湾
中国
ノルウェー
日本

というめちゃくちゃ多国籍なチームになっている。隣に座っている人はノルウェーの人は日本語もけっこう得意なんだけど、彼と話す時はだいたい英語。Slackも3分の1ぐらいは英語になっている気がする。意外なのは、英語を覚えても日本語自体の語彙や会話力は衰えていなさそうなので、これは良いことだ。

2月重点的に頑張ること

アルゴリズム
Spannerの勉強

クライアントを作って理解するOAuth2(準備編)

Wed, 16 Jan 2019 09:00:00 +0900

はじめに

GoogleやFacebookなどの外部サービスのAPIを利用する上で欠かせないのがOAuth2という仕様なんだけど、この仕様だけ読んでいてもつまらないしよーわからんので、実際に手を動かしてみて理解を深めよう、というのがこの記事の趣旨です。実際にはOAuth2素人が少し仕事でかじった知識をアウトプットしたものです。

OAuthとは

エンドユーザーのデータを3rd party applicationに渡すための仕組み。日本語だとこのページの説明が一番わかりやすい。

qiita.com

OAuth 2.0自体のRFCの仕様は以下にある。

必要なもの

Googleアカウント。GCPプロジェクトを作成するために必要
Go runtime(optional)

準備

今回はOAuth 2.0のAuthorization Code grantというGrant typeを使って認可を行う
この記事で作成するGmail Fetcherというものを3rd party applicationとしてGoogleに登録し、Access tokenを取得してGoogleのAPIを呼び出す

そのためには以下の手順でGoogleにアプリケーションを登録する必要がある。まずはGCPのConsoleからプロジェクトを作成する。詳細は以下の動画を見てほしい。

youtu.be

プロジェクト名はoinume-gmail-fetcherにする。ただ、他の人がプロジェクトを作る場合、oinumeは自分のアカウント名とか適当な文字列にしておく。でないと重複して作れないので。
次に、左上のメニューからAPIs & Servicesを選んで、APIs & Servicesのページを開き、ENABLE APIS AND SERVICES のボタンをクリックする。
そうするとAPIの一覧の画面に行くので、スクロールしてGmailのAPIを探してクリックする。
そしてENABLEボタンをクリックしてGmailのAPIを有効にする。
次にCredentialsの画面を開き、CREATE CREDENTIALSのボタンをクリックする。
フォームが出てくるので以下のように入力し、What credentials do I need?ボタンをクリックする。
- Which API are you using?: Gmail API
- Where will you be calling the API from: Web server
- What data will you be accessing?: User data

上の手続きを行ってClient idの発行が終わったら準備は完了。長くなるので、実際にOAuth2のフローの説明については次の記事で説明する。

用語の説明

ClientというのはGoogleで登録するあなたの3rd party applicationのこと。今回はgoogle profile getterというアプリケーションを作ってみるとする。

Resource owner or End user

エンドユーザー。Resource serverにデータ(リソース)を預けている。

Client

3rd party applicationのこと。今回だとgmail-fetcherのことを指す。End userからの認可を得てResource serverのデータにアクセスするアプリケーションのこと。

Resource server

End userのリソースを保持するサーバー。今回だとGoogleがこれに該当する。

Authorization server

End userからの認可を得てAccess tokenを生成するもの。日本語では認可サーバーと呼ばれる。

Client id

ClientのID

Client secret

Clientごとに発行される秘密鍵のようなもの。access tokenを取得する際に使用する。これが漏洩すると自分のアプリケーションを詐称してEnd userのデータにアクセスできてしまうので、漏洩しないようにする。参考 - https://ja.stackoverflow.com/questions/26469/ - https://oauth.jp/blog/2012/08/03/re-oauth-20clientsecret/

End userに表示する認可画面のこと。

Authorized redirect URIs

End userが認可画面でClientに認可をしたあとにコールバックされるURI

Scopes for Google APIs

End userがClientに対して認可を求めるスコープ。権限ともいう。例えばGmailのAPIを使ってメール送信したい場合は、メール送信をするためのscopeを要求する必要がある。

Access token

ClientからResource server(今回だとGoogle)のAPIを呼び出すためのトークン文字列。

次回作

1月中にはアップすると思うので乞うご期待。

OAuth徹底入門セキュアな認可システムを適用するための原則と実践

作者: Justin Richer,Antonio Sanso,Inc. Authlete,須田智之
出版社/メーカー: 翔泳社
発売日: 2019/01/30
メディア: 単行本（ソフトカバー）
この商品を含むブログを見る

2019年の抱負

Sat, 12 Jan 2019 09:30:00 +0900

もう10日以上経ってしまったけど2019年の抱負。

大方針：アウトプット

今年のテーマは アウトプット を第一にする。昨年は本を読んだりUdemyでいろいろ勉強していたけど、雑でもいいからアウトプットすることで自分の血肉にしていきたいと思っている。

1日6時間以上寝る

よい自分はショートスリーパーなので、去年はだいたい1日5時間ぐらいしか寝ていない。ただ、これだと仕事でやる気が出なかったり、体調を崩したりする原因になるので、最低でも6時間は寝るようにする。朝はだいたい6:30には起きるので、0時にはベッドに入るようにする。

アルゴリズムもっと勉強する

とりあえずこの辺。

BTree
Graph
オートマトン

暗号技術を勉強する

暗号技術に対する理解が圧倒的に低いため、アルゴリズムを終えたら以下の本を読んでしっかり勉強する。

暗号技術入門第3版

作者: 結城浩
出版社/メーカー: SBクリエイティブ
発売日: 2015/08/26
メディア: 単行本
この商品を含むブログ (19件) を見る

業務で必要なものを身につける

gRPC
Cloud Spanner
Cloud PubSub
SQLを復習する

英語を再開する

惰性でDMM英会話を続けているけど、まだまだ文法も表現力も少ないのでちゃんと自分の今の状態をmeasurableにしてステップアップして行きたい。そのためにIELTSを今年は受ける。目標としては6.5以上を目指したい。なぜTOEICではなくIELTSかというと、海外の大学の入学基準だったり、例えばカナダだとVISAの条件になっていて、TOEICより圧倒的に汎用性が高いため。

ブログ

ちゃんとした記事を月に1つは書く！

2018年の振り返り

Sat, 05 Jan 2019 09:00:00 +0900

あけましておめでとうございます。年末年始は親戚とハワイで過ごしていました。冬なのに海に入るという謎の体験をして、正月感はまったくなかったけどこれはこれで新鮮でした。

謹賀新年🎍 pic.twitter.com/kRXTEbvBCC

— oinume (@oinume) January 2, 2019

仕事

年始からチームを異動してPlatform開発の仕事をしていた。あまり具体的なことは言えないけど、メルカリのmicroservice化を進めるにあたり重要なコンポーネントの開発・運用をやっていた。自分にはこういうPlatformや基盤のようなものは向いていないかなと思っていたけど、やっていくうちにそれなりに知識がついてきて意外と楽しくなってきたのと、チームメンバーにも恵まれて自分の意見を臆せずバンバン言える雰囲気で良かったと思う。

2019年からはそんなチームを離れて、エンドユーザーに近い機能開発をしていく予定。

上海出張

無人コンビニ pic.twitter.com/IK65DB6KBj

— oinume (@oinume) March 18, 2018

無人カラオケボックス pic.twitter.com/L3jcGAkVk3

— oinume (@oinume) March 18, 2018

マグレブ殿〜 pic.twitter.com/IGaSWLMiTX

— oinume (@oinume) March 18, 2018

gophercon.vn

pic.twitter.com/jUd0wTX34y

— oinume (@oinume) December 8, 2018

配布されたmerari.goのステッカーを胸につけてる人を何人か見つけて嬉しい😃

— oinume (@oinume) December 8, 2018

ホーチミンに高島屋があって、地下の食料品売り場には日本の食べ物がたくさん。ここなら日本食恋しくなることなさそう。そして出前一丁懐かしいw pic.twitter.com/zpcIRhZZDS

— oinume (@oinume) December 9, 2018

年初の抱負に対する実績

今年は3ヶ月ごとに必ず振り返りをするということを行ったおかげでまったく目標が達成できない、ということはなかったように思う。ただ、やりたいことに対して圧倒的に時間が足りないというのは例年と変わらずで、2019年はやりたいことをもっと絞らないと駄目だと思っている。

アルゴリズム

ハッシュテーブルを実装した
文字列検索でブルートフォースを実装した
文字列検索でBoyer Moore法を実装した
2分探索木を実装した
B木を実装中

ブロックチェーン

機械学習をやめて途中からブロックチェーンを学ぼうと思ったけど、途中からやる気がなくなりあまり進捗が良くなかった

lekcijeに課金機能をつける

途中からGKEに移行することを優先したので進捗がほぼない。

書いたブログ

2018年の前半はわりとブログを書く余裕があったのだけど、後半になって仕事が忙しくなってきてからはあまり書けていない。自分の学んだことをアウトプットしないとどんどん忘れてしまうので書きたいとは思いつつも後回しになってしまっていてこれは良くないなと思う。来年は月に1本ぐらいはちゃんとした内容のものを書きたい。

oinume journal

macOSで日本語／英語入力の切り替えを改善

はてなブログから移行

なんで移行したの？

なんでHugo?

なんでFirebase Hosting?

記事の移行

移行手順

Hugoで足りない機能

最後に

Appendix

はてなブログの記事をHugoのMarkdown形式に変換するスクリプト

iOSのショートカットで朝ごはんの内容を音声でメモアプリに記録する

完成したショートカットのイメージ

ショートカットの設定手順

ショートカットの起動

実際使ってみて

Bashの起動を高速化した

パフォーマンスの可視化

高速化

まとめ

mineoに乗り換えて1年経った

mineoに切り替えた理由

自分のユースケース

mineoにしてどうだったか

というわけで

Claude Codeの設定の差分を吸収するsettings.jsonの管理方法

背景

まとめ

Apple Developer Programに加入せずにReact Native(expo)でiOSアプリを実機にインストール

必要なもの

手順

2026年1月時点での作業環境

マシン＆OS

アプリ

メモアプリ

Hot Key

2025年の振り返りと2026年

音楽

放送大学

YouTube

ベース

仕事

2026年に向けて

2025年振り返り(ライブ編)

Claude Code GitHub Actionsでモデルを指定する

放送大学入学後に知った制度

0. 全ての授業の動画が見れる

1. 大学のメールがGmail

2. 単位を落としても次の半期に無料で再試験が受けられる

3. 再入学時に以前に履修した単位を引き継げる

最後に

ghコマンドでよく使ってるヤツ

gh pr view -w

gh pr checks --watch

gh pr checkout

gh pr create

fzf との組み合わせ

Claude Code

複数のプロダクトのリポジトリをMonorepoに移行する

RaycastのScript Commandsを試してみた

Script Commandsとは？

なにを作るか？

Script Commandsの登録方法

作成したScript Commandを呼び出す

最後に一言

GraphQL Codegenで自動生成されたファイルでNamed export 'gql' not foundのビルドエラーを回避する

PostgreSQL + HasuraでUUID v7を生成できるようにする

IntelliJ IDEAでよく使うショートカットキーをVSCodeでも使えるようにする

1. IntelliJ IDEAでよく使っている機能とショートカットキーを調べる

2. VSCode側の機能名を調べる

3. VSCodeのKeybindingを変更する

Cursorで開いているファイルをIntelliJ IDEAで開く

2024年の振り返りと2025年

ライブ

仕事

その他

2025年に向けて

2024年に買ってよかったもの

[ニューバランス] インソール サポーティブリバウンドインソール

[ニューバランス] インソールサポーティブリバウンドインソール

タニタ体重計体組成計スマホ連動 50g単位バックライト BC-332L WH ホワイト