Tsubatoの発信記録

主に機械学習やデータサイエンス関連で学んだことを書いています。

Python

読書記録 Optunaによるブラックボックス最適化

記事の概要 機械学習モデルのハイパーパラメータサーチによく用いられるOptunaに関する本を読みましたので、学んだことをまとめます。 Optunaによるブラックボックス最適化作者:佐野正太郎,秋葉拓哉,今村秀明,太田健,水野尚人,柳瀬利彦オーム社Amazon 本から…

onnxファイルからパラメータ(weight, bias)を抽出する

やりたいこと ニューラルネットワークの表現形式の一つであるonnxファイルからパラメータを取り出したい。 PyTorchなどのフレームワークで一旦読み込んでからパラメータを取り出すこともできるかと思いますが、onnxだけで完結する方法を共有します。 実装 サ…

google colabのTPUをPyTorchで使う

問題 google colabのTPUをPytorchで使いたい。 ググって出てくるセットアップをするとエラーが出る。 # !pip install cloud-tpu-client==0.10 https://storage.googleapis.com/tpu-pytorch/wheels/torch_xla-1.9-cp37-cp37m-linux_x86_64.whl ERROR: torch_x…

pytestでテスト入力をテスト関数間で共有する

0. この投稿の概要 1. 実装例 テスト対象のクラス パターン1: 1つのテスト関数で複数の関数をテストする。 パターン2: parametrizeのindirectを使う。 パターン3: getfixturevalueを使う。 0. この投稿の概要 クラスメソッドをテストする時に、同じ入力を異…

(AWS CDK)LambdaのLayerでコードを再利用する

0. この投稿の概要 1. Layerとは? 2. CDKによるdeploy 3. 結果 4. 参考 0. この投稿の概要 AWS Lambdaの異なるFunction間でコードを再利用をするための仕組みであるLayerをAWS CDKでdeployします。 元となるLambda Functionは以前の投稿で実装した図書館ア…

図書館APIで新刊の入荷をいち早く知る(AWS CDKで実装)

0. 簡単なまとめ 1. やりたいこと 2. 実現方法 3. 仕様と実装 4. 使い方 5. 参考 0. 簡単なまとめ 図書館に自分が読みたい新刊が入荷された時に通知するシステムをAWSに実装。 コードは下記のリンク参照。AWSのCDKを使ったのでコードを動かすだけで簡単に同…