2012-07-25

Cygwin で Python 3.2.3 をビルドする

Python Python3 Cygwin

Python 3.2.3 がリリースされたので Cygwin でビルドしてみました．

前回は Python 3.2.2 だったのと，curses や sqlite3 といったモジュールのビルドはできていなかったので，今回はこれらのモジュールのビルドまでやってみました．

Cygwin パッケージのインストール

まず最初に Python のモジュールをビルドするのに必要なパッケージをインストールします．

自分が追加でインストールしたのはこの 5 つです．他にも必要なものがあるかもしれません．

libsqlite3-devel
libcurses-devel
openssl-devel
libgdbm-devel
readline

ソースの修正

そのままビルドすると libpython3.2m.dll.a を make するビルドターゲットがないと言われるので，パッチを当てます．

パッチは gist においたのでそれを当ててください．

% patch -p0 < Python-3.2.3_cygwin_build.patch

このパッチは curses, sqlite3 モジュールをビルドするのに必要な修正も入っています．

ビルド

最後ににビルドとインストールをします．

% ./configure
% make
% make install

2012-04-23

IPython を設定してみた

Python 開発環境

IPython が Python 3.1 以降に対応していたのでインストールと設定をしてみた．

やったのは

インストール．
プロンプトの設定．
ipython 起動時に実行されるスクリプトの設定．

インストール

IPython は pip でインストールした．

% pip-3.2 install ipython
% pip-3.2 install readline

readline を入れていなかったせいでプロンプトが崩れていたので readline を追加でインストールした．

Windows の場合は readline ではなくて pyreadline をインストールするみたい．

IPython の設定 - profile の作成

IPython の設定は profile という形でディレクトリ単位で管理されてる．
コマンドで profile を作ることができるので，とりあえずコマンドで作る．

% ipython3 profile create

とやると ~/.config/ipython/profile_default/ が作られる．
この場所が気に入らない場合は ~/.ipython/profile_default/ であれば特別な設定をしなくても読み込まれる．

IPython の設定 - プロンプトの設定

IPython のプロンプトは profile のディレクトリにある ipython_config.py に記述できた．
肝心のプロンプトの設定はこんな感じ．以外にも改行が使えてハッピー．

# Input prompt.  '\#' will be transformed to the prompt number
c.PromptManager.in_template = '{color.LightBlue}\\w\n{color.LightCyan}>>> '

一行目にカレントワーキングディレクトリのフルパス，二行目に ">>> " を表示するようにした．
バックスラッシュのあとに文字を指定するとその文字に従った内容に展開される．
IPython のドキュメントには書いてないっぽいので色々と試してみた．
だいたいこんな感じ．ドキュメントには載ってないので変更されるかもしれないから注意してね．

\h: hostname -s の結果
\H: hostname の結果
\t: 時間
\u: ユーザー名
\w: カレントワーキングディレクトリのフルパス
\W: カレントワーキングディレクトリのディレクトリ名

IPython の設定 - スタートアップスクリプト

Python Shell で言うところの ${PYTHONSTARTUP}．

IPython では profile のディレクトリにある startup ディレクトリに .py か .ipy ファイルを置くと読み込まれる．

今のところよく使うモジュールがインポートされてれば十分なので import しか書いてない．

import sys
import os
import io
import itertools
import functools
import re

おわりに

IPython の設定ファイルの形式が変わったらしいけど，新しい方式について書かれた記事が少なかったのでまとめてみた．

実際の内容は github にあるのでそちらを見てください．

https://github.com/kei10in/initial_files

2011-09-13

Cygwin で Python 3.2 をビルドする

Python Cygwin

次のように普通にビルドしようとしても libpython3.2m.dll.a をビルドする make ターゲットがないと言われてビルドエラーになります．

% ./configure
% make

libpython3.2m.dll.a の "m" は ABI フラグと呼ばれるもので "m" は PyMalloc を有効にしているときに付与されます．
詳しくは PEP 3149 -- ABI version tagged .so files を見れば，たぶん載っているんじゃないかと思います．

PyMalloc を無効にしてビルドする．

PyMallco によって付与される ABI フラグが原因なので，次のように PyMalloc を無効にしてやればビルドができます．

% ./configure --without-pymalloc
% make

PyMalloc を有効にしてビルドする．

PyMallco を無効にすればビルドできるのですが，PyMalloc を有効にしてままビルドしたいのが人情というものです．
ということでパッチを作ってみました．

The patch for building Python-3.2.2 on cygwin environment. — Gist

Python-3.2.2 のソースにこのパッチを当てれば PyMalloc を有効にしたまま Cygwin でビルドができるはずです．

2011-02-19

Mac での Python 開発環境のつくり方

Mac Python

Python 2.7 + pip + virtualenv + virtualenvwrapper で Python の開発環境を構築します．

Python 2.7 のインストール

まずは何はなくとも Python 入れないとだめだよねーっていうことで Python 2.7 をインストールします．

ここでは Python 2.7 をインストールしていますが，2.5 や 2.6 がいい場合はバージョン番号を読み替えてください．

Python は MacPorts でインストールします．

# sudo port install python27

pip

pip とは

pip とは Python 用の CPAN である，PyPI からダウンロード，インストールを行うツールです．

以前は easy_install というものが使われていましたが、今後は pip になっていくようです．

pip のインストール

pip も MacPorts でインストールします．

# sudo port install py27-pip

pip がインストールできたので，今後は Python のパッケージのインストールには pip を使って行きます．

virtualenv, virtualenvwrapper

virtualenv, virtualenvwrapper とは

virtualenv, virtualenvwrapper, pip を使う方法 - Ian Lewis でも見てください．

virtualenv, virtualenvwrapper のインストール

virtualenv と virtualenvwrapper は pip でインストールします．

MacPorts の virtualenvwrapper はメンテナンスされていないのか，バージョンがとても古いので MacPorts は使いません．

# sudo pip install virtualenvwrapper

virutalenv は virtualenvwrapper に依存しているので，一緒にインストールされます．

おわりに

以上でインストールは完了です．

使い方などは Google で検索するなどして調べてみてください．

2010-10-22

MacPorts で virutalenv, virtualenvwrapper を導入

Python Mac

明日の Python 東海のハンズオンの準備のため，MacPorts で virtualenv, virutalwrapper を導入した．

http://groups.google.com/group/python-tokai/web/12

とりあえず port install．

% sudo port install virutalenv-2.6
% sudo port install virutalenvwrapper-2.6
% ln -s /opt/local/Library/Frameworks/Python.framework/Versions/2.6/bin/virtualenv /opt/local/bin/virtualenv
% ln -s /opt/local/Library/Frameworks/Python.framework/Versions/2.6/bin/virtualenvwrapper_bash /opt/local/bin/virtualenvwrapper_bash

virtualenvwrapper が virtualenv という名前のコマンドを要求するため，シンボリックリンクをつくる．
virutalenv-2.6 を入れるだけだと，/opt/local/bin/virutalenv-2.6 がつくられるだけみたい．
ついでに virtualenvwrapper_bash のシンボリックリンクもつくっておいた．

次に仮想環境を入れておくディレクトリをつくる．

% mkdir ~/.virtualenvs

最後に .zshrc なり .bashrc に以下のように追加．

## Python
# virtualenv
export WORKON_HOME=${HOME}/.virtualenvs
if VIRTUALENVWRAPPER=`which virtualenvwrapper_bashrc` ; then
	source ${VIRTUALENVWRAPPER}
fi

virtualenv の使い方は他のサイトにいっぱい載ってるのでそちらで．

2010-10-18

名古屋 Hackathon ラムダ村に参加してきました

Python

もう一週間以上も経ちますが，名古屋 Hackathon に参加してきました．

主催者の @mzp さんをはじめ他の参加者のみなさんのおかげでとても楽しい時間をすごせたことを感謝いたします．

さて，自分は @akineko さん，@kumagi さん，@terurou さんとともに Python 組で参加してきました．

やろうとしたこと

Python 組では Python 3.1 を使って twitter クライアントの作成に挑戦しました．

Python 3.1 には，twitter ライブラリも OAuth ライブラリもないようなので，そこから作成しました．

はまったこと

Python 3.1 でやってく上ではまったことは，str と bytes の扱いです．

OAuth では HMAC や base64 を使うのですが，Python 2 と Python 3 とでは引数や返り値が違うという問題にはまりました．

Python 3 では str が Unicode 文字列になってかなりハッピーなのですが，bytes が関係するところではかえって面倒なことになってます．

できたこと

結局，OAuth でアクセストークンを取得するところまでしかできませんでした．

成果物は https://bitbucket.org/kei10in/pytter/:title= にあるので興味のある方はご覧ください．

今もちょいちょい触ってます．

その後

名古屋 Hackathon 後 @terurou さんが https://bitbucket.org/terurou/oauth-python3:title= に update と home_timeline ができるものを公開してくださっています．

感想

はじめての Hackathon への参加ですがとても楽しい時間を過ごすことができました．

せっかく多くの技術者が集まっているので，次回があればコードレビューとかもやってみたいです．

2010-07-20

TDD Boot Camp 名古屋 1 日目でやったことを Python で復習するその 2

Python Programming TDD

今日は TDD Boot Camp 名古屋 1 日目のペアプロ体験の後半でやった仕様変更の復習をするよ！

前回のものに仕様変更を加えていく．

仕様変更 1

一度にいっぱい set できる set_multi と一度にいっぱい get できる get_multi を実装する仕様変更．

正確仕様はちょっとうろ覚えだけど，だいたいこんな感じの仕様．

>>> store = FileStore()
>>> store.set_multi({'foo': 'hoge', '': 'toto', 'bar': 'fuga'})
>>> store.dump()
'foo:hoge\nbar:'fuga\n'
>>> store.get_multi(['bar', 'foo', None])
['fuga', 'foo']

まず `set_multi` のテストから

class TestFileStore(unittest.TestCase):

    def setUp(self):
        self.store = FileStore()
        self.store.set('foo', 'hoge')

    def test_set_multi(self):
        self.assertEqual(self.sotre.dump(),
                         'foo:hoge\nbar:fuga\nbuzz:piyo\n')

assert から書くのを忘れない(*'ω')b

次に，この assert が成功する用に set_multi する．

class TestFileStore(unittest.TestCase):

    def setUp(self):
        self.store = FileStore()
        self.store.set('foo', 'hoge')

    def test_set_multi(self):
        self.store.set_multi({'bar': 'fuga', 'buzz':'piyo'})
        self.assertEqual(self.store.dump(),
                         'foo:hoge\nbar:fuga\nbuzz:piyo\n')

ここまでできたら set_multi を実装する．

`set_multi` の実装

テストができたから set_multi を実装する．

明白な実装なのでそのまま実装しちゃう．

実装はこんな感じ

class FileStore(object):

    def __init__(self):
        self._store = OrderedDict()

    def set(self, key, value):
        if key is None or key is '':
            return
        if key in self._store:
            self._store.pop(key)
        self._store[key] = value

    def set_multi(self, pairs):
        for k, v in pairs.items():
            self.set(k, v)

    ...

テストもばっちり成功!!

`get_multi` のテストと実装

set_multi と同様に get_multi も行います．

1. テスト作成
2. テスト失敗
3. 実装
4. テスト成功

は変わりません．

うんで，出来上がるテストと実装はこんな感じ．

class FileStore(object):

    ...

    def get(self, key):
        return self._store.get(key, None)

    def get_multi(self, keys):
        return [self.get(k) for k in keys if k in self._store]
        
    ...


import unittest

class TestFileStore(unittest.TestCase):

    def setUp(self):
        self.store = FileStore()
        self.store.set('foo', 'hoge')

    ...

    def test_get_multi(self):
        self.store.set_multi({'bar': 'fuga', 'buzz':'piyo'})
        self.assertEqual(
            self.store.get_multi(['buzz', 'toto', '', 'bar']),
            ['piyo', 'fuga'])

set_multi も get_multi も既存のメソッドに影響を与えないので，わりと簡単に追加できた．

次の仕様変更はちょっと大変だよ!

仕様変更 2

メインディッシュきた!

次の仕様変更はこんな感じ．

>>> store = FileStore()
>>> store.set('foo', '${now}') # 現在時刻が登録される
>>> store.get('foo')
2010-07-16T21:57:48

テストがかけない．

残念ながらこのままじゃテストを書けない (>_<)

現在時刻とかをテストで扱うのはぶっちゃけ無理．

テストが書けない場合，テストができない原因になっているところだけ取り出して，それ以外のところでテストすればいいと思う．

なので開き直って現在時刻をテストするのはしない．

ここではテストするのは set が "${now}" を何かしら展開しよするかどうかをテストする．

そんなテストはこんな感じに書いた．

class FakeExpander(object):
    def expand(self, value):
        if value == '${now}':
            return '%s is expanded' % value
        return value


class TestFileStore(unittest.TestCase):

    def setUp(self):
        self.store = FileStore()
        self.store.set('foo', 'hoge')

    def test_set(self):
        fake_expander = FakeExpander()
        self.store.set_expander(self.fake_expander)
        self.store.set('bar', '${now}')
        self.assertEqual(self.store.dump(), 'foo:hoge\nbar:${now} is expanded\n')

    ...

このテストがクリアされるように set を修正し，こっそり増えた set_expander を追加する．

class Expander(object):
    def expand(self, value):
        if value == '${now}':
            return datetime.now().strftime('%Y-%m-%d %H:%M:%S')
        return value

class FileStore(object):

    def __init__(self):
        self._store = OrderedDict()
        self._expander = Expander()

    def set_expander(self, expander):
        self._expander = expander

    def expand(self, value):
        return self._expander.expand(value)

    def set(self, key, value):
        if key is None or key is '':
            return
        if key in self._store:
            self._store.pop(key)
        self._store[key] = self.expand(value)

    ...

さらにこっそり，expand も追加されてるけど気にしない．
というのも set_expander にしろ，expand にしろそこに不安はないのでテストはない．

もう一点，Expander っていうクラスを追加した．

ここがまさにテストの出来ない部分で，ここについてのテストは書かないことにした．

テストが出来ない部分はテストが必要ないくらい単純なものにしてやれば，開き直ってテストなしでいいと思う．

さらに Expander クラスを導入したことで，"${now}" 以外に "${name}" とか増やしたくなった場合でも，FileStore にテストを追加する必要はなくて，Expander の方をごにょごにょしてやればよくなってます．

まとめ

TDD Boot Camp 名古屋の 1 日目でやったことの復習をした．

とりあえず，仕様変更 2 までやった．

仕様変更 3 (データの生存期間指定機能の追加) は力尽きたので省略しちゃう (ごめんなさい (>_<) )

仕様変更 3 も仕様変更 2 のときと同じように，テストができない部分は最小化してモックオブジェクトとか作ってテストすればいいと思う．

仕様変更 3 の場合だったら，CachedFileStore クラスを導入してデータの保持とかは FileStore に委譲．
CachedFileStore はデータの生存，消滅の管理やらせて，消滅させるかどうかの判断だけを行うクラスを導入．

仕様変更 3 でテストできないのが時間関連の判断だけなので，そこをちっちゃいクラスに閉じ込めてしまえば他の部分は全部テストできるようになるっていう思惑．

責任の分割，超大切．

TDD では，とにかくテストから書く．

テストの中では assert から書く．

普通のプログラムはメソッドの上から書くけど，テストプログラムはメソッドの下から書く．

テストもメンテナンスする．

最期に最終的なコードを．

#!/usr/bin/env python3
# -*- utf-8 -*-

from datetime import datetime
from collections import OrderedDict

class Expander(object):
    def expand(self, value):
        if value == '${now}':
            return datetime.now().strftime('%Y-%m-%d %H:%M:%S')
        return value

    
class FileStore(object):

    def __init__(self):
        self._store = OrderedDict()
        self._expander = Expander()

    def set_expander(self, expander):
        self._expander = expander

    def expand(self, value):
        return self._expander.expand(value)

    def set(self, key, value):
        if key is None or key is '':
            return
        if key in self._store:
            self._store.pop(key)
        self._store[key] = self.expand(value)

    def set_multi(self, pairs):
        for k, v in pairs.items():
            self.set(k, v)

    def get(self, key):
        return self._store.get(key, None)

    def get_multi(self, keys):
        return [self.get(k) for k in keys if k in self._store]
        
    def dump(self):
        return '\n'.join(
            [':'.join([k, v]) for k, v in self._store.items()]) + '\n'



import unittest


class FakeExpander(object):
    def expand(self, value):
        if value == '${now}':
            return '%s is expanded' % value
        return value


class TestFileStore(unittest.TestCase):

    def setUp(self):
        self.store = FileStore()
        self.store.set('foo', 'hoge')

    def test_set(self):
        fake_expander = FakeExpander()
        self.store.set_expander(fake_expander)
        self.store.set('bar', '${now}')
        self.assertEqual(self.store.dump(),
                         'foo:hoge\nbar:${now} is expanded\n')

    def test_get1(self):
        self.assertEqual(self.store.get('foo'), 'hoge')

    def test_get_miss_hit(self):
        self.assertEqual(self.store.get('toto'), None)

    def test_set_invalid_key1(self):
        self.store.set('bar', 'fuga')
        self.store.set(None, 'momo')
        self.assertEqual(self.store.dump(), 'foo:hoge\nbar:fuga\n')

    def test_set_invalid_key2(self):
        self.store.set('bar', 'fuga')
        self.store.set('', 'momo')
        self.assertEqual(self.store.dump(), 'foo:hoge\nbar:fuga\n')

    def test_set_overwrite(self):
        self.store.set('bar', 'fuga')
        self.store.set('foo', 'buzz')
        self.assertEqual(self.store.dump(), 'bar:fuga\nfoo:buzz\n')

    def test_dump1(self):
        self.assertEqual(self.store.dump(), 'foo:hoge\n')

    def test_dump3(self):
        self.store.set('bar', 'fuga')
        self.assertEqual(self.store.dump(), 'foo:hoge\nbar:fuga\n')
        
    def test_set_multi(self):
        self.store.set_multi({'bar': 'fuga', 'buzz':'piyo'})
        self.assertEqual(self.store.dump(),
                         'foo:hoge\nbar:fuga\nbuzz:piyo\n')

    def test_get_multi(self):
        self.store.set_multi({'bar': 'fuga', 'buzz':'piyo'})
        self.assertEqual(
            self.store.get_multi(['buzz', 'toto', '', 'bar']),
            ['piyo', 'fuga'])


if __name__ == '__main__':
    unittest.main()

Cygwin パッケージのインストール

ソースの修正

ビルド

インストール

IPython の設定 - profile の作成

IPython の設定 - プロンプトの設定

IPython の設定 - スタートアップ スクリプト

おわりに

PyMalloc を無効にしてビルドする．

PyMalloc を有効にしてビルドする．

Python 2.7 のインストール

pip

pip とは

pip のインストール

virtualenv, virtualenvwrapper

virtualenv, virtualenvwrapper とは

virtualenv, virtualenvwrapper のインストール

おわりに

やろうとしたこと

はまったこと

できたこと

その後

感想

仕様変更 1

まず set_multi のテストから

set_multi の実装

get_multi のテストと実装

仕様変更 2

テストがかけない．

まとめ

IPython の設定 - スタートアップスクリプト

まず `set_multi` のテストから

`set_multi` の実装

`get_multi` のテストと実装