[Ruby]シングルクォートをエスケープ

Rubyで正規表現を使ってシングルクォートをエスケープしようとした。

------------------------------
str = "I'm lovin' it"

str.gsub!(/'/, "\\'")

puts str
------------------------------

そしたらなぜかこうなった
(実行結果)
^^^^^^^^^^^^^^^^^^^^^
Im lovin' itm lovin it it
^^^^^^^^^^^^^^^^^^^^^


なぜだ・・・。意味が分からなすぎる。

いろいろ調べたけどどうしてそうなるのか分からなかった（笑）

で、結局違うやり方で

--------------------------------
str = "I'm lovin' it"

str.gsub!(/'/) do |m|
'\\' + m
end

puts str
--------------------------------

こうやったら

^^^^^^^^^^^^^^^^^^^^^^^
I\'m lovin\' it
^^^^^^^^^^^^^^^^^^^^^^^

ちゃんとできた。これで出来るならまぁいいか（妥協）




ちなみになぜシングルクォートをエスケープしたいかというと

RubyからMySQLにデータを入れるときにテキストでシングルクォートを入れたいから。

RubyでMySQLにアクセス

いやぁ大変だった。何も知らない状態から調べつつやるのって大変ね


無駄な手順があるかと思うけど踏んだ手順を全部書く


1, Ruby-1.9じゃだめと言われたからRuby-1.8を入れなおす

2, MySQL4.1を入れる

3, gem install mysqlでMySQL/Rubyを入れる

4, zlib.dllがないと言われるのでとって来たzlib.dllをruby/binに入れる

5, 以下のコードを動かしてみる

-------------------------------------------------------------------------------------
require 'rubygems'
require "mysql"

host = 'localhost'
user = 'root'
pass = 'rootpass'
dbname = 'test_ruby'

db = Mysql::connect(host, user, pass, dbname)

rs = db.query('select * from test_table')

rs.each do |item|
puts item[0]
end
--------------------------------------------------------------------------------------

6, 動いた！感涙・・・。





これ読んでも何も分からんね、また後で書き直そう

Twitter crawler with ruby 3

ライブラリを使わないでTwitter APIを使ってみた。

（ＪＳＯＮパーサは使ってるけど）

--------------------------------------------------------------------------------
require 'net/http'
require 'json'

request = Net::HTTP::Get.new('/search.json?q=hoge&rpp=2')
http = Net::HTTP.start('search.twitter.com')
response = http.request(request)
puts JSON.parse(response.body)
---------------------------------------------------------------------------------

＞request = Net::HTTP::Get.new('/search.json?q=hoge&rpp=2')
はjson形式で結果を取得、文字列hogeを含む最新の発言を最大２件取得するという意味。


＞response = http.request(request)
で、responseにはjson形式の文字列が返される


＞puts JSON.parse(response.body)
response.bodyは、responseから#<net::httpok:0xc5f9e0>部分を取ったもの。
それをパースしてHash型で返す。


json形式の文字列がどんなものかは

http://apiwiki.twitter.com/Twitter-Search-API-Method%3A-search

のJSON exampleを見ればＯＫ！

Twitter crawler with ruby 2

前回悩んでたサンプルコードが動く動かないの違いが分かった。

単純すぎて恥ずかしいけど（笑）。

どうやら使ってるライブラリが違うらしい。

twitter apiをrubyで使えるライブラリは３つくらいあるらしく、自分が使ってたのは

john nunemakerによるライブラリ　http://twitter.rubyforge.org　だった。



これからはこれとは違うライブラリ、twitter4r　http://twitter4r.rubyforge.org/　を使っていこうと思う。

インストールの仕方は例のごとくちゃちゃっとググレで（笑）。



研究の関係で検索機能を実装したいんだけど、twitter4rのドキュメント　http://twitter4r.rubyforge.org/rdoc/　を読んでもsearch系のメソッドがない・・・。

んで、探しに探してようやく見つけたsearch。

-------------------------------------------------------------------------------------
require 'rubygems'
require 'twitter'

client = Twitter::Client.new
puts client.search(:q => 'hogehoge', :rpp => 10)
-------------------------------------------------------------------------------------

このコードで文字列hogehogeを含む最新のつぶやきを最大１０件取得できる。

また

-------------------------------------------------------------------------------------
require 'rubygems'
require 'twitter'

client = Twitter::Client.new
puts client.search(:from => 'yuto_ymgc', :rpp => 10)
-------------------------------------------------------------------------------------

で、yuto_ymgcが発した最新のつぶやきを最大１０件取得できる。



ここで問題発生

yuto_ymgcが発したつぶやきの中で、文字列hogeを含むものを取得したいとき

--------------------------------------------------
client.search(:from => 'yuto_ymgc', :q => 'hoge')
--------------------------------------------------

としても何も返ってこない。

対応してないのかな。不便！

Twitter crawler with ruby

まずはRubyGemsのインストールとtwitterライブラリのインストール。

（やり方はちゃちゃっとググってください）

まぁたぶんここまでは簡単にできるんだけど

そこら辺に落ちてるサンプルコードを動かそうと思って

----------------------------------------------
require 'rubygems'
require 'twitter'

twit = Twitter::Base.new("mail", "pass")
twit.update('hooooo')
----------------------------------------------

ってやっても動かない。

なにやらBaseのinitializeは引数を二つじゃなく一つだけとるらしい。

でもこのタイプのコードでみんな動いてるらしいんだよなぁ・・・。なんでだろ


そんでいろいろ探してたら別のタイプのサンプルコード発見

----------------------------------------------------------------------------------------
require 'rubygems'
require 'twitter'

httpauth = Twitter::HTTPAuth.new('mail', 'pass')
twit = Twitter::Base.new(httpauth)

twit.update('hoooooo')
----------------------------------------------------------------------------------------

これだと動く（やったね）

理由はおいおい確認していくとして、とりあえず今回はAPIつかってtwitterに投稿できたってことでOK！

tf-idf

tf-idfについて頭に入れたから一度アウトプットしてみる。


tf-idfとは、文書中から特徴語を抽出するためのアルゴリズムである。

文書dに含まれるある語tに対応するtf-idf値が大きければ大きいほど、tはdの特徴をより表している語である。

tf-idfは、tf(term frequency)とidf(inverse document frequency)によって構成される。

tfは、文書中の単語の出現頻度を表す。当然、文書中によく現れる単語は文書の特徴を表すと言える。

idfは、その語がどれだけ多くの文書に含まれているかを表す。これは、多くの文書中に表れる単語はある一つの文書の特徴語にはなりえないと言う事を表す(a, the等)。

文書d中によく出現し、なおかつその他の文書にはあまり出現しない単語ｔは、tf-idfによってdの特徴語として抽出される。



具体的な計算法などは他のページを参照してほしい。

http://ja.wikipedia.org/wiki/Tf-idf
http://d.hatena.ne.jp/deepfolte/20080421/1208786699
http://chalow.net/2005-10-12-1.html

[cakephp]findメモ

findAllは非推奨になったため、find('all')を使う。

(古)
$this->model->findAll($conditions);
(新)
$this->model->find('all', array('conditions' => $conditions));


conditionsに複数条件を指定するとデフォルトではAND検索になる。

$conditions = array('title' => 'hoge', 'author' => 'piyo');
以下のようになる。
(title = 'hoge')AND(author = 'piyo')

OR検索をするときは次のように指定する。
$conditions = array('or' => array('title' => 'hoge', 'author' => 'piyo'));
以下のようになる。
(title = 'hoge')OR(author = 'piyo')

IN検索
$conditions = array('model.id' => array(1, 3, 5, 6));
$this->model->find('all', array('conditions' => $conditions));

こうするとmodel.idが１か３か５か６であるデータが取れる
*idは属性名が重複するのでmodel.idのようにテーブル名を付ける。

[オセロプログラム]一応完成

研究室の課題で作ってたオセロを一応完成とした。というかこれ以上の改善は自分には無理（笑）。


-実装した機能

--探索
コンピュータが次の手を捜すとき、まずは登録してある定石集から探す。具体的には現在の局面をキーとして定石集を線形探索、見つけた手の中から評価値がもっとも大きいものを次の手とする。

定石が見つからなかった場合、現在の手数によって中盤探索か終盤探索を行う。

---中盤探索
あらかじめ決めた深さｎによって、ｎ手読みをする。リーフノードの近くでは単純なアルファ・ベータ探索（実際にはネガアルファ探索）を行う。それ以外では、move orderingをし、置換表を用いたネガスカウト探索を行う。

----move ordering（中盤）
中盤探索では、一手読みをし、その評価値によって手をソートする。

----置換表を用いたネガスカウト探索
まず置換表を参照し、現在の局面が登録されているか探す。発見した場合は次の手、評価値を返す（一意に決まらない場合もある）。
発見できなかった場合は、ネガスカウト探索を行う。最探索をする場合も置換表があることによって、探索にかかる時間を短縮できる。

---終盤探索
手数があらかじめ決めた値に達したら終盤探索を行う。最後まで読みきり、石差を評価値として返す。中盤探索と同様にリーフノードの近くでは単純なアルファ・ベータ探索（ネガアルファ探索）を行う。それ以外ではmove orderingをし、置換表を用いたネガスカウト探索を行う。

----move ordering（終盤）
開放度によってソートする。開放度が等しい場合は一手読みをし、その評価値によってソートする。


--学習
強化学習（教師なし学習）を行う。プログラムが自分自身と対局し、その勝敗によって対局中に現れた局面を評価する。評価値はパターンによる評価値を用いる。局面を評価するとは、正確には全てのパターンの重みを学習するということ。
ちなみに定石は手動登録。



とまぁこんな感じで完成。本当はMPCとか実装したかったけど、自分には難しすぎて理解できませんでした。

研究室内オセロ大会に向けて目下強化学習中！！










-関連語句

アルファ・ベータ(α-β)探索
ネガアルファ探索
null window search
move ordering
開放度(mobility)
強化学習