コンピュータ将棋や囲碁の掲示板 過去ログ2017年版


Masterの正体はAlphaGo 山下 2017年 1月 5日(木)01時14分50秒
Re: Masterの正体はAlphaGo tss 2017年 1月 5日(木)15時08分12秒
Re: Masterの正体はAlphaGo 山下 2017年 1月 6日(金)23時27分54秒
(無題) ykk 2017年 1月 7日(土)18時56分35秒
(無題) ykk 2017年 1月 7日(土)19時02分48秒
CGOS が止まってる? gg 2017年 1月16日(月)13時14分21秒
Re: CGOS が止まってる? 山下 2017年 1月16日(月)17時18分7秒
ディープラーニングとは? みかん 2017年 1月20日(金)09時16分15秒
PolicyNetwork zakki 2017年 2月 1日(水)21時14分1秒
Re: PolicyNetwork 山下 2017年 2月 1日(水)22時48分1秒
Re: PolicyNetwork zakki 2017年 2月 1日(水)23時30分22秒
Rn3.6 nn 2017年 2月 2日(木)00時14分29秒
Re: Rn3.6 zakki 2017年 2月 2日(木)08時16分34秒
ワールド碁チャンピオンシップ gg 2017年 2月15日(水)17時31分47秒
Leela 0.9.0 gg 2017年 2月20日(月)07時15分1秒
cgos hung? gg 2017年 3月 1日(水)07時23分46秒
Re: cgos hung? 山下 2017年 3月 1日(水)14時20分20秒
Value Netのloss 山下 2017年 3月12日(日)19時47分34秒
Re: Value Netのloss gg 2017年 3月12日(日)20時31分27秒
Re: Value Netのloss 山下 2017年 3月13日(月)00時51分39秒
さくらインターネットのTITAN X Pascal x4 山下 2017年 3月14日(火)21時08分34秒
Re: Value Netのloss gg 2017年 3月14日(火)22時39分45秒
Re: さくらインターネットのTITAN X Pasc... gg 2017年 3月14日(火)22時45分45秒
Re: さくらインターネットのTITAN X Pasc... 山下 2017年 3月15日(水)00時39分28秒
Re: Value Netのloss 山下 2017年 3月15日(水)00時46分33秒
Re: Value Netのloss gg 2017年 3月16日(木)04時00分11秒
Re: Value Netのloss 山下 2017年 3月16日(木)17時08分23秒
ValueNetの評価にはある程度の探索数が必... 山下 2017年 3月16日(木)17時33分47秒
Re: ValueNetの評価にはある程度の探索数... gg 2017年 3月16日(木)19時36分15秒
Re: Value Netのloss gg 2017年 3月16日(木)20時14分25秒
Re: ValueNetの評価にはある程度の探索数... zakki 2017年 3月16日(木)22時38分7秒
Re: Value Netのloss 山下 2017年 3月17日(金)01時18分14秒
Re: ValueNetの評価にはある程度の探索数... 山下 2017年 3月17日(金)01時23分31秒
UEC杯が中央日報の記事に 山下 2017年 3月17日(金)02時37分10秒
Re: ValueNetの評価にはある程度の探索数... gg 2017年 3月17日(金)10時58分21秒
cgos 接続 nlp 2017年 3月20日(月)07時35分59秒
Re: cgos 接続 山下 2017年 3月20日(月)07時47分54秒
Re: cgos 接続 山下 2017年 3月20日(月)08時03分53秒
Re: cgos 接続 nlp 2017年 3月20日(月)08時11分31秒
Re: cgos 接続 nlp 2017年 3月21日(火)05時39分51秒
Re: cgos 接続 山下 2017年 3月21日(火)19時40分35秒
CGOSの棋譜を再生可能に 山下 2017年 3月22日(水)04時47分30秒
DeepZenGoのレーティング推定 山下 2017年 3月24日(金)02時25分58秒
Re: DeepZenGoのレーティング推定 gg 2017年 3月25日(土)20時37分0秒
ネットワーク構造 zakki 2017年 3月28日(火)23時32分20秒
Re: ネットワーク構造 山下 2017年 3月29日(水)15時58分0秒
Re: ネットワーク構造 HiraBot 2017年 3月29日(水)18時24分35秒
CNCulture gg 2017年 3月30日(木)08時33分39秒
サンプルコードのコウの判定 ohto 2017年 4月 2日(日)23時52分55秒
Re: サンプルコードのコウの判定 山下 2017年 4月 3日(月)00時18分54秒
Re: Re: サンプルコードのコウの判定 ohto 2017年 4月 3日(月)13時23分43秒
Ayaの自己対戦棋譜 山下 2017年 4月 5日(水)22時33分37秒
Re: Ayaの自己対戦棋譜 gg 2017年 4月 7日(金)06時19分37秒
Re: Ayaの自己対戦棋譜 masatsune 2017年 4月 7日(金)12時31分46秒
Re: Ayaの自己対戦棋譜 山下 2017年 4月 7日(金)17時10分59秒
Re: Ayaの自己対戦棋譜 山下 2017年 4月 7日(金)17時12分49秒
Re: Ayaの自己対戦棋譜 masatsune 2017年 4月 7日(金)20時24分41秒
第27回世界コンピュータ将棋選手権 osera 2017年 4月 8日(土)17時44分8秒
Re: 第27回世界コンピュータ将棋選手権 山下 2017年 4月 8日(土)20時41分15秒
Re: Ayaの自己対戦棋譜 HiraBot 2017年 4月 9日(日)16時13分5秒
Re: Ayaの自己対戦棋譜 山下 2017年 4月 9日(日)17時37分11秒
Re: Ayaの自己対戦棋譜 HiraBot 2017年 4月 9日(日)20時16分12秒
Re: Ayaの自己対戦棋譜 HiraBot 2017年 4月11日(火)15時55分23秒
Re: PolicyNetwork gg 2017年 4月12日(水)11時19分3秒
Re: ニューラルネットワークへの入力 gg 2017年 4月13日(木)07時17分10秒
「脊尾詰」が復活! osera 2017年 4月16日(日)07時35分45秒
Re: 「脊尾詰」が復活! 山下 2017年 4月16日(日)20時22分19秒
平塚の囲碁六段+ 公開 HiraBot 2017年 4月24日(月)19時38分44秒
tygem 9d 棋譜 HiraBot 2017年 5月 2日(火)01時14分16秒
Re: tygem 9d 棋譜 山下 2017年 5月 2日(火)15時54分50秒
Re: tygem 9d 棋譜 HiraBot 2017年 5月 3日(水)13時06分14秒
CSA選手権の順位の推移 山下 2017年 5月 5日(金)22時52分10秒
5月23日〜27日にAlphaGoがカケツと対戦 山下 2017年 5月 9日(火)18時16分57秒
PolicyNetの9路や13路への流用の方法 Hattori 2017年 5月12日(金)00時19分52秒
Re: PolicyNetの9路や13路への流用の方法 山下 2017年 5月12日(金)08時20分28秒
Re: PolicyNetの9路や13路への流用の方法 Hattori 2017年 5月13日(土)12時07分52秒
Re: 5月23日〜27日にAlphaGoがカケツと対戦 山下 2017年 5月16日(火)13時24分35秒
Weight deacyを最後にちょっとだけかける... 山下 2017年 5月18日(木)23時19分15秒
minimax 探索囲碁プログラム HiraBot 2017年 5月19日(金)14時09分35秒
Re: minimax 探索囲碁プログラム 山下 2017年 5月19日(金)17時04分41秒
Re: 5月23日〜27日にAlphaGoがカケツと対戦 山下 2017年 5月20日(土)11時17分25秒
第2期電王戦 二番勝負 第2局 佐藤天彦叡王... 山下 2017年 5月20日(土)12時09分30秒
AlphaGoがカケツの第1局 山下 2017年 5月23日(火)12時43分48秒
AlphaGoとカケツの第2局 山下 2017年 5月25日(木)12時14分50秒
AlphaGo同士の最新の対局棋譜が新たに公開 ykk 2017年 5月27日(土)23時19分11秒
RE:AlphaGo同士の最新の対局棋譜が新たに... masatsune 2017年 5月29日(月)10時40分59秒
『コンピュータ将棋のアルゴリズム』のバグ MZ-SOFT(木口小平) 2017年 5月29日(月)17時57分54秒
第一生命の将棋のCM 山下 2017年 6月 1日(木)23時12分19秒
東大入試問題にAlphaGoが出題 山下 2017年 6月15日(木)01時43分15秒
カスパロフvs DeeoBlue masatsune 2017年 6月18日(日)12時12分53秒
LC フィルター周波数特性計算 HiraBot 2017年 6月28日(水)15時48分14秒
藤井聡太4段の29連勝のレーティング 山下 2017年 7月 2日(日)11時36分16秒
ybot lost by illegal gg 2017年 7月17日(月)17時05分52秒
CGOS 19x19 stop gg 2017年 7月19日(水)14時31分18秒
Re: CGOS 19x19 stop 山下 2017年 7月19日(水)19時50分19秒
13路のHiratuka13x13_10k 山下 2017年 7月23日(日)18時32分8秒
Re: 13路のHiratuka13x13_10k HiraBot 2017年 7月25日(火)08時26分10秒
Re: 13路のHiratuka13x13_10k 山下 2017年 7月25日(火)22時32分27秒
Re: CGOS 19x19 stop 山下 2017年 8月 4日(金)22時10分20秒
Re: CGOS 19x19 stop 山下 2017年 8月11日(金)17時06分1秒
Zenが中国の大会でCGI、FineArtを破って優勝 山下 2017年 8月17日(木)18時16分1秒
ICBM3 on CGOS19 gg 2017年 8月21日(月)14時09分25秒
CGOS Bot Operators Community 山下 2017年 9月 3日(日)23時37分16秒
CGOSのサーバを修正 山下 2017年 9月14日(木)03時08分16秒
AQが公開されました gg 2017年 9月18日(月)01時24分1秒
Re: AQが公開されました 山下 2017年 9月18日(月)11時24分46秒
AlphaGo Zero 荒木(ark) 2017年10月19日(木)07時40分16秒
Re: AlphaGo Zero 山下 2017年10月19日(木)07時44分48秒
Re: AlphaGo Zero 山下 2017年10月19日(木)08時22分17秒
Re: AlphaGo Zero 山下 2017年10月19日(木)09時41分3秒
Re: AlphaGo Zero 山下 2017年10月19日(木)12時28分42秒
Re: AlphaGo Zero nn 2017年10月20日(金)14時15分3秒
Re: AlphaGo Zero gg 2017年10月22日(日)10時27分42秒
Re: AlphaGo Zero nn 2017年10月22日(日)17時51分27秒
CGOSの再起動 山下 2017年10月23日(月)08時08分15秒
数学セミナーにPonanza Chainerの記事 山下 2017年10月25日(水)00時53分30秒
Re: AlphaGo Zero gg 2017年10月25日(水)01時35分11秒
Re: 数学セミナーにPonanza Chainerの記事 gg 2017年10月25日(水)01時38分19秒
Re: AlphaGo Zero nn 2017年10月25日(水)06時13分16秒
Re: AlphaGo Zero gg 2017年10月25日(水)11時55分4秒
Re: AlphaGo Zero nn 2017年10月25日(水)16時47分56秒
数学セミナーの千田6段の記事 山下 2017年10月26日(木)03時12分6秒
Re: AlphaGo Zero zakki 2017年10月26日(木)12時16分59秒
Re:数学セミナーの千田6段の記事 都万 2017年10月27日(金)05時35分34秒
Amazon EC2 P3 Instances 山下 2017年10月27日(金)08時20分1秒
AI 竜星戦2017 山下 2017年10月27日(金)20時18分59秒
Re: AlphaGo Zero gg 2017年10月28日(土)01時05分29秒
最後のKGS月例botトーナメント gg 2017年11月 5日(日)09時18分2秒
AI竜聖戦の〆切 gg 2017年11月18日(土)10時16分23秒
Re: AlphaGo Zero tss 2017年11月19日(日)08時54分21秒
Re: AlphaGo Zero gg 2017年11月20日(月)12時11分36秒
適切なコミ HiraBot 2017年11月20日(月)12時54分22秒
Re: 適切なコミ gg 2017年11月20日(月)19時54分41秒
Re: 適切なコミ HiraBot 2017年11月21日(火)00時24分1秒
5路から9路のコミ予測 山下 2017年11月21日(火)01時35分26秒
Re: 適切なコミ gg 2017年11月21日(火)13時06分10秒
Re: 適切なコミ HiraBot 2017年11月21日(火)14時02分30秒
Mastering Chess and Shogi by Self-Play... 山下 2017年12月 6日(水)13時46分6秒
Re:Mastering Chess and Shogi by Self-P... tss 2017年12月 6日(水)18時57分58秒
Re:Mastering Chess and Shogi by Self-P... gg 2017年12月 7日(木)17時42分58秒
OpenBLAS を試す HiraBot 2017年12月10日(日)21時29分53秒
Amazon EC2 p3.2xlarge にcaffeをインスト... 山下 2017年12月11日(月)16時00分51秒
AI竜星戦2017雑感 山下 2017年12月11日(月)17時34分5秒
(無題) zakki 2017年12月12日(火)10時19分38秒
EC2のインスタンス制限解除 山下 2017年12月12日(火)17時07分27秒
Re: OpenBLAS を試す gg 2017年12月12日(火)17時49分12秒
Rollout は不要? gg 2017年12月12日(火)18時03分25秒
Re: Rollout は不要? gg 2017年12月12日(火)18時04分51秒
Re: Rollout は不要? 山下 2017年12月12日(火)20時42分37秒
Re: Rollout は不要? 山下 2017年12月12日(火)20時57分33秒
Re: EC2のインスタンス制限解除 zakki 2017年12月12日(火)21時11分29秒
Eigen を試す HiraBot 2017年12月12日(火)22時27分4秒
AlphaGoTeach おせら 2017年12月12日(火)23時38分39秒
Re: Eigen を試す HiraBot 2017年12月13日(水)08時33分15秒
Leela ZeroがCGOSで動いてるみたいですね 山下 2017年12月13日(水)18時30分33秒
Leela Zeroの伸びがすごいです 山下 2017年12月15日(金)16時52分28秒
Re: Leela Zeroの伸びがすごいです zakki 2017年12月15日(金)23時39分14秒
Re: Leela Zeroの伸びがすごいです 山下 2017年12月16日(土)00時39分3秒
Re: Rollout は不要? zakki 2017年12月19日(火)12時26分55秒
Re: Rollout は不要? gg 2017年12月21日(木)10時10分7秒
Leela Zeroは1日+40 Elo強くなってるみた... 山下 2017年12月23日(土)20時52分44秒
(無題) わからん 2017年12月24日(日)02時31分56秒
Re: ボナンザメソッドについて 山下 2017年12月25日(月)21時38分23秒
(無題) わからん 2017年12月27日(水)22時24分40秒




Masterの正体はAlphaGo  投稿者:山下 投稿日:2017年 1月 5日(木)01時14分50秒
Masterの正体はAlphaGoだったとのことです。

DeepMindのハサビスさんのツイッター
Excited to share an update on #AlphaGo!
https://twitter.com/demishassabis/status/816660463282954240

謎の囲碁棋士「Master」、中国・韓国1位の棋士にも勝利
http://headlines.yahoo.co.jp/hl?a=20170104-00000037-it_nlab-sci

井山さんをはじめ世界1位のカケツ、などほとんどの世界トップ棋士相手に
Tygemと野狐囲碁で60連勝(無敗!)してテスト終了とのことです。

60連勝だとどのくらいの強さかレーティングも分からないですね・・・。
仮に次に1敗したとして1位のカケツ相手に60勝1敗とすると700点ぐらい上なので
カケツが3600なので4300ぐらいでしょうか。



Re: Masterの正体はAlphaGo  投稿者:tss 投稿日:2017年 1月 5日(木)15時08分12秒
GodMovesもAlphaGoだったらそう公表するでしょうから、GodMovesは違うということなのでしょうか?



Re: Masterの正体はAlphaGo  投稿者:山下 投稿日:2017年 1月 6日(金)23時27分54秒
どうなんでしょう?
私はGodMovesは人間、もちですが。
しかしMaster(AlphaGo)が棋譜を60も残してくれたのはありがたいです。
棋譜の狙いとか解説などでしばらく楽しめそうな気がします。



(無題)  投稿者:ykk 投稿日:2017年 1月 7日(土)18時56分35秒
野狐から去った(中座した)日とKGSに現れた日を考えると
GodMoves=?? → 刑天 という説が有力ですね。
??を刑天に進化させるにあたり、自分よりやや力の弱いZEN19Lをからかったって感じかもしれません。 



(無題)  投稿者:ykk 投稿日:2017年 1月 7日(土)19時02分48秒
??の部分、文字化けしてしまいました。漢字表記では”絶芸”に訂正してください。



CGOS が止まってる?  投稿者:gg 投稿日:2017年 1月16日(月)13時14分21秒
CGOS が止まっているようです.



Re: CGOS が止まってる?  投稿者:山下 投稿日:2017年 1月16日(月)17時18分7秒
19路だけ止まっていました。
原因がよく分からないのですがとりあえず再起動して、ログを取っています。



ディープラーニングとは?  投稿者:みかん 投稿日:2017年 1月20日(金)09時16分15秒
ディープラーニングとは?

全力で人工知能に対決を挑んでみた (理論編)
http://www.nicovideo.jp/watch/sm30440714



PolicyNetwork  投稿者:zakki 投稿日:2017年 2月 1日(水)21時14分1秒
AlphaGo論文の記述やAyaでRAVEと併用するより一致率50%越えてくるとPolicyNetworkそのまま使ったほうがいいという話からRnでもそうしています。
ですがcgosで負けた棋譜みてると確率が0.01%くらいで読んでいなかった手を打たれて評価がガクッとさがったり
当然の応手が1%以下になっていて打たないケースがたまにあります。
ネットワークの入力や構造、学習する棋譜の選択などで何となるんでしょうか



Re: PolicyNetwork  投稿者:山下 投稿日:2017年 2月 1日(水)22時48分1秒
私は以前はPolicy Networkの値とMM法の値を掛け合わせる、RAVE上位の手を
追加していく、とやってましたが、今はPolicyだけにしています。
MM法(特徴が多い)はたまに愚形のダメを埋める手(攻め合いの手)とかを
見つけてくれるのですが、今では、そういう特徴もPolicyに追加すれば
いいだけ、と思ってます。
RAVE上位もたまに好手を見つけてくれますが、悪手が間違って選ばれる弊害の
方が大きいようで、自己対戦で負け越します。



Re: PolicyNetwork  投稿者:zakki 投稿日:2017年 2月 1日(水)23時30分22秒
すみません改めて見返していたらシチョウの判定だけ引き継いでいるつもりが
MM法が愚形と判断したケースまで評価を引き継いでしまってました。
思っていたのと逆でそのまま使っていない害かもしれず、修正して実験しなおします。



Rn3.6  投稿者:nn 投稿日:2017年 2月 2日(木)00時14分29秒
Zen12.0との対局でRn3.6の勝ちのようでしたが
相手がパスしたところRnが投了してしまったようです
http://www.yss-aya.com/cgos/19x19/SGF/2017/02/01/182281.sgf



Re: Rn3.6  投稿者:zakki 投稿日:2017年 2月 2日(木)08時16分34秒
8.5目くらい勝ってて勝率86%と判断したうえで、cgos用に死んだ石をとるのに単にPASSをしないようにしているせいでほぼ読んでない目を埋めて自爆する手が選ばれて投了してました



ワールド碁チャンピオンシップ  投稿者:gg 投稿日:2017年 2月15日(水)17時31分47秒
ワールド碁チャンピオンシップの公式ページができました.
http://worldgochampionship.net/



Leela 0.9.0  投稿者:gg 投稿日:2017年 2月20日(月)07時15分1秒
Leela 0.9.0 がリリースされました.8d on 19x19 だそうです.
https://sjeng.org/leela.html



cgos hung?  投稿者:gg 投稿日:2017年 3月 1日(水)07時23分46秒
cgos の 19x19 が止まってます



Re: cgos hung?  投稿者:山下 投稿日:2017年 3月 1日(水)14時20分20秒
落ちてはいなかったのですが対戦が組まれなくなってました。
再起動しておきました。



Value Netのloss  投稿者:山下 投稿日:2017年 3月12日(日)19時47分34秒
Ayaで最近試したのは学習局面を、1手から50手まで、51手から100手、101手から151手、151手から最後まで、
の4つに分けて、それだけで学習させたことです。
学習局面はAyaの1000playoutの自己対戦、188万局で、1棋譜から8局面取り出して1507万局面です。
(一部2000playoutの自己対戦も含む)

                 test loss   train loss
全部まとめて     0.369987    0.362295   (1000plyaoutの対局のみ)

1手から50手まで  0.488359    0.492356
51手から100手    0.442434    0.45532
101手から151手   0.333553    0.350568
151手から最後    0.189715    0.205173

すべて Filter 32、11層、5x5 x1, 3x3 x7, 1x1 x1, fc, fc(tanh) x1

自己対戦は投了したら終局、にしてるので平均手数は224手です。
学習開始直後のlossは 0.5 で「1手から50手まで」はほとんどlossが下がっていません。
はっきり言えるのは手数が短い局面ほどValueNetにとっては難しく、終局に近づくにつれて
簡単、な局面になっていく、ということです。
AlphaGoの論文のtest lossが 0.23 まで下がっているのは450手近くの「簡単」な局面も
たくさん含まれているためだと思います。

また、いきなり「1手から50手まで」を学習させようとしたところ、ネットの層を浅くしても
まったく学習が進んでくれず(0.5から下がらない)、仕方なく、学習済みの(全部まとめて)から
finetuningしました。
そのためか、train lossの方が全部大きい、と学習に失敗している感じがします。
強さは4つに分割してもほぼ同じ(勝率0.503)、と残念な結果でした。

下は縦軸がloss、横軸が手数のグラフです。棋譜はGoGoDから3779棋譜。

最初にKGS 4d以上の棋譜から作ったデータは全体の黒の勝率が0.40、と偏っていて、そのため
初期局面の星や小目の勝率も0.40程度と、明らかに間違った結果になります。
最近、白の勝ちを削って0.49程度の調整したものを作ったのですが、強さはほとんど同じでした。



Re: Value Netのloss  投稿者:gg 投稿日:2017年 3月12日(日)20時31分27秒
>AlphaGoの論文のtest lossが 0.23 まで下がっているのは450手近くの「簡単」な局面も
>たくさん含まれているためだと思います。
U が [1..450] の一様乱数なので,1/3 は 300手以上,投了しない設定でしょうから,
棋譜の 1/3 以上,恐らく 1/2 位は勝負が決まった局面でしょうから,やはり「簡単」です.

序盤の学習が大変なのは当然ですが,それが VN の価値なので,ひたすら学習させるしか
ありません.誤差の評価も(全体の平均ではなく)序盤の誤差を重視した方が良いと思います.

また,AlphaGo が VN の初期値を PN のコピーにしているのは,その学習方式故に VN は
非常に多くのローカルミニマムを持ち得るので,少しでも「囲碁的な」汎化を狙っていると思
われ,これが主に終盤に影響するのではないかと推定しています.



Re: Value Netのloss  投稿者:山下 投稿日:2017年 3月13日(月)00時51分39秒
気になるのは序盤の精度を上げるために、400手目以降の
簡単な局面が必要なのか?です。

AlphaGoの論文を見る限りは必要で、その理由を想像すると

1. 400手先の勝敗が決まっている局面と序盤の関係をCNNは見つけることができる。
2. 400手先の誤差が少ない局面から徐々に学習が進み、それが序盤にも伝播して序盤の精度がより上がる。

でしょうか。
ただ、私が13路で論文とほぼ同じ手法で実験した限りでは簡単な局面を
学習させても効果はありませんでした。
http://www.yss-aya.com/bbs_log/bbs2016.html#bbs287

単純に考えると実戦にも出てこない簡単な局面を学習させるのは
ネットの容量の無駄遣いにしかならないと思うのですが。



さくらインターネットのTITAN X Pascal x4  投稿者:山下 投稿日:2017年 3月14日(火)21時08分34秒
さくらインターネットの「高火力コンピューティング」の
TITAN X Pascal x4, Xeon E5-2623 v3 4Core x 2CPU のマシンを貸していただきました。
ベンチを取ってみたのですが速いですね。

                F32    F128    F256    MNIST
TITAN X Pascal 0.44ms  0.89ms  1.67ms   16秒   CUDA 8.0, cuDNN v5.1, Xeon E5-2623 v3 4Core x 2CPU
GTX 1080       0.48ms  1.45ms  2.38ms   17秒,  CUDA 8.0, cuDNN v5.0, Core i7 980X 3.3GHz 6core
GTX 1080       0.87ms  1.79ms  2.65ms   19秒,  CUDA 8.0, cuDNN v5.1, Core i7 980X 3.3GHz 6core
GTX 980        0.60ms  1.51ms  2.80ms   24秒,  CUDA 7.5, cuDNN v5.0, Xeon W3680   3.3GHz 6core
GTX 980        0.98ms  3.06ms  5.37ms   24秒,  CUDA 7.0, cuDNN v3.0, Xeon W3680   3.3GHz 6core
GRID K520      ------  5.0 ms 14.7 ms   44秒,  CUDA 7.0, cuDNN v3.0, Amazon EC2 g2.8xlarge, Xeon E5-2650 v2 2.60GHz
Tesla K80      1.66ms  3.68ms  7.25ms   33秒,  CUDA 7.5, cuDNN v5.1, Amazon EC2 p2.xlarge,  Xeon E5-2686 v4 2.30GHz

さくらインターネット、高火力コンピューティング
https://www.sakura.ad.jp/koukaryoku/

F32などの説明は下を。
「GTX 1080を買ってみました」
http://www.yss-aya.com/bbs_log/bbs2016.html#bbs278



Re: Value Netのloss  投稿者:gg 投稿日:2017年 3月14日(火)22時39分45秒
13路は(はっきりしたことは言えませんが)19路とかなり変わる可能性があります.
もっと極端に 9路で考えると,PN や VN の有効性はかなり下がるはずです.特に
AlphaGo の方法で VN を作ったら,勝ちの局面はほとんどなくなるでしょう.
あの手法は 19路の広さゆえの序盤の難しさがあって初めて成り立つものだと思います.



Re: さくらインターネットのTITAN X Pascal x4  投稿者:gg 投稿日:2017年 3月14日(火)22時45分45秒
月 10万ですか.24時間フルに使うなら,冷却も含めた電気代で
ペイする気もしますが,はて? #当方東電管内



Re: さくらインターネットのTITAN X Pascal x4  投稿者:山下 投稿日:2017年 3月15日(水)00時39分28秒
これは「無償トライアル」で一週間限定で使わせていただいています。



Re: Value Netのloss  投稿者:山下 投稿日:2017年 3月15日(水)00時46分33秒
>  9路で考えると,PN や VN の有効性はかなり下がるはずです.

たしかに盤が小さくなるほどPolicyNetやValueNetは効果が下がっていく感じはします。
特に9路だと読みを必要とする割合が高くなるので局面を見ただけの判断は
難しくなると思いますし。
ただ、19路でも読みが必要な局面で正解を当てますし、読みが必要な局面の配置をたくさん用意するだけの問題なのかもしれません。



Re: Value Netのloss  投稿者:gg 投稿日:2017年 3月16日(木)04時00分11秒
>19路でも読みが必要な局面で正解を当てますし
これが問題で...例えば一線のアプローチムーブで根元継ぎが必要な時にも
VN が正しい評価を返すかと言うと,かなり怪しい.PN の方は不可能ではない
と思いますが.VN を使うと実効分岐数が PN だけの時よりかなり減って読みが
深くなり,攻め合いや死活で正しく打つ確率は上がりますが,これは VNが正し
く学習していることを意味しません.VN は基本的に盤上に存在する,ある程度
ダメが空いた石は全て活きていると見做してスコアを計算しているらしく,大き
な中手や際どい攻め合いを常に正しく評価することはできないようです.
まぁ,自由度(=容量)が対象になる局面数と比べて十の数十乗のオーダーで足
りませんから,局面の細かな差を区別できないのは当たり前なのですが.



Re: Value Netのloss  投稿者:山下 投稿日:2017年 3月16日(木)17時08分23秒
> 一線のアプローチムーブで根元継ぎが必要な時にもVN が正しい評価を返すか

細かいケースは調べたことがないのですがそうなのですか。

> ある程度ダメが空いた石は全て活きていると見做してスコアを計算しているらしく

プロの棋譜や投了ありの自己対戦だと、大石が死ぬサンプルは少なくなりそうです。
ただ、AlphaGoのSL+RLだと結構出てきそうですが。

> 大きな中手や際どい攻め合いを常に正しく評価することはできないようです

ここ5年ぐらい、大中小中が実戦で生じた局面を見たことないような気がします。
プロの棋譜でも出現率は低いでしょうし、ソフトの自己対戦で仮に出てきても
その後を正しく打ち切れてるか疑問ではあります・・・。

ただ、そういったレアケースや一部の難しい攻め合いは分からなくてもRnやAyaはそこそこ
強くなってますし、ValueNetが得意?な「戦いが関係ない序盤の評価」の精度を上げるだけで
人間の領域は超えていくのかもしれません。

昔、playoutが3目中手も分かってないのに、2kぐらいの強さになったのをなんとなく思い出します。



ValueNetの評価にはある程度の探索数が必要?  投稿者:山下 投稿日:2017年 3月16日(木)17時33分47秒
今までValueNetの評価には1手500playout(RootだけPolicyNet適用)の自己対戦で
調べていたのですが、loss が明らかに下がっていたので、もう少し探索数を増やすと効果が現れました。
昔の実験でも探索数が増えるほど効果がありそうだったのですが、「ValueNetなし」と「あり」の
実験だと500playout(Rootのみ)でも7割近い勝率が出たので過信していました。

0.498 (255局) F32L11 vs F64L14 (batch normalizationあり),  500playout/1手 (RootのみPolicy)
0.563 (981局) F32L11 vs F64L14 (batch normalizationあり), 1000playout/1手 (全ノードPolicy)
0.595 (742局) F32L11 vs F64L14 (batch normalizationあり), 2000playout/1手 (全ノードPolicy)

                                     test loss
F32L11                               0.384133
F64L14                               0.38544
F64L14 (batch normalizationあり)     0.370676

Ayaでは下のように ReLU の後に batch normalization を置いてます。
ReLU の前に置いた場合、性能が悪かったです。

これはDarkForestやGoloisのTristan論文と同じです。
Improved Architectures for Computer Go, Tristan Cazenave
https://openreview.net/pdf?id=Bk67W4Yxl

layer {
  name: "conv2_3x3_64"
  type: "Convolution"
  bottom: "bn1"
  top: "conv2"
  convolution_param {
    num_output: 64
    kernel_size: 3
    pad: 1
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
    }
  }
}
layer {
  name: "relu2"
  type: "ReLU"
  bottom: "conv2"
  top: "conv2"
}
layer {
  name: "bn2"
  type: "BatchNorm"
  bottom: "conv2"
  top: "bn2"
}



Re: ValueNetの評価にはある程度の探索数が必要?  投稿者:gg 投稿日:2017年 3月16日(木)19時36分15秒
これは VN に与える棋譜(正確にはスコアリングした人の強さ)に依存します.
自分がその人の手を再現できなければその VN は宝の持ち腐れになってしまいます.
強い人の棋譜で作った VN が正しくあるためには,自分(プログラム)にも相応の
強さが必要なのです.
AlphaGo では PN,つまり自分が弱い時に打てる手でスコアリングしてますから,
再現はできますが,相手の手も PN で生成しているので予想が外れることもある
でしょう.Master では AlphaGo でスコアリングした棋譜を使うことで,より
正確になったのだろうと推測しています.



Re: Value Netのloss  投稿者:gg 投稿日:2017年 3月16日(木)20時14分25秒
>ValueNetが得意?な「戦いが関係ない序盤の評価」の精度を上げるだけで
>人間の領域は超えていくのかもしれません。
同等あるいは少し上にはなるかも知れませんが...実際,絶芸や Zen は
野狐の早碁で時々負けており,Master の安定感には遠く及びません.
実はこれには種があります.VN の訓練に使う棋譜に一手ランダムな手を
挟んでるのがそれです.この効果は,終局後のダメ詰めでは無意味,ヨセ
では数目の損,中盤では数十目の損あるいは一手違いの攻め合いなどのやや
こしい局面は負け,にする効果があります.結果,これらのハンディが
あっても勝てる局面だけが VN の勝ち局面になります.これによって,
中盤のややこしい局面を避けるようになるわけです.MC 碁の本質的な弱点
である死活や攻め合いが勝負に直結する局面を避けることで,あれだけの
安定感が実現されているのだと思います.



Re: ValueNetの評価にはある程度の探索数が必要?  投稿者:zakki 投稿日:2017年 3月16日(木)22時38分7秒
RnのValueNetworkについてだと、似た局面でも評価にかなりバラツキがあってある程度探索して均さないと
たまに選ばれる酷い手が原因で負けているように見えます。

#ところで題名の「Re: 〜」は手で入力してるんですが、何か入力方法あるんでしょうか?



Re: Value Netのloss  投稿者:山下 投稿日:2017年 3月17日(金)01時18分14秒
> VN の訓練に使う棋譜に一手ランダムな手を

Zenはランダム1手は加えてないのでしょうか?
てっきりやってると思っていました。

ちなみに昨年の11月ぐらいにAjaが教えてくれたところによると
ランダム1手には大きな違いがあるそうです。
話半分であまり信じていないのですが・・・。

個人的には、AlphaGoがまだRLでValueNetのサンプルを作っているとしたら
RLにはランダム要素が一切ないため、ばらけさせる効果の方が大きいのかと思ってます。
例えば1手目のサンプルはSLの分布だと、ほぼ同じ局面ばかり作ってしまい、その結果も常に一定、
例えば1手目星は10万回試して10万回勝ち、小目は10万回負け、という極端な結果になるので。
完全ランダムで1手目を選んでも極端な結果にはなるのですが。

もしかしてRLで打たせるときに、微妙に違う学習過程のRLを複数用意して
ランダムで選んでる、とかはありそうですが。



Re: ValueNetの評価にはある程度の探索数が必要?  投稿者:山下 投稿日:2017年 3月17日(金)01時23分31秒
Re: は手で入力しています・・・。なんとなく昔からの習慣で。

Ayaの初期局面での次の1手のValueNetの分布は下のような感じです。

      A    B    C    D    E    F    G    H    J    K    L    M    N    O    P    Q    R    S    T
 19: 45.6 41.9 44.5 41.0 32.7 31.7 32.0 32.1 31.3 31.7 31.2 31.2 32.5 32.4 34.3 31.4 35.0 34.8 32.3
 18: 44.2 47.6 47.1 47.2 45.1 44.7 42.5 43.6 44.6 44.3 44.2 44.0 45.1 44.2 44.7 45.2 46.0 45.1 40.9
 17: 42.1 48.9 50.3 48.2 46.3 44.9 44.4 46.8 47.6 46.4 46.0 46.8 46.2 46.4 46.0 47.0 46.8 48.7 43.9
 16: 42.6 47.4 48.0 48.7 48.1 46.4 43.9 51.4 45.0 44.1 43.9 43.7 44.4 46.0 46.4 48.1 47.2 46.9 42.2
 15: 43.6 47.4 49.2 48.7 48.3 46.3 45.5 45.8 45.3 44.0 44.9 45.3 43.5 43.6 45.9 48.6 47.1 45.9 41.4
 14: 42.0 48.3 50.1 47.8 47.1 46.1 45.2 45.9 45.7 45.2 46.1 46.2 45.2 43.2 45.1 47.2 47.7 46.5 40.7
 13: 43.0 47.6 48.5 47.8 46.7 44.7 44.3 44.7 45.7 45.1 45.4 44.8 44.2 44.3 44.6 47.5 46.7 45.0 39.2
 12: 42.0 48.8 48.5 47.6 46.7 46.4 45.6 44.6 45.7 45.7 45.0 45.1 43.7 43.0 48.3 48.1 49.0 45.9 39.4
 11: 42.3 48.6 48.5 47.7 47.4 45.5 45.0 46.3 45.7 44.7 44.8 44.4 43.5 43.1 43.0 47.4 47.5 45.6 39.5
 10: 42.0 49.7 49.3 47.7 46.8 45.4 44.2 45.5 44.7 43.4 44.9 45.7 43.4 42.6 43.8 46.0 45.8 46.1 39.4
  9: 41.5 48.4 49.2 47.9 46.8 45.8 45.5 45.5 43.9 44.1 48.6 45.1 44.6 47.9 42.6 45.2 44.8 44.6 39.4
  8: 40.1 47.6 48.9 47.5 46.9 45.4 45.0 44.9 44.9 45.4 45.7 45.8 48.6 44.1 42.7 44.4 45.2 44.9 39.2
  7: 41.3 45.8 47.4 47.0 47.3 46.8 45.6 44.8 44.8 45.3 45.4 45.6 44.6 44.5 48.7 47.5 47.5 46.5 40.0
  6: 39.9 46.2 47.1 47.5 49.3 47.5 46.7 45.3 44.3 44.6 49.9 46.5 44.7 43.3 44.9 48.7 48.2 47.3 41.6
  5: 38.8 47.5 48.1 45.9 46.4 46.8 45.8 45.3 44.5 45.1 45.8 50.5 44.7 44.6 45.8 48.2 48.8 46.4 38.9
  4: 37.9 46.0 49.4 51.6 45.8 51.6 47.1 46.1 45.9 45.9 46.6 46.7 45.5 46.2 44.2 49.8 48.1 45.9 40.8
  3: 35.7 47.2 47.8 47.4 48.7 47.6 46.9 46.8 46.5 47.2 46.4 46.7 46.3 46.8 46.4 49.3 48.2 47.9 40.3
  2: 36.5 47.4 45.5 44.3 45.6 45.3 45.5 44.2 44.9 44.7 49.6 44.7 44.4 45.9 44.9 46.8 47.8 47.1 38.3
  1: 33.2 41.6 43.2 41.1 40.2 40.5 39.7 39.2 39.3 38.1 38.2 38.4 38.3 37.3 37.3 37.7 39.3 39.9 46.6

上の数値は黒の勝率49%になるようにKGSのコミ0.5の棋譜から白勝ちを41%削ったものです。
ちなみに、削らない場合は黒の勝率40%で、下のように最初から全部の手が黒負けで返ってきます。
しかし、いきなり(1,1)とかに打つサンプルは一切ないのに、それらしく(1,1)に打ったときの
勝率が下がっているのは不思議、というかCNNすごいです。
      A    B    C    D    E    F    G    H    J    K    L    M    N    O    P    Q    R    S    T
 19: 26.9 30.9 34.0 32.8 31.1 31.3 30.6 30.1 30.2 30.2 29.9 29.6 30.1 31.3 30.5 28.4 29.7 30.8 30.5
 18: 32.2 36.3 38.4 37.4 37.4 38.7 37.0 36.6 36.4 36.3 36.8 36.2 36.4 38.6 38.4 38.3 37.9 36.0 32.2
 17: 32.1 37.6 40.2 40.4 40.8 41.8 39.7 39.8 39.1 38.8 39.1 39.5 40.0 43.5 41.9 41.0 40.9 38.3 33.5
 16: 30.5 36.4 40.1 41.1 41.2 42.6 39.9 40.3 39.6 39.3 39.5 40.3 40.6 44.7 42.5 41.6 40.8 39.7 34.2
 15: 30.2 36.5 40.8 38.1 40.7 41.7 39.3 39.7 39.0 39.0 39.2 39.9 39.6 39.2 41.4 42.2 41.2 39.0 34.6
 14: 30.8 37.1 41.3 42.3 40.8 40.6 38.9 39.3 38.9 39.3 39.0 39.7 39.7 37.5 40.3 43.8 42.5 39.5 34.6
 13: 32.0 37.5 40.4 41.6 40.5 40.5 38.3 39.0 39.0 39.2 38.9 39.2 39.2 40.5 39.7 41.7 41.8 38.9 34.0
 12: 31.7 37.2 40.4 41.2 40.3 40.9 39.0 33.9 38.7 39.1 39.3 39.6 39.7 41.0 39.9 41.3 40.7 38.5 33.9
 11: 31.1 36.9 40.1 40.4 39.8 40.3 38.9 39.2 38.6 38.4 39.0 39.5 39.9 41.1 39.5 40.5 39.8 38.2 33.7
 10: 31.0 36.6 39.5 34.4 39.7 34.4 38.8 39.2 38.5 37.6 38.1 39.3 39.7 40.7 39.2 39.8 39.4 38.2 33.7
  9: 31.1 36.6 39.4 40.2 35.5 40.9 39.1 39.2 38.7 38.3 38.6 39.5 39.9 40.7 39.3 40.3 39.7 38.0 33.4
  8: 31.0 36.7 39.9 41.2 40.2 40.5 38.9 39.1 38.7 38.8 38.9 39.2 34.7 36.0 35.5 40.9 40.3 38.0 33.2
  7: 31.2 37.0 40.8 42.3 41.3 40.5 38.8 39.3 33.7 38.9 39.4 39.6 39.8 41.1 40.1 41.7 40.9 38.5 34.1
  6: 31.6 37.3 41.5 43.1 41.7 42.2 39.9 35.9 40.8 40.6 41.3 41.3 40.8 41.7 41.0 42.6 41.4 38.6 33.3
  5: 31.3 36.0 40.6 41.5 41.1 42.4 40.4 40.8 40.1 40.0 40.6 40.6 40.3 41.9 41.0 41.3 35.2 39.8 33.6
  4: 31.1 35.9 40.5 36.8 41.5 43.8 41.3 41.0 40.2 40.2 40.5 41.2 41.4 43.8 41.3 41.3 41.0 38.3 34.5
  3: 31.6 36.4 39.0 40.3 40.9 42.3 40.7 40.4 39.9 39.7 39.9 40.5 41.4 42.8 41.5 41.1 40.5 37.9 34.4
  2: 31.6 35.5 37.3 38.4 38.7 40.0 39.3 38.7 38.4 38.4 38.6 39.2 39.5 40.0 39.3 39.2 38.8 36.5 33.1
  1: 29.5 33.8 35.4 35.5 35.6 35.7 35.4 35.1 35.0 35.4 35.5 35.9 36.0 35.5 35.0 33.1 33.3 33.2 26.6



UEC杯が中央日報の記事に  投稿者:山下 投稿日:2017年 3月17日(金)02時37分10秒
AlphaGo効果とはいえ、韓国の新聞にまでUEC杯の宣伝が出てるのはビックリしました。

【囲碁】世界のAI棋士が総出動…日本「DeepZenGo」・中国「絶芸」が優勝候補
http://japanese.joins.com/article/948/226948.html



Re: ValueNetの評価にはある程度の探索数が必要?  投稿者:gg 投稿日:2017年 3月17日(金)10時58分21秒
私も手入力です.
zakkiさん: VN にバラツキが多いのは多分学習不足でしょう.
最低,データ数>3×ネットワークの自由度(≒重みの数)は必要です.
あ,過学習の可能性もあるか.
山下さん: ランダムは入れてません.Aja が言ってることは正しいと思います.
スコアリングに PN(SL) ではなく PN(RL) を使う理由ですが:
ここは可能なら自分の平均的な棋力(例えば短めの思考時間の探索有り)
を使うのがベストなのですが,生成時間の都合で探索なしにせざるを得ない.
そこで PN(SL) より(多少)強い PN(RL) を使った,というのが僕の解釈です.
なお,Master は探索有りの使っているはずです.



cgos 接続  投稿者:nlp 投稿日:2017年 3月20日(月)07時35分59秒
UEC杯では大変お世話になりました。
さて勢いでcgosに接続を試みたのですが、下記のように"server"変数がないというエラーでcgosGtp.tclが実行できませんでした。
$ tclsh cgosGtp.tcl -c cgos_config.txt -k abort_cleanly
can't read "server": no such variable
    while executing
"set cgos_server $server"
   (procedure "readConfigFile" line 41)
    invoked from within
"readConfigFile   "
    (file "cgosGtp.tcl" line 338)

cgos_config.txtには以下のようにserverを指定したつもりなのですが、おかしい点がありましたら、御指摘いただければ幸いです。

# -------------------------------------------------
#config file
#Bot name must be within 18 characters.
#Port is 6809 in 9x9, 6819 in 19x19.
#--------------------------------------------------

%section server
    server yss-aya.com
    port 6819

%section player
    name    GnuGoTest
    password  xxxxxxxx
    invoke    gnugo --mode gtp --capture-all-dead --chinese-rules --positional-superko
    priority    5
# --------------------------------------------------



Re: cgos 接続  投稿者:山下 投稿日:2017年 3月20日(月)07時47分54秒
UEC杯ではお疲れ様でした。
空白が?で表示されてるのが少し気になるのですが、tabで区切っているとしたら
それが原因かもしれません。もしくは改行コード?でしょうか。
私はWindowsでは\r\n、linuxでは \n にしています。

起動
Linux

./tclkit cgosGtp.tcl -c config19.txt -k abort.txt

Windows

tclkitsh.exe cgosGtp.tcl -c config19.txt -k abort.txt

で起動してconfig19.txt は

# config file for testing various version of Aya
# Bot name must be within 18 characters.
# -------------------------------------------------

%section server
#    server cgos.boardspace.net
#    port 6867
    server yss-aya.com
    port 6819

%section player
     name      Aya790e_510x1_10k
     password  xxxxxxx
     invoke    /home/yss/aya/19x19_790e_510_0701x1_10k/ayamc -gtp
     priority  7



Re: cgos 接続  投稿者:山下 投稿日:2017年 3月20日(月)08時03分53秒
あれ、"?"が全部消えてる・・・。
私が見たときは空白部分が全部"?"で出てました。
この掲示板は先頭文字が半角スペース" "だと表示されない仕様で、
半角スペース2つだと1つしか表示されない変な仕様です。



Re: cgos 接続  投稿者:nlp 投稿日:2017年 3月20日(月)08時11分31秒
山下様 早速御回答ありがとうございました。もう少し試みてみます。



Re: cgos 接続  投稿者:nlp 投稿日:2017年 3月21日(火)05時39分51秒
結局、server, portなどの前にある空白を削除することで接続できるようになりました。山下様、ありがとうございました。



Re: cgos 接続  投稿者:山下 投稿日:2017年 3月21日(火)19時40分35秒
空白が問題でしたか・・・。
繋ぎ方のFAQみたいなのを作ってみます。



CGOSの棋譜を再生可能に  投稿者:山下 投稿日:2017年 3月22日(水)04時47分30秒
crossテーブルの「View」を押すと再生できるようにしてみました。
あると断然便利ですね。
最初パスの棋譜でエラーが出てたのですがperfectcloudsさんの記事を読んで
開発版に入れかえると解決しました。

JavaScriptな囲碁の棋譜ビューア WGo.js
http://www.perfectsky.net/blog/?p=260



DeepZenGoのレーティング推定  投稿者:山下 投稿日:2017年 3月24日(金)02時25分58秒
パク・ジョンファン、ミ・イクテイ、井山さんのGoRatingsのレートはかなり近く、平均だと3553。
DeepZenGoは1勝2敗だったので、3553点に勝率0.33は120点差なので3433点。
Zen-14.4-1c1g のCGOS(BayesElo)が3962、DeepZenGoは34コア、GPU4枚なので250点ほど
上がるとして4200。3433との差は767点。以前はCGOSから1000点引くとGoRatingsと
同じくらいか、と思ったのですが、760点ぐらい引くと同じかもしれません。

11月の趙治勲さんとは1勝2敗だったので推定で3121点。4ヶ月で312点上がった計算になります。

                 GoRatings  CGOS(BayesElo)
Ke Jie              3635      4402?
Park Junghwan       3581      4348?
Mi Yuting           3561      4328?
井山裕太            3518      4285?
DeepZenGo (34c4g)   3433?     4200?
一力遼              3399      4166?
趙治勲              3241      4008?
Zen-14.4-1c1g                 3962
DeepZenGo (34c4g)   3121?     3888?  (2016/11)
CGI1900_4c                    3740
Aya794a_cn25_16t4g            3684
Rayn.0.1.0-4c                 3608
DogMoves-1.2                  3490

https://www.goratings.org/
http://www.yss-aya.com/cgos/19x19/bayes.html



Re: DeepZenGoのレーティング推定  投稿者:gg 投稿日:2017年 3月25日(土)20時37分0秒
>Zen-14.4-1c1g のCGOS(BayesElo)が3962、DeepZenGoは34コア、GPU4枚なので
>250点ほど上がるとして4200。
多分ここは違います.Zen-14.4-1c1g は 1c ですが,Titan X だと 1枚で
4c 位大丈夫なので,ざっと 16倍位(実際には 15が妥当か)速くなってい
るはずです.



ネットワーク構造  投稿者:zakki 投稿日:2017年 3月28日(火)23時32分20秒
> 64フィルタ20層のままだと一致率はむしろ下がるのでフィルタ増やす必要がありそうでしたが
> AlphaGoにならって192*14だと学習の収束遅すぎてめげて192*7+64*10にしてみています。

先日話していてふと気になって実験してみましたが、これは192フィルタ→64フィルタのところでResidualなしのConvolutionがあることの影響のほうが大きいかもしれません。
十分多いパラメーターで収束するところまではやれてないので断言はできませんが全部のユニットがResNet構造だと少なくとも学習は進みにくいです。



Re: ネットワーク構造  投稿者:山下 投稿日:2017年 3月29日(水)15時58分0秒
> 全部のユニットがResNet構造だと少なくとも学習は進みにくいです。

一度、フィルタ 128、20層で、全部ResNet構造でPolicyを試したのですが
128、14層のResNetなし、よりはっきり一致率が上がらないでの
途中で止めていました。Convolution2層にしてResNet,みたいなのを試してみます。



Re: ネットワーク構造  投稿者:HiraBot 投稿日:2017年 3月29日(水)18時24分35秒
> はっきり一致率が上がらないでの

ResNet の採用ではっきり良くなりました
グラフで 2k の部分は フィルタ 128、12層 の DCNN をそのまま打つプログラムです
ResNet 構造で フィルタ 128、24層 にするとグラフのように 2d になりました



CNCulture  投稿者:gg 投稿日:2017年 3月30日(木)08時33分39秒
CNCulture さん,動いてないよ〜



サンプルコードのコウの判定  投稿者:ohto 投稿日:2017年 4月 2日(日)23時52分55秒
UEC杯囲碁大会にJulieで出場した大渡です。
碁盤の処理は山下さんのコンピュータ囲碁本のサンプルプログラムの
アルゴリズムをほぼそのまま使用させていただいています。
以下の形の反則負けが100試合に1, 2回出るようなのですが、
http://www.yss-aya.com/cgos/viewer.cgi?19x19/SGF/2017/04/02/206639.sgf
サンプルコード中のコウの判定において
取った石の数 == 1 を 取った石の数 >= 1 にすれば解決しますでしょうか。
それともルール上後者だとまずいでしょうか?
コウのルールを調べてもよくわからなかったのでこちらで質問致しました。



Re: サンプルコードのコウの判定  投稿者:山下 投稿日:2017年 4月 3日(月)00時18分54秒
この形はコウではなくて、
「(手番やアゲハマの数を含まない)盤上の石の配置が同一になるのを禁止」
した「Positional Super Ko」と呼ばれるものです。
3コウや4手以上で同一局面になる(長生などの)着手はCGOSではルール違反になります。

これは単純な判定では難しいので、ハッシュ法を用いた同一局面繰り返し、
で判定する必要があります。

下のサンプルのgo12.cが参考になると思います。
hash_pass()、を削除して手番を無視する必要があります。
http://www.yss-aya.com/20161107dentsu.zip
AyaではRootでの着手生成のみで、この手を無理やり削る処理を入れています。

この手は少なくとも日本ルールでは禁止ではなく(アゲハマが増えるので自然と負けに)
中国ルールではどうなっているのか正確には知りません。

CGOSは「KO attempted」というエラーを返しますが、これは正しくなく
正確には「positional super Ko attempted」を表示すべきだと思います。
http://senseis.xmp.net/?Superko



Re: Re: サンプルコードのコウの判定  投稿者:ohto 投稿日:2017年 4月 3日(月)13時23分43秒
山下さん、

これがスーパーコウとよばれるものだったのですか。
Pythonの方は盤面ハッシュ値を実装していなかったのですが、必要ということですね。
ありがとうございました。



Ayaの自己対戦棋譜  投稿者:山下 投稿日:2017年 4月 5日(水)22時33分37秒
Value Networkの学習用にAyaの自己対戦の棋譜を公開しました。
全部で144万棋譜ぐらいあります。

Aya's selfplay games for training value network.
http://www.yss-aya.com/ayaself/ayaself.html

主に1手2000playoutで棋力は一番弱いのでKGS 4d、強いので5dくらいです。
2000playoutで一回投了まで打たせて、その後に、300playout(KGS 3d)で
全部の石を打ち上げています。最初の16手まではPolicy Networkの乱数分布で
選んでいます。

中国ルール、コミ7.5で作っています。
最終結果は RE[B+3.5] など目数で出てきますが、
日本ルール、コミ6.5に合わせて、例えば RE[B+4.5] と
して処理できるかは微妙かもしれません。



Re: Ayaの自己対戦棋譜  投稿者:gg 投稿日:2017年 4月 7日(金)06時19分37秒
一つ質問ですが,この棋譜の生成には,Nature の論文にある,
一手ランダムに選ぶという手順は含まれてますか?



Re: Ayaの自己対戦棋譜  投稿者:masatsune 投稿日:2017年 4月 7日(金)12時31分46秒
こんにちは。お世話になっております。

以下のファイルが落とせないのですが、リンクが切れてますでしょうか?
p205_19_0114_ro_2k_r16_add300_2.tar.bz2

これ以外のファイルは、問題なく落とせています。(まだ中途ですが。)

よろしくお願いします。



Re: Ayaの自己対戦棋譜  投稿者:山下 投稿日:2017年 4月 7日(金)17時10分59秒
> 一手ランダムに選ぶという手順は含まれてますか?

含まれていません。
A game has 4 stages. を見てください。



Re: Ayaの自己対戦棋譜  投稿者:山下 投稿日:2017年 4月 7日(金)17時12分49秒
> 以下のファイルが落とせないのですが、リンクが切れてますでしょうか?

ファイル自体は存在しており、私の環境ではダウンロードできています。

Google Driveにも全ファイルをアップしましたので、
落とせない場合はこちらをお試しください。
https://drive.google.com/drive/folders/0B-qjJNUdVi15amRWSVRaZjRwNWc?usp=sharing



Re: Ayaの自己対戦棋譜  投稿者:masatsune 投稿日:2017年 4月 7日(金)20時24分41秒
>> 以下のファイルが落とせないのですが、リンクが切れてますでしょうか?
>ファイル自体は存在しており、私の環境ではダウンロードできています。

当方の環境でも、落とす事が出来ました。
落とせなかった時間帯に、別のPCが帯域を占有していた可能性が高いです。

お騒がせしました。



第27回世界コンピュータ将棋選手権  投稿者:osera 投稿日:2017年 4月 8日(土)17時44分8秒
YSSの名前が見当たらない (T_T)
(2017/3/31現在)



Re: 第27回世界コンピュータ将棋選手権  投稿者:山下 投稿日:2017年 4月 8日(土)20時41分15秒
私より将棋の強い人には見えない文字で書かれているのです・・・。



Re: Ayaの自己対戦棋譜  投稿者:HiraBot 投稿日:2017年 4月 9日(日)16時13分5秒
山下さんの棋譜と prototxt を使用して(山下さん有難うございました)
value-net に再度挑戦しました、ネットの実行時間は 0.62ms(GTX1060) でした
グラフは最適化手法に SGD と Adam を使用した場合の loss の変化です
x 軸は 1目盛が 400万局面です

SGD では最小loss=0.0909 で Adam は最小loss=0.0878 でした
このネットでは SGD より Adam の方が収束も早く最小loss も小さい(良い)です

value-net 無しとの自己対戦結果は下記の通りです(i7-4790k + GTX1060)

2000playout  184勝  65敗 勝率73.9%  +181Elo
1手1秒固定    95勝 107敗 勝率47.0%   -21Elo

残念ながら 1秒固定では value-net を入れると勝率が僅かに悪化しました
現在 10秒固定での自己対戦を行っています(value-net 有りで playout数 4万程度)
良い結果がでたらご報告します



Re: Ayaの自己対戦棋譜  投稿者:山下 投稿日:2017年 4月 9日(日)17時37分11秒
効果があった、とのことでよかったです。
Adamの方がはっきりいいですね。こんなに差があるとは思いませんでした。
一度試してみます。

1手1秒だと、Batch Normalizationあり、はかなり重いので
(Filter 64 で Filter 128のなし、とほぼ同じ時間がかかります)
BNなしの Filter 64 や Filter 32 で試した方がいいかもしれません。

Ayaだと1GPU、1手1秒、12スレッド、では
Filter 64 BN と Filter 32 BNなし、では
Filter 32 BNなしが勝率 0.63 で勝ち越します。
1手2000playout固定だと64 BNが勝率 0.60 で勝ち越すのですが。



Re: Ayaの自己対戦棋譜  投稿者:HiraBot 投稿日:2017年 4月 9日(日)20時16分12秒
> 1手1秒だと、Batch Normalizationあり、はかなり重いので

policy net でのテストでは Batch Normalization を入れると
実行時間が 1.2 倍になりました(学習時間は 1.5倍)
1.2 倍ですから許容範囲に入っていると思います



Re: Ayaの自己対戦棋譜  投稿者:HiraBot 投稿日:2017年 4月11日(火)15時55分23秒
10秒固定での自己対戦結果が出ました (value-net 有りと無しの自己対戦)

2000playout  184勝  65敗 勝率73.9%  +181Elo
1手1秒固定    95勝 107敗 勝率47.0%   -21Elo
1手10秒固定   51勝  21敗 勝率70.8%  +154Elo

10秒固定では value-net 有りが 70% 程度の勝率です
HiraBot にこの value-net を取り入れようと思います



Re: PolicyNetwork  投稿者:gg 投稿日:2017年 4月12日(水)11時19分3秒
>ですがcgosで負けた棋譜みてると確率が0.01%くらいで読んでいなかった手を打たれて
>評価がガクッとさがったり当然の応手が1%以下になっていて打たないケースがたまにあります。
「セドル戦の後,敵対的学習で AlphaGo の穴を埋めた」(意訳)
とハサビス氏が講演で言ってます.
http://www.lifein19x19.com/viewtopic.php?p=217809#p217809



Re: ニューラルネットワークへの入力  投稿者:gg 投稿日:2017年 4月13日(木)07時17分10秒
>同じネットワークなら入力を増やしたほうが一致率は上がる、
>と思っていたのですがそうでもないのですか。
フィルタ(ネットワークの容量)に余裕があれば上がるはずですが,
ぎりぎりだったり不足していたら,下がることもあり得ますね.
あまり重要でない特徴が容量を消費してしまうと言えば良いのかな.



「脊尾詰」が復活!  投稿者:osera 投稿日:2017年 4月16日(日)07時35分45秒
( ^-^)/\(^-^ ) ヒサシブリ!
http://panashogi.web.fc2.com/seotsume.html



Re: 「脊尾詰」が復活!  投稿者:山下 投稿日:2017年 4月16日(日)20時22分19秒
懐かしいですね!
今だと詰将棋の最高性能はどれなんでしょうか。
2005年の東大将棋8以降に搭載されている岸本詰?がいまだに
最高性能な気もします。
長井さんの長井詰も復活しないかな・・・。



平塚の囲碁六段+ 公開  投稿者:HiraBot 投稿日:2017年 4月24日(月)19時38分44秒
"平塚の囲碁六段+" をフリーソフトとして公開しました、下記 URL からダウンロード出来ます

http://www.vector.co.jp/soft/winnt/game/se515707.html

Nvidia GPU が付いていれば GPU を計算に使用し、付いていなければ CPU only で計算します
CPU only では計算時間が GPU の 20倍かかりますから実用的には四段が限界でしょう

value net は使用していません value net は自己対戦では 7割程度勝つのですが
KGS で対戦させてみると成績が良くありませんでした



tygem 9d 棋譜  投稿者:HiraBot 投稿日:2017年 5月 2日(火)01時14分16秒
tygem 9d の棋譜を使用して policy net を学習しました、以前はプロの棋譜と KGS の棋譜
を mix して使用していました、グラフは学習につれて accuracy の変化です
x軸は 1目盛 3000万局面の学習です、自己対戦の結果は下記の通りです

DCNN only      688勝 312敗 勝率68.8%  +137Elo
1000playout    647勝 353敗 勝率64.7%  +105Elo

tygem 9d の棋譜を使用することで accuracy が 3% 改善され、自己対戦で +105Elo 良くなりました
思っていたより効果が有りました、学習に使用する棋譜の質は重要だと思います



Re: tygem 9d 棋譜  投稿者:山下 投稿日:2017年 5月 2日(火)15時54分50秒
詳細なデータありがとうございます。
これはTygem9dの棋譜のみ、を学習させてプロの棋譜は使っていない、のでしょうか?
KGSの棋譜だと一致率は 58%程度、GoGoDだと53%程度、までは上がるので
単純に一致率だけで比較はできないと思います。

このデータを見る限り、Tygemの棋譜もKGSのように簡単?なデータに見えます。
ただ、それでも+140近く強くなったのならば、KGSの4dや5dの弱い棋譜が
学習に悪影響を与えていたように思えます。

私はGoGoDの棋譜のみでしか学習させてないのですが、

DCNN_AyaF128a523x1    2440  一致率52.3%。次の1手のみを予想。
DCNN_AyaF128a510x1    2375  一致率51.0%。Facebookのように3手先まで予想

どちらもFilter 128,Layer 12,Batch Normalizaiotnなし、です。1層目のみ5x5で後は3x3。

Facebookの3手予測は、同じ一致率だと1手予測より強いのですが、はっきり性能悪かったです。
GoGoDの勝った手番の棋譜のみ(1手予測)を学習させると一致率は53.3%まで上がるのですが強さは
ほぼ同じか以下でした。



Re: tygem 9d 棋譜  投稿者:HiraBot 投稿日:2017年 5月 3日(水)13時06分14秒
> これはTygem9dの棋譜のみ、を学習させてプロの棋譜は使っていない、のでしょうか?

はい、tygem 9d の棋譜のみ使用しています



CSA選手権の順位の推移  投稿者:山下 投稿日:2017年 5月 5日(金)22時52分10秒
清さん作成のCSA選手権の順位の推移を更新しました。
http://www.yss-aya.com/csa_all.html



5月23日〜27日にAlphaGoがカケツと対戦  投稿者:山下 投稿日:2017年 5月 9日(火)18時16分57秒
AlphaGoが世界最強の中国のカケツと5月23日〜27日に中国の烏鎮(上海の近く)で対戦するそうです。
対局は3番勝負で、1対1の対戦の他に、AlphaGoとプロ棋士が組むペア碁、
AlphaGoと棋士5人の相談碁もあるそうです。

毎日新聞の記事によるとAlphaGoの開発はこれで終わりになるかもしれない、とのことです。

> これを機に、同社は囲碁開発をストップさせると聞く。

棋士とAI「最終決戦」へ=金沢盛栄(編集委員)
https://mainichi.jp/articles/20170429/ddm/014/040/055000c

囲碁の神秘を求めて ーー Future of Go Summit 開催
https://japan.googleblog.com/2017/04/future-of-go-summit.html
Exploring the mysteries of Go with AlphaGo and China's top players
https://deepmind.com/blog/exploring-mysteries-alphago/



PolicyNetの9路や13路への流用の方法  投稿者:Hattori 投稿日:2017年 5月12日(金)00時19分52秒
19路で学習したPolicyNetを9路や13路に流用する方法がよく分からなかったのですが、可能であれば教えていただけないでしょうか?
この掲示板で2015年9月末ごろに議論されているのを見つけたのですが、理解できませんでした。



Re: PolicyNetの9路や13路への流用の方法  投稿者:山下 投稿日:2017年 5月12日(金)08時20分28秒
Caffeの場合だと下のファイルのようになります。
http://www.yss-aya.com/20170512policy.tar.gz

19x19_i49_F128_m1.prototxt   ... 19路用の予測
13x13_i49_F128_m1.prototxt   ... 13路用の予測
9x9_i49_F128_m1.prototxt     ...  9路用の予測
aya_m3.prototxt              ... 19路用の学習用
aya_m3_solver.prototxt       ... 19路用の学習用、学習率などを指定

予測用の
input_dim: 1
input_dim: 49
input_dim: 19
input_dim: 19

が 9路だと
input_dim: 1
input_dim: 49
input_dim: 9
input_dim: 9

の変更だけで9路に対応できます。
全部Convolution層だとこの流用が可能、とのことです。
http://computer-go.org/pipermail/computer-go/2015-December/008324.html

なお、上のファイルでは一番最後のConvolution層の次にもReLUが入ってますが ("relu12_0")
新たに学習、予測する場合はこのReLUは不要です。



Re: PolicyNetの9路や13路への流用の方法  投稿者:Hattori 投稿日:2017年 5月13日(土)12時07分52秒
予測、学習用ファイルまで見せて説明くださり、ありがとうございます。
全部Convokution層のみの学習ファイルを作って試してみます。



Re: 5月23日〜27日にAlphaGoがカケツと対戦  投稿者:山下 投稿日:2017年 5月16日(火)13時24分35秒
pandaネットによると下のスケジュールのようです。

持ち時間3時間+秒読み1分5回
第1局 5月23日(火) 11:30〜
第2局 5月25日(木) 11:30〜
第3局 5月27日(土) 11:30〜

ペア碁 5月26日(金) 9:30〜
相談碁 5月26日(金)13:30〜
http://www.pandanet.co.jp/event/fogs/



Weight deacyを最後にちょっとだけかけると効果的?  投稿者:山下 投稿日:2017年 5月18日(木)23時19分15秒
今までWeight deacyはなしで学習してたのですが、
ValueNetの学習でtest loss=0.388, train loss=0.365
とちょっと過学習ぽかったので、
weight_decay: 0.0005
base_lr:  0.0025
で学習させると学習の60000iterationぐらいまでtest lossが下がって
その後は上昇しました。
train lossは 0.398 まで単調増加。

最初から weight_decay を小さな値に設定するだけの問題かもしれませんが・・・。



minimax 探索囲碁プログラム  投稿者:HiraBot 投稿日:2017年 5月19日(金)14時09分35秒
value net と policy net を使用して minimax 探索囲碁プログラムを作成しました
枝刈はαβ枝刈のみ、中間評価関数は value net に policy net の確率を加味しました

minimax と policy net only(KGS 2d - DcnnRasPi) との自己対戦結果は下記の通りです

maxdepth=1, root 8手 読み        558勝 442敗 勝率55.8%  +40elo
maxdepth=2, root 8手 他4手読み   351勝 150敗 勝率70.1%  +148elo
maxdepth=3, root 8手 他4手読み   406勝 116敗 勝率77.8%  +218elo
maxdepth=4, root 8手 他4手読み   670勝  78敗 勝率89.6%  +374elo
maxdepth=5, root 8手 他4手読み   490勝  57敗 勝率89.6%  +374elo
maxdepth=6, root 8手 他4手読み   520勝  20敗 勝率96.3%  +556elo

読み深さが偶数の方が奇数より良いです(相手が打った処で判定した方が良い)
プログラム実行時間は maxdepth=6 にて 1手 1秒前後です(i7-4790k + GTX1060)
maxdepth=6 で KGS 2d に対して +556Elo ですから KGS 4d 程度と思われます
1秒の考慮時間で 4d ならあと一歩で実用になるような気がします
本テストに使用した negamax() 関数は下記 URL からダウンロード出来ます

http://kiyoshifk.dip.jp/kiyoshifk/apk/negamax.zip



Re: minimax 探索囲碁プログラム  投稿者:山下 投稿日:2017年 5月19日(金)17時04分41秒
これ面白いですね!
Root8手だけ、とかかなりギャンブルな感じですが、Policyが正確なので
正解の95%ぐらいは?8手でも入ってそうです。
偶数深さの方が少しよさそう、というのは静止探索っぽい効果も入ってるのでしょうか。
昔9路でαβを使っていたとき似たような現象があったような気がします。

> 中間評価関数は value net に policy net の確率を加味

ソースを見たのですが、これがよく分からなかったです。
普通にValueNetのMinMaxだと maxdepth=1 ではPolicyのみに負け越してしまうための苦肉の策?でしょうか
maxdepth=6の探索では影響が小さくなっているようですし。

200手近い終盤ではMCの方が正確なのでそのあたりでMC評価に切り替える、とかもありそうです。
絶芸はMCTS使っていない、というウワサを聞きましたが意外とMinMaxなのかも。



Re: 5月23日〜27日にAlphaGoがカケツと対戦  投稿者:山下 投稿日:2017年 5月20日(土)11時17分25秒
DeepMindの公式ページが出来ていました。
動画中継もあるそうです。

The Future of Go Summit
http://events.google.com/alphago2017/

AlphaGo at The Future of Go Summit, 23-27 May 2017
https://deepmind.com/research/alphago/alphago-china/

DeepMind? @DeepMindAI 2h
https://twitter.com/DeepMindAI/status/865518993695625217
> Excited to see what we’ll discover at the Future of Go Summit next week.
> Stay informed on our new webpage #AlphaGo17



第2期電王戦 二番勝負 第2局 佐藤天彦叡王 vs PONANZA  投稿者:山下 投稿日:2017年 5月20日(土)12時09分30秒
最後の電王戦の佐藤天彦名人とPonanzaの2局目が行われています。
Ponanzaの2手目は初手▲76歩に対して△42玉、が乱数で選ばれたようです。
角換わりから、△62銀〜△51銀〜△52銀と引く形が斬新で面白いです。

第2期電王戦 二番勝負 第2局 佐藤天彦叡王 vs PONANZA
http://live.nicovideo.jp/watch/lv290110261
連盟による棋譜と中継ブログ
http://live.shogi.or.jp/denou/
第2期電王戦
http://denou.jp/2017/



AlphaGoがカケツの第1局  投稿者:山下 投稿日:2017年 5月23日(火)12時43分48秒
始まってます。
英語公式
https://www.youtube.com/watch?v=Z-HL5nppBnM
Ayaの形勢判断を時どき載せる予定です。
https://twitter.com/nhk_igo_15bai
【囲碁実況】世界最強は棋士かAIか!? 柯潔九段 vs AlphaGo 第1局
http://live2.nicovideo.jp/watch/lv298444014



AlphaGoとカケツの第2局  投稿者:山下 投稿日:2017年 5月25日(木)12時14分50秒
対局中です。

英語公式
https://www.youtube.com/watch?v=1U1p4Mwis60
Ayaの形勢判断を時どき載せる予定です。
https://twitter.com/nhk_igo_15bai
【囲碁実況】世界最強は棋士かAIか!? 柯潔九段 vs AlphaGo 第2局
http://live2.nicovideo.jp/watch/lv298512848



AlphaGo同士の最新の対局棋譜が新たに公開  投稿者:ykk 投稿日:2017年 5月27日(土)23時19分11秒
AlphaGo同士の対局棋譜が、毎日10局ずつ公開されるそうです。
今日は、10局、並べてみましたが、いつもみるプロ棋譜の世界とは明らかに異次元の棋譜です。

これでは、人間の最高峰に3子ぐらいの差があるような主張、驚くなかれです。

次で、毎日10局ずつ公開するそうです。
https://deepmind.com/research/alphago/alphago-vs-alphago-self-play-games/

10局中、8局は、白の中押勝ち、どうも今のコミでは、白が有利なのかと推測することもできます。



RE:AlphaGo同士の最新の対局棋譜が新たに公開  投稿者:masatsune 投稿日:2017年 5月29日(月)10時40分59秒
すでに、50局公開されたようです。

http://www.yigo.org/godata/AGvsAG/index.php



『コンピュータ将棋のアルゴリズム』のバグ  投稿者:MZ-SOFT(木口小平) 投稿日:2017年 5月29日(月)17時57分54秒
 82ページ・83ページにある『「1手読み+交換値の結果」でソートする』ですが、どうもバグのようです。正しいソートは三番目の図のようになると思います。

 現在、中国象棋のプログラムを作っているのですが、象棋では手の生成で、ピンの概念を入れるのに悩んでいたところ、気がつきました。

何かの参考になれば。

http://mz1500.hatenablog.com/#edit



第一生命の将棋のCM  投稿者:山下 投稿日:2017年 6月 1日(木)23時12分19秒
ちょっと古いですが、第一生命保険が電王戦をテーマにしたCMを作っていて
笑ってしまいました。
出演してる女流棋士役は乃木坂46の伊藤かりんさんですね。

【U-29 RISK BATTLE】 将棋篇(30秒)
https://www.youtube.com/watch?v=2PhVfB1TxE8
【U-29 RISK BATTLE】 将棋篇(15秒)
https://www.youtube.com/watch?v=tL_OhdoLWgU



東大入試問題にAlphaGoが出題  投稿者:山下 投稿日:2017年 6月15日(木)01時43分15秒
6月19日号の週刊碁によると、今年2月の東大の英語の試験で
ゲームの人工知能に関するリスニングの出題があったそうです。
カスパロフが負けた話に始まって去年のセドル戦まで。

この試験を受けてみたかったかも、と思ったのですが
「なぜカスパロフは負けたのか?」という設問の4択が
1. 対戦に真剣に取り組んでいなかった
2. DeepBlueは人間の助言を受けていた
3. 計算力がすごすぎた
4. 精神的にまいっていた

と、かなり事情通な人が作った問題のようであっさり間違えそうです。
(この問題文の作者の意図は3番)



カスパロフvs DeeoBlue  投稿者:masatsune 投稿日:2017年 6月18日(日)12時12分53秒
カスパロフvs DeeoBlue で、思考ログを出す出さない、期日までに出る出ない、で結構もめたと本に書いてあった記憶があります。



LC フィルター周波数特性計算  投稿者:HiraBot 投稿日:2017年 6月28日(水)15時48分14秒
スレ違いですが、LC フィルターの周波数特性を計算するプログラムを作成して
vector で公開しました(フリーソフト)、興味が有る方は down load してください

http://www.vector.co.jp/soft/winnt/business/se516131.html

このプログラムは趣味の電子回路作成で必要に迫られて作成したものです



藤井聡太4段の29連勝のレーティング  投稿者:山下 投稿日:2017年 7月 2日(日)11時36分16秒
藤井4段が29連勝している棋譜を使って、レーティングを計算してみました。
3年前にGPWで発表した論文と同じ Bonanza 6.0 と GPSFish を使っています。
NHK杯の4局を除く25局の結果では羽生さんに近い数値が出ました。
持ち時間の短い対局も含まれているのでタイトル戦の長い時間だと
もう少し上がるかもしれません。
詰見逃しが2回あり、8局目と10局目、どちらも相手は大橋貴洸(たかひろ)さんでした。

表5(追加) タイトル戦と江戸時代の結果。GPSFish の結果は換算R のみ

        対局数  勝率 換算R 換算R(GPSFish) 一致率 好手率 複雑さ 詰見逃し 率  敗北
渡辺明      82 0.622  2939    3214        0.570  0.186  0.817    0      0.0  0
森内俊之   105 0.486  3005    3151        0.581  0.188  0.792    3      2.9  0
羽生善治   536 0.638  3246    3347        0.608  0.203  0.822   15      2.8  0
谷川浩司   286 0.510  3094    3139        0.584  0.183  0.780    6      2.1  1
中原誠     498 0.600  3027    3046        0.569  0.184  0.846   10      2.0  0
加藤一二三 137 0.401  2990    2998        0.569  0.173  0.844   13      9.5  5
大山康晴   586 0.597  3028    2979        0.562  0.183  0.876   23      3.9  3

藤井聡太    25 1.000  3194    3305        0.578  0.196  0.815    2      8.0  0

NHKの4局は分けたのですが、かなり高い値になっています。
対局数が少ないせいもあると思います。
1局ごとの数値はかなり変動が大きいのでもっと精度の高い手法が必要かもしれません。
http://www.yss-aya.com/2017fujii.png

bonanza 6.0
    25局  3194
NHK  4局  3844  ... 予選3局+本線1局
炎7  7局  3161  ... 炎の7番勝負の7局

GPSFish
    25局  3305
NHK  4局  3625
炎7  7局  3106

元にした論文
将棋名人のレーティングと棋譜分析
https://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=106492&item_no=1&page_id=13&block_id=8

qhapaqの澤田さんもちょうど同じような実験をされて
羽生さんや藤井さんは少し悪くなってもぽっきり折れない、という結果を出されてます。

藤井四段と羽生三冠のどちらが強いか、流行の人工知能に聞いてみました
http://qhapaq.hatenablog.com/archive/2017/07/01



ybot lost by illegal  投稿者:gg 投稿日:2017年 7月17日(月)17時05分52秒
ybot さんは positional super ko を実装してないのかな?
http://www.yss-aya.com/cgos/19x19/SGF/2017/07/17/254203.sgf



CGOS 19x19 stop  投稿者:gg 投稿日:2017年 7月19日(水)14時31分18秒
CGOS 19x19 の対局サーバが止まってるようです.



Re: CGOS 19x19 stop  投稿者:山下 投稿日:2017年 7月19日(水)19時50分19秒
落ちてはいないかったのですが、対戦が組まれていませんでした。
とりあえずバックアップを取って再起動しておきました。



13路のHiratuka13x13_10k  投稿者:山下 投稿日:2017年 7月23日(日)18時32分8秒
死石を打ちあげずにGNU Goに負けています。



Re: 13路のHiratuka13x13_10k  投稿者:HiraBot 投稿日:2017年 7月25日(火)08時26分10秒
誰かが走らせてくれているようですね
有難うございます。



Re: 13路のHiratuka13x13_10k  投稿者:山下 投稿日:2017年 7月25日(火)22時32分27秒
そうでしたか。
でしたら仕方がないですね。



Re: CGOS 19x19 stop  投稿者:山下 投稿日:2017年 8月 4日(金)22時10分20秒
また対戦が組まれてなかったので再起動しておきました。



Re: CGOS 19x19 stop  投稿者:山下 投稿日:2017年 8月11日(金)17時06分1秒
また止まっていたので再起動しておきました。
不安定ですね・・・。
ちょっとログを取って確認してみます。



Zenが中国の大会でCGI、FineArtを破って優勝  投稿者:山下 投稿日:2017年 8月17日(木)18時16分1秒
内モンゴルで行われてた囲碁の世界大会、
World AI Go Open
でZenが準決勝でFineArt(絶芸)、決勝でCGIを破って優勝しました。

CGIは予選ではFineArt、Zenに勝って5戦全勝だったのですが。
UEC杯でもCGIは予選全勝で決勝で負け、というのがありましたね・・・。惜しい。

野狐囲碁から入手した決勝と準決勝の棋譜です。

(;GM[1]SZ[19]
PB[CGI]
PW[DeepZenGo]
DT[2017-08-17]RE[W+R]KM[7.5]RU[Chinese]
;B[pq];W[pd];B[cp];W[dd];B[qf];W[nc];B[md];W[mc];B[ql];W[ep]
;B[gq];W[cq];B[jp];W[cn];B[bq];W[dq];B[do];W[bp];B[bo];W[co]
;B[ap];W[dp];B[cm];W[bn];B[bm];W[dn];B[dm];W[an];B[cf];W[fd]
;B[fm];W[oo];B[np];W[no];B[mp];W[ol];B[pj];W[qm];B[rm];W[rn]
;B[qn];W[pm];B[ro];W[rl];B[sn];W[qk];B[qj];W[rj];B[ri];W[nj]
;B[sj];W[rk];B[pk];W[pl];B[nh];W[mo];B[pn];W[on];B[nm];W[nl]
;B[mm];W[po];B[qp];W[oi];B[qh];W[lp];B[om];W[oq];B[km];W[ll]
;B[lm];W[pr];B[qr];W[kq];B[lj];W[mi];B[or];W[qo];B[rn];W[rp]
;B[op];W[ko];B[sl];W[pp];B[qq];W[lk];B[jk];W[in];B[kj];W[lh]
;B[jo];W[jn];B[kn];W[hp];B[kp];W[lo];B[jq];W[nq];B[mq];W[jr]
;B[lq];W[kr];B[nn];W[lr];B[mr];W[ms];B[nr];W[iq];B[mn];W[pi]
;B[qi];W[jl];B[il];W[ik];B[ij];W[hk];B[kl];W[hl];B[fo];W[en]
;B[fn];W[em];B[el];W[fl];B[eo];W[bp];B[hr];W[ir];B[cp];W[io]
;B[ln];W[bp];B[ek];W[cp];B[gl];W[hj];B[fi];W[dg];B[ii];W[hi]
;B[di];W[fp];B[ee];W[de];B[nf];W[ih];B[df];W[ef];B[eg];W[ff]
;B[fg];W[lf];B[kg];W[lg];B[lc];W[ld];B[nd];W[ne];B[gf];W[fe]
;B[le];W[kd];B[od];W[oc];B[ke];W[me];B[oe];W[mf];B[je];W[kc]
;B[of];W[jg];B[lb];W[kb];B[hg];W[if];B[ge];W[ie];B[gd];W[hc]
;B[cc];W[bd];B[bf];W[gc];B[cd];W[dc];B[cb];W[rd];B[qc];W[qd]
;B[db];W[eb];B[pc];W[pb];B[qb];W[ob];B[rb];W[rc];B[sb];W[ra]
;B[re];W[qa];B[jm];W[am];B[bk];W[ak];B[aj];W[bl];B[cl];W[al]
;B[cj];W[dk];B[dj];W[oj];B[ip];W[gp];B[sk];W[ql];B[qe];W[sc]
;B[hq];W[fq];B[fb];W[ea];B[pe];W[sa];B[hd];W[id];B[fc];W[ed]
;B[hm];W[hh];B[ho];W[hn];B[ic];W[ga];B[mj];W[ni];B[jd];W[ib]
;B[ce];W[ec];B[hb];W[gb];B[jb];W[jc];B[fr];W[hs];B[ka];W[ja]
;B[kh];W[kf];B[jh];W[gh];B[gg];W[go];B[gr];W[er])

(;GM[1]SZ[19]
PB[FineArt]
PW[DeepZenGo]
DT[2017-08-17]RE[W+R]KM[7.5]RU[Chinese]
;B[pd];W[dp];B[qp];W[dc];B[fq];W[cn];B[lq];W[pm];B[op];W[qj]
;B[qh];W[kp];B[de];W[kq];B[lp];W[lo];B[ko];W[mo];B[np];W[jo]
;B[kn];W[ip];B[dr];W[cq];B[ep];W[gp];B[do];W[eo];B[co];W[dn]
;B[bp];W[bo];B[cp];W[bq];B[dq];W[ap];B[dp];W[bm];B[hr];W[kl]
;B[ec];W[eb];B[ed];W[fc];B[fb];W[gb];B[db];W[fa];B[cc];W[qf]
;B[pf];W[pe];B[qe];W[oe];B[qd];W[pg];B[rf];W[qg];B[rg];W[ph]
;B[ge];W[od];B[hc];W[rh];B[cj];W[ob];B[pb];W[ej];B[ic];W[cb]
;B[da];W[cd];B[dd];W[bc];B[dc];W[ch];B[bg];W[bh];B[cg];W[dh]
;B[fo];W[en];B[jn];W[in];B[lm];W[ll];B[mm];W[nn];B[jm];W[ik]
;B[jk];W[jl];B[im];W[hn];B[il];W[hk];B[gm];W[fn];B[ml];W[po]
;B[pp];W[lj];B[mj];W[mi];B[mk];W[li];B[pk];W[qk];B[on];W[om]
;B[no];W[mn];B[jj];W[lk];B[gk];W[gj];B[ql];W[ok];B[fk];W[fj]
;B[oj];W[pj];B[ni];W[oi];B[nj];W[nm];B[nh];W[mg];B[pl];W[rl]
;B[of];W[og];B[mh];W[lh];B[lg];W[ng];B[ji];W[jh];B[hj];W[hi]
;B[ij];W[ih];B[hl];W[fl];B[ek];W[dk];B[el];W[fm];B[dj];W[cl]
;B[gn];W[go];B[fp];W[iq];B[bk];W[fh];B[gq];W[hq];B[dl];W[ck]
;B[bl];W[cm];B[ho];W[hp];B[kr];W[jq];B[bj];W[an];B[gi];W[gh]
;B[ii];W[hh];B[ei];W[fi];B[al];W[am];B[ar];W[aq];B[br];W[qm]
;B[oc];W[nc];B[pc];W[aj];B[nd];W[bi];B[ne];W[lf];B[kg];W[kh]
;B[kf];W[ke];B[mf];W[jf];B[le])



ICBM3 on CGOS19  投稿者:gg 投稿日:2017年 8月21日(月)14時09分25秒
CGOS 19x19 の ICBM3 は死石を打ち上げてないため,勝ってる碁を負けと判定されてます.もしここを見ていたら,プログラムを修正して下さい.



CGOS Bot Operators Community  投稿者:山下 投稿日:2017年 9月 3日(日)23時37分16秒
海外の囲碁の掲示板でCGOSの話をしましょう!スレッドが立っているそうです。
https://lifein19x19.com/forum/viewtopic.php?f=18&t=14504



CGOSのサーバを修正  投稿者:山下 投稿日:2017年 9月14日(木)03時08分16秒
CGOSの19路が最近よく止まっていたのですがログを見ていると
3回中3回とも
proc infoMsg {msg} 関数の中の全員に通知メッセージを送るとことで
止まっていました。

error writing "sock18": connection reset by peer
    while executing
"puts $soc "info $msg""
    (procedure "infoMsg" line 8)

ですので
puts $soc "info $msg"

catch {puts $soc "info $msg"}
に修正して再起動しました。

Tcl/Tkの socket -server で呼ばれる関数がマルチスレッドかどうか
よく分からないのですが 観戦用のクライアントに送るコードには
catch {puts $v "info $msg"}
と catch が入ってたので単なる入れ忘れっぽいです。

これで安定するかどうか分かりませんが・・・。
ちなみに現在のサーバのソースは下です。
http://www.yss-aya.com/20170914cgos_yama.zip
cgos.tcl    ... サーバ
webuild.tcl ... html作成用
viewer.cgi  ... sgf viewer



AQが公開されました  投稿者:gg 投稿日:2017年 9月18日(月)01時24分1秒
GitHub の ymgaq/AQ です.
#そのままだと投稿できないので,前半をカットしてます.



Re: AQが公開されました  投稿者:山下 投稿日:2017年 9月18日(月)11時24分46秒
なぜかGitHubへのリンクはこの掲示板はErrになるのですよね・・・。

囲碁ソフト「AQ」を公開しました!
https://twitter.com/ymg_aq/status/909433035430420480



AlphaGo Zero  投稿者:荒木(ark) 投稿日:2017年10月19日(木)07時40分16秒
AlphaGoの新しい論文だそうです。
https://deepmind.com/blog/
https://deepmind.com/documents/119/agz_unformatted_nature.pdf
http://www.nature.com/nature/journal/v550/n7676/full/nature24270.html



Re: AlphaGo Zero  投稿者:山下 投稿日:2017年10月19日(木)07時44分48秒
衝撃ですね・・・。
内容は囲碁の知識などは一切なしで、ルールのみから作ったものが
セドル版のAlphaGoに100-0で勝つほど強くなったそうです。

1. 人間の知識などはいっさいなく、囲碁のルールのみ、からの自己対戦による強化学習
2. 入力は黒と白の石の配置のみ。ダメの数とかは一切なし。
3. Policy、Value、などと分割せずに、1つのネットワーク。
4. モンテカルロ法(Rollout)は使っていない。

個人的には 4. が衝撃でした。
以下はメモです。

--------------------------------------------------------
人間がよく打つ隅の定石を見つけた(5つの例)。
33に入る定石は5手目に黒がケイマに飛ぶ形を最終的に好む
学習の初期は石を取ることを好み、次に死活の基礎を学び、最終的にバランスが取れた美しい手を打つ
学習から36時間でセドル戦のバージョンに追いついた。
セドル版には100-0で勝つ。
プロの手の一致率は48%ぐらいと低い。プロの手から学習したものは54%ぐらい。
ResNetが単なるConvolutionより優秀で、PolicyとValueを一つのネットワークで評価するのが優秀。

出力はValueとPolicy。一つのネットワーク。
入力は石の配置と着手履歴(棋譜)。
  0から7手前までの黒、白の配置と手番(17面)
ResNetを使ってる。Batch Normalizationあり。
  40 Residual Block
  1 Block は (3x3 256, BN, ReLU)が2つ。つまり 80層のConvolution
ZeroはMasterに89勝11敗
MasterはZeroと同じ手法で作られているが、人が作ったRolloutは使っていた。

学習段階ではMCTSを使ってる。
学習の中に先読みを取り入れた、新しい強化学習
--------------------------------------------------------



Re: AlphaGo Zero  投稿者:山下 投稿日:2017年10月19日(木)08時22分17秒
NHKや新聞各社でも取り上げられています。

囲碁AIが「独学」で最強に グーグル、産業応用探る
https://www.nikkei.com/article/DGXMZO2240734018102017TI1000/
「AlphaGo」が進化 囲碁の打ち手教えずに従来型破る
http://www3.nhk.or.jp/news/html/20171019/k10011182291000.html
最強AI「アルファ碁ゼロ」、人間の棋譜頼らず強くなる
http://www.asahi.com/articles/ASKBF55WWKBFULBJ00H.html
アルファ碁、さらに進化=自己学習のみで最強に−グーグル
https://www.jiji.com/jc/article?k=2017101900097&g=int
「アルファ碁ゼロ」最強AI、人間の棋譜頼らず強くなる
http://www.huffingtonpost.jp/2017/10/18/alphago-zero_a_23248198/

NHKの動画の「中国のトップ棋士を破ったAlphaGoに圧勝」
は「韓国の」の間違いですね。文章の記事では直っていますが。



Re: AlphaGo Zero  投稿者:山下 投稿日:2017年10月19日(木)09時41分3秒
自己対戦の棋譜はこちらにあるようです。

AlphaGo Zeroの自己対戦の棋譜
https://www.nature.com/nature/journal/v550/n7676/extref/nature24270-s2.zip



Re: AlphaGo Zero  投稿者:山下 投稿日:2017年10月19日(木)12時28分42秒
Figure 3 の a が見直すとEloが-3500から+4500ぐらいまで上がってますね。
セドルが+3500としても、囲碁の初心者(ランダムプレイヤー)が-3500で
7000点も差があるのですね。
囲碁はよく50級、とか適当なランク?をつけてましたが、
100点1級としても70ランク差、10段から60級ぐらいまで存在することになるのですね。



Re: AlphaGo Zero  投稿者:nn 投稿日:2017年10月20日(金)14時15分3秒
Figure 3をみると、20ブロック、64GPUで50時間
KGSデータのみ、かつrollout無しで3500 Elo行けるという事ですかね



Re: AlphaGo Zero  投稿者:gg 投稿日:2017年10月22日(日)10時27分42秒
>Figure 3をみると、20ブロック、64GPUで50時間
この 64 GPU は Optimisation の分で,Self-Play などのハードは書いてありません.
ざっと計算すると TPU v2 500台以上のようです.
#Google お得意の misleading ですが,論文でこれは困りますね.



Re: AlphaGo Zero  投稿者:nn 投稿日:2017年10月22日(日)17時51分27秒
KGSデータの学習実験はセルフプレイ部は関係ないのでは?



CGOSの再起動  投稿者:山下 投稿日:2017年10月23日(月)08時08分15秒
今朝の06:18頃にサーバが止まっていました。sshやhttpも繋がらなくなっていたので
VPS本体のトラブルかもしれません。
まだ不安定なようですが、9,13,19路をバックアップを取って再起動しておきました。



数学セミナーにPonanza Chainerの記事  投稿者:山下 投稿日:2017年10月25日(水)00時53分30秒
2017年11月号の数学セミナーにPonanza Chainer記事が出ています。
Preferred Networks社の「ディープラーニングのインパクト」の章です。

手の並び替えの使っている、とのことでしたが、
どの手が最善手かを調べるCNNが返した手が、まだCPU側で探索してなければその手を次から読む、
とのことでした。
非同期で動き、結果が返るまでに1msぐらいかかるそうです。

ネットワークの構造や入力データに関してはありませんでした。

数学セミナー2017年11月号|日本評論社
https://www.nippyo.co.jp/shop/magazines/latest/4.html



Re: AlphaGo Zero  投稿者:gg 投稿日:2017年10月25日(水)01時35分11秒
>KGSデータの学習実験はセルフプレイ部は関係ないのでは?
この実験,VN の作り方が書いてないんですが...はて?
#何か勘違いしてそう.



Re: 数学セミナーにPonanza Chainerの記事  投稿者:gg 投稿日:2017年10月25日(水)01時38分19秒
この数セミ,私の記事も載っててお得になっております(笑)
ので,是非お買い求め下さい (_ _).



Re: AlphaGo Zero  投稿者:nn 投稿日:2017年10月25日(水)06時13分16秒
>この実験,VN の作り方が書いてないんですが...はて?

For comparison, we also trained neural network parameters θSL by supervised learning.
The neural network architecture was identical to AlphaGo Zero.
中略
By using a combined policy and value network architecture, and by using a low weight on
the value component, it was possible to avoid overfitting to the values

と書いてありますので、VNとPNは統合されていると思います。



Re: AlphaGo Zero  投稿者:gg 投稿日:2017年10月25日(水)11時55分4秒
NN が統合されてても,VN 側の出力から何か与えて訓練しないと強くならないでしょ?
そこをどうやってるかが分からない...Lee と同じなのか Zero と同じなのか.
まさか PN として SL しただけで強くなるなんてことは無いよね?



Re: AlphaGo Zero  投稿者:nn 投稿日:2017年10月25日(水)16時47分56秒
Mini-batches of data (s, π, z) were sampled at random from the KGS data-set,
setting πa = 1 for the human expert move a.

KGSの棋譜の勝敗zを与えていますが他に何か必要でしょうか?



数学セミナーの千田6段の記事  投稿者:山下 投稿日:2017年10月26日(木)03時12分6秒
千田6段も「棋士の認識とコンピュータ将棋の影響」という記事を書かれています。

初手から▲76歩△84歩▲68銀△34歩から始まる矢倉の5手目、▲66歩が2016年には
半減し、ほぼ▲77銀になった。理由は居飛車の左美濃(△31玉△22角型)からの急戦で
潰されるからだそうです。

また角換わりで▲48金▲29飛▲37桂と打ち込みの隙をなくす型が2016年には2年前の3倍に増加。
バランスが良いのが特徴です。

これらはソフト由来の指し方で、千田6段は今年、▲48金▲29飛▲37桂型を広めたことで
創造的な手を指した人に送られる「升田幸三賞」を受賞されてます。



Re: AlphaGo Zero  投稿者:zakki 投稿日:2017年10月26日(木)12時16分59秒
PNとVNを統合して人間の棋譜の着手と勝敗結果だけから学習させるのはRnで部分的にはやれてますし、レーティングでFanとLeeの間くらいなのはおおむねそんなもんじゃないかと思います。
VNのロスの比率を0.1倍するのは試してみて過学習避けられなかったので最終局面の地も対象にいれるようにしたのですが、0.01だと(Rnより数倍は大きいZeroのネットワークでも)普通に学習できてるのようなのでもうちょっといろいろ試せばよかった…。



Re:数学セミナーの千田6段の記事  投稿者:都万 投稿日:2017年10月27日(金)05時35分34秒
ゲッ、そうなの?
矢倉5手目の6六歩を指しちゃいけないなんて、初めて聞いた。
3一玉、3二銀型なんて食らったことないからわからないけど、・・・・・
そう言えば、NHK杯なんかで矢倉を見る機会が少なくなった感じはします。
うーん、隠岐に帰ってから道場で将棋を指すことがなくなったから、よくわからないけど、勉強になりました。



Amazon EC2 P3 Instances  投稿者:山下 投稿日:2017年10月27日(金)08時20分1秒
Amazon EC2 にP3 インスタンスが出来たようです。
最大8GPUで、P2より14倍速いとか。

1xGPU: p3.2xlarge:   8 vCPU,  61 GB,  $3.06/h
4xGPU: p3.8xlarge:  32 vCPU, 244 GB, $12.24/h
8xGPU: p3.16xlarge: 64 vCPU, 488 GB, $24.48/h

Remiいわく、4x のTPUを超えてるんじゃないか、と
[Computer-go] Amazon EC2 P3 instances with 8xV100!
http://computer-go.org/pipermail/computer-go/2017-October/010413.html

新インスタンス- NVIDIA Tesla V100 GPUを最大8個搭載したAmazon EC2インスタンス P3
https://aws.amazon.com/jp/blogs/news/new_amazon_ec2_instances_with_up_to_8_nvidia_tesla_v100_gpu_p3/
Introducing Amazon EC2 P3 Instances
https://aws.amazon.com/jp/about-aws/whats-new/2017/10/introducing-amazon-ec2-p3-instances/



AI 竜星戦2017  投稿者:山下 投稿日:2017年10月27日(金)20時18分59秒
UEC杯の後継大会であるAI 竜星戦2017のHPが出来ています。
http://www.igoshogi.net/ai_ryusei/01/

12月9日(土)、10日(日)の2日間、秋葉原で開催されるそうです。



Re: AlphaGo Zero  投稿者:gg 投稿日:2017年10月28日(土)01時05分29秒
>KGSの棋譜の勝敗zを与えていますが他に何か必要でしょうか?
あ,そういうことですか,それは想定外でした.ありがとうございます.
しかし,とするとこれは KGS の対局結果で訓練してプロの対局結果との誤差を
調べてるわけで,一体どういう意味があるのか...?
AlphaGo が KGS の 6d 以上の平均より強い(プロに近い)こと?



最後のKGS月例botトーナメント  投稿者:gg 投稿日:2017年11月 5日(日)09時18分2秒
今日の深夜 25時から KGS の 11月月例ボット大会がありますが,
これが最後の大会です.参加者の減少で Nick さんが終了を決断
しました.これまで参加したことがある人はもちろん,ない人も
是非ご参加下さい.
<http://www.gokgs.com/tournEntrants.jsp?id=1127>.



AI竜聖戦の〆切  投稿者:gg 投稿日:2017年11月18日(土)10時16分23秒
AI 竜聖戦の申し込み締め切りは今月の 27日です.
が,なるべく早く申し込んで下さいと伊藤先生がおっしゃってましたw
http://www.igoshogi.net/ai_ryusei/01/



Re: AlphaGo Zero  投稿者:tss 投稿日:2017年11月19日(日)08時54分21秒
>1. 人間の知識などはいっさいなく、囲碁のルールのみ、からの自己対戦による強化学習
>ZeroはMasterに89勝11敗
>MasterはZeroと同じ手法で作られているが、人が作ったRolloutは使っていた。

人間の手があるほど弱くなるということでしょうか?(^^;



Re: AlphaGo Zero  投稿者:gg 投稿日:2017年11月20日(月)12時11分36秒
>人間の手があるほど弱くなるということでしょうか?(^^;
いいえ,それは DeepMind も否定しています.
Zero が Master より強い理由は value/policy network
の層数が 2倍(40から 80)に増えているためで,
実際,40層の Zero (論文の 1st instance) はセドル版を
超えたところで飽和してます.



適切なコミ  投稿者:HiraBot 投稿日:2017年11月20日(月)12時54分22秒
以前に komi-V4.pdf にて置き石の数と適正なコミの関係を調べたが
この時は3子までしか調べなかった。
今回9子までの置き石と適正なコミの関係を調べてグラフにした。

http://kiyoshifk.dip.jp/kiyoshifk/apk/komi-V5.pdf

綺麗な直線になっています、傾きは1子当たり約14目のコミになりました。
この直線は原点を通っていないため2子では約20目となり1子当たり10目ですが
9子では117.5目で1子当たり13目になりました。



Re: 適切なコミ  投稿者:gg 投稿日:2017年11月20日(月)19時54分41秒
こういう目的ならコミに半目を付けて持碁を白勝ちにするのは良くありません.
コミを整数にして持碁ありにすべきです.どちらも強いプログラムの場合,
ほとんどの対局が引き分けになる可能性が高いので.また,PN だけでは強さが
足りず,コミは小さめに出るはずです.
なお,失礼ながら,今の Hirabot の PN だけの対局では「適切なコミ」を
云々するには弱過ぎます.これは Hirabot だけの話ではなく,今の囲碁ソフトは
どれも,九路の適切なコミを調べるにもまだ弱過ぎると思われます.



Re: 適切なコミ  投稿者:HiraBot 投稿日:2017年11月21日(火)00時24分1秒
"「適切なコミ」を云々するには弱過ぎます"  との事ですが

3d 同士の対戦として十分に意味のあるデータになっていると思います



5路から9路のコミ予測  投稿者:山下 投稿日:2017年11月21日(火)01時35分26秒
以前、小さい碁盤でのコミをAyaの自己対戦から推測する、というのをやったことがあります。
2012年の実験ですが、6路盤の初期局面で、コミを変えて長考させて勝率を調べる、
とうものです。
かなり雑ですが、下のような結果でした。6路ぐらいまではそこそこ正確な感じです。

         Aya 人間(機械解析)
2路 コミ  0
3路 コミ  9   9
4路 コミ  2   0
5路 コミ 25  25
6路 コミ  4   4
7路 コミ  8   9
8路 コミ  6   ?
9路 コミ  6   ?
10路 コミ  5   ?
---------------------------------------------------------
100万playout(2スレッド、1分30秒くらい)ほど考えさせて、
黒の勝率が5割を切るところが正しいコミだとしています。
---------------------------------------------------------
2路
コミ  勝率  初手
0.0  0.501 (2,2) 整数コミ
0.5  0.002 (1,1)
1.5  0.000 (1,1)
3.5  0.001 (1,1)

3路
コミ  勝率  初手
0.5  0.990 (2,1)
6.5  0.990 (2,2)
8.5  0.990 (2,2)
9.0  0.498 (2,2) 整数コミ
9.5  0.006 (2,2)

4路
コミ  勝率  初手
0.5  0.950 (2,2)
1.5  0.950 (2,3)
2.0  0.499 (3,2) 整数コミ
2.5  0.075 (2,3)
3.5  0.074 (2,2)
6.5  0.072 (2,2)

5路
コミ  勝率  初手
0.5  0.938 (3,3)
6.5  0.881 (3,3)
10.5  0.856 (3,3)
20.5  0.735 (3,3)
21.5  0.661 (3,3)
22.5  0.590 (3,3)
23.5  0.552 (3,3)
24.5  0.535 (3,3)
25.0  0.432 (3.3) 整数コミ
25.5  0.166 (3,3) このコミで黒が勝つことがある?
26.5  0.166 (3,3) 3コウとかの引き分け判定かも
27.5  0.065 (3,3)

6路
コミ  勝率  初手
2.5  0.635 (4,4)
3.5  0.599 (3,4)
4.0  0.282 (4,4) 整数コミ
4.5  0.224 (3,4)
5.5  0.233 (3,4)

7路
コミ  勝率  初手
6.5  0.585 (4,4)
7.0  0.562 (4,4) 整数コミ
7.5  0.497 (4,4)
8.0  0.480 (4,4) 整数コミ
8.5  0.476 (4,4)
9.0  0.437 (4,4) 整数コミ
9.5  0.350 (4,4)

8路
コミ  勝率  初手
4.5  0.557 (4,4)
5.5  0.528 (4,5)
6.0  0.515 (5,4) 整数コミ
6.5  0.452 (5,4)
7.5  0.434 (4,4)

9路
コミ  勝率  初手
5.5  0.502 (4,5)
6.0  0.485 (7,7)
6.5  0.486 (5,5)
7.5  0.471 (5,5)

10路
コミ  勝率  初手
3.5  0.529 (4,4)
4.5  0.504 (7,7)
5.5  0.489 (7,4)
6.5  0.475 (4,7)
7.5  0.459 (4,7)



Re: 適切なコミ  投稿者:gg 投稿日:2017年11月21日(火)13時06分10秒
つまり 3段同士の対局に「適切な」コミを求めたということでしょうか?
コミを対局者の段位によって変えることがない以上,それを「適切」なコミ
と呼ぶのは妙でしょう.私は「一般的に」適切なコミの話だと思ったので,
弱過ぎますと書きましたが,そういう意図ならちゃんと「3段同士の対局に
適切なコミ」と題して下さい.



Re: 適切なコミ  投稿者:HiraBot 投稿日:2017年11月21日(火)14時02分30秒
>「3段同士の対局に適切なコミ」

学術論文ではないのでそこまで厳密に用語を選定しておりません。



Mastering Chess and Shogi by Self-Play with a General Reinfo  投稿者:山下 投稿日:2017年12月 6日(水)13時46分6秒
DeepMindが世界最強の将棋、チェスを作ったようです。

Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm
https://arxiv.org/pdf/1712.01815.pdf

AlphaGo Zeroでやったゼロから強化学習だけで強くする手法を一般化して
Chess、将棋、囲碁で試し、
将棋では学習から2時間でElmoを超えたそうです。
チェスは4時間でStockfishを超えています。
囲碁は8時間でセドルと対戦した版を超えています。

探索はMCTSで、将棋だと1秒間に4万局面しか読まないそうです。
Elmoは3500万局面/秒(64スレッド)
Elmoに100戦して90勝8敗2引、だそうです。

MCTSで、AlphaBetaをあっさり抜き去るとは驚きました。
1000倍程度の探索速度の差をあっさり評価関数で埋めた、ということかもしれません。



Re:Mastering Chess and Shogi by Self-Play with a General Rei  投稿者:tss 投稿日:2017年12月 6日(水)18時57分58秒
ディープラーニングは将棋でも有効かといった議論も愚論のごとく学習から2時間でElmoを超えたというのは驚きですねー(^^;
来年の選手権でネット出場するのなら楽しみでもあります。

ソフト名が「マスター」であれば、私の妄想が実現、予言したことにもなるんですが・・・(なんのこっちゃー)(^^A



Re:Mastering Chess and Shogi by Self-Play with a General Rei  投稿者:gg 投稿日:2017年12月 7日(木)17時42分58秒
>探索はMCTSで、
Rollout が無いので,これは単なるベストファーストサーチでしょう.論文に何と書いてあろうが.



OpenBLAS を試す  投稿者:HiraBot 投稿日:2017年12月10日(日)21時29分53秒
ニューラルネットの計算を CPU で行うとき AVX 命令を使用した自作プログラム
を使用していましたが、一般的に使用されている BLAS ライブラリを使用した方が
良いように思えてきたので OpenBLAS のスピードを測定しました。

http://blog.livedoor.jp/kiyoshifk/archives/2017-12.html

コンパイルオプションを変えて測定した結果は下記の通りです
1000x1000行列積、i7-4790k にて

CORE2         299ms
SANDYBRIDGE   159ms
HASWELL       117ms

コンパイルオプションによって2〜3倍の速度差が出ました。



Amazon EC2 p3.2xlarge にcaffeをインストール際のメモ  投稿者:山下 投稿日:2017年12月11日(月)16時00分51秒
例によってCaffeのインストールに苦労したのでメモを残しておきます。

AMIはCaffe2は入ってない方を
Deep Learning Base AMI (Ubuntu) Version 1.0 - ami-a1e534d9
Deep Learning base AMI with NVidia drivers like CUDA 8 and 9, CuDNN 6 and 7, CuBLAS 8 and 9, NCCL and more

$ nvidia-smi は最初から通る。ドライバ、CUDA以外は古いがここを参考に
"Install-Caffe-on-EC2-from-scratch-(Ubuntu,-CUDA-7,-cuDNN-3)"
をググる。guthubのurlはこの掲示板ではエラーなので。

$ nvcc -V
Cuda compilation tools, release 9.0, V9.0.176

最初の ubuntu の .bashrc にある PATH 以下をコピー。nvcc が見えないので。
export PATH=/usr/local/cuda/bin:/usr/local/bin:/opt/aws/bin:/home/ubuntu/src/cntk/bin:/usr/local/mp$
...

vi Makefile.config で
# For CUDA >= 9.0, comment the *_20 and *_21 lines for compatibility.
なので、コメントアウト。

hdf5.h: No such file or directory
なので
Makefile.config では
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial/
Makefile では
LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial
と修正。

fatal error: numpy/arrayobject.h: No such file or directory
が出たので、
Makefile.config の PYTHON_INCLUDE := に1行追加。numpy/arrayobject.h の場所を指定。
/usr/local/lib/python2.7/dist-packages/numpy/core/include

undefined reference to `cv::imread(cv::String const&, int)'  と出るので
Makefile.config の以下を有効に
OPENCV_VERSION := 3

make clean で全部作り直すと通った。
make runtest -j8 は 失敗。でも学習が動くしいいか。
349 FAILED TESTS

./examples/mnist/train_lenet.sh は 11秒。



AI竜星戦2017雑感  投稿者:山下 投稿日:2017年12月11日(月)17時34分5秒
参加18チーム、は少しさみしかったですが海外チームが4つ(中国3、韓国1)も来てくれて感謝!
AyaもUEC杯(3月)から+300Eloぐらいは強くなっていたんですが
モンゴルの大会(8月)から+600、
モンゴルの大会版に2子で負けない、
UEC杯から+800?
とか他のチームの伸びがめちゃくちゃで順当な7位に。
NHKの囲碁フォーカスで司会をされているダイアナさんが同時通訳の司会をされていて
これが素晴らしい!
囲碁用語を完璧に訳してくれるし、面倒なところは「ラッキー♪」と
NHKの乗り、そのままで意訳してくれて大いに受けてました。

決勝だけ p3.16xlarge を借りようとしたのですが、当日試すと
君はダメ、申請してね、と拒否。あわてて申請したもの30分以内には許可されず
仕方なく p3.8xlarge を1つ借りました。こちらは問題なくOK。
AQの山口さんいわく、16x はお得意様?でないと使えないらしく、ある程度
EC2を使ってないと使わせてもらえないみたいです。
1年前はg2を10台とか借りてたんですが・・・。

MCとValueNetの値を混ぜる割合を進行度で変える、という話を大会で聞いたので
140手まで0.2、300手で0.8になるようにすると自己対戦であっさり6割で勝ち越しました。
ほんとMCはもう不要な存在になってきてますね。
上位のプログラムはValueNetの正確性だけでどんどん棋力が上がっている印象です。



(無題)  投稿者:zakki 投稿日:2017年12月12日(火)10時19分38秒
EC2のインスタンス制限解除は専用のフォームから申し込んで、「GPUインスタンスでスケールアウトして遊びたいので」みたいな理由になってない理由でも1〜2日で増やしてもらえました。



EC2のインスタンス制限解除  投稿者:山下 投稿日:2017年12月12日(火)17時07分27秒
むむ、そんな適当な理由でもOKなんですか。
2016年のUEC杯では g2.8xlarge を直前に4つ申し込んで断れたものの
10分後にはすぐOKメールが来て使えたのですが。
今のところp3.16xlargeの許可は来てないです。2つ、の申請がまずかったのかも。



Re: OpenBLAS を試す  投稿者:gg 投稿日:2017年12月12日(火)17時49分12秒
最近は OpenBLAS より Eigen を使う人が多いようです.一度お試しあれ.
http://eigen.tuxfamily.org/
なお,Haswell から後は FMA 命令があるので,倍近く速くなります.
また,Intel の Blas は(有料版)もっと速いと主張してます.



Rollout は不要?  投稿者:gg 投稿日:2017年12月12日(火)18時03分25秒
>ほんとMCはもう不要な存在になってきてますね
甘い! それは Aya の rollout がそれほど強くないからでしょう.
Zakki さんの実験でも,無くしてその分探索を高速化すると,一部の死活を
間違えるようになるそうです.PN の実行速度が相当速くないと無くす分を
埋め合わせるだけ深く読むことはできないみたい.
VN の大きさや学習に使う棋譜の質と量が凄ければ,また違うのかも知れませんが,
大石(ダメが多い)の死活やウッテガエシのようなのを VN で正しく評価するのは
難しいので,自分の VN の欠点を補うように rollout を削り込むするのが良いのかも
知れません.現状,名人戦第5局の井山さんの大石を正しく死んでいると判断できるソフトは,
AlphaGo を含め,無いと思います.Zen の rollout でも無理.



Re: Rollout は不要?  投稿者:gg 投稿日:2017年12月12日(火)18時04分51秒
>PN の実行速度が相当速くないと
PN/VN 両方.



Re: Rollout は不要?  投稿者:山下 投稿日:2017年12月12日(火)20時42分37秒
AlphaGoのMasterも使っていたぐらいですから、強いplayoutがあるにこしたことはないんでしょうが
重要性は1:9ぐらいに下がっている気がします。
部分の死活とかは囲碁にとっては重要性が低くて、
序盤、中盤で一路隣に打つかどうか、といった感覚的な判断の方がはるかに重要な気がします。
初期のplayoutが3目中手とか分かってなくても結構強かったのに雰囲気は似ている気が。



Re: Rollout は不要?  投稿者:山下 投稿日:2017年12月12日(火)20時57分33秒
ふと思ったのですが、盤面の空白が多い部分はValueNetの評価を優先して、
石が混みあっている隅とかはplayoutを優先する、とかできれば
強く出来るような気も。



Re: EC2のインスタンス制限解除  投稿者:zakki 投稿日:2017年12月12日(火)21時11分29秒
g2やp2の16xlargeはそれで大丈夫だったんですが、p3だと話は別なんでしょうか…



Eigen を試す  投稿者:HiraBot 投稿日:2017年12月12日(火)22時27分4秒
gg さんの推薦する Eigen を使ってみました、簡単ですね
1000x1000 行列積(double)の計算時間は 250ms でした(i7-3770kx4.2GHz)
OpenBLAS の CORE2 指定の場合とほぼ同じでした
Eigen で Sandybridge や Haswell を指定する方法をご存知でしたら教えてください。

#include "stdafx.h"
#include 
#include 
#include "Eigen/Dense"

using namespace std;
using namespace Eigen;

int main()
{
MatrixXd A = MatrixXd::Random(1000, 1000);
MatrixXd B = MatrixXd::Random(1000, 1000);

int time1 = GetTickCount();
MatrixXd solution = A * B;
printf("time=%dms\n", GetTickCount() - time1);

return 0;
}



AlphaGoTeach  投稿者:おせら 投稿日:2017年12月12日(火)23時38分39秒
(゚o゚;すごい
https://alphagoteach.deepmind.com/ja



Re: Eigen を試す  投稿者:HiraBot 投稿日:2017年12月13日(水)08時33分15秒
自己解決しました、i7-4790k にてスピード測定しました

何もなし                              262ms
__AVX__ を定義                        168ms
__AVX__ と __AVX2__ と __FMA__ を定義 106ms

となり OpenBLAS とほとんど同じスピードでした



Leela ZeroがCGOSで動いてるみたいですね  投稿者:山下 投稿日:2017年12月13日(水)18時30分33秒
この辺の掲示板で楽しんでるみたいです。
https://www.reddit.com/r/cbaduk/

Aya1PO6 というMC以前のAyaの評価関数最大の手を探索なしで選ぶプログラムに勝った、と喜んでます。
低い方の点数はかなりいい加減なので正確な点数はよく分かりませんが
MCを使わないAyaは Aya1PO6 より200点ぐらい強いだけなので、そのレベルまで
もう来てるみたいです。
結構早く、CGOS 3000点レベルまで到達するのかも・・・。

Leela Zero
http://zero.sjeng.org/



Leela Zeroの伸びがすごいです  投稿者:山下 投稿日:2017年12月15日(金)16時52分28秒
開始から +3500 Eloほど強くなって、あと +3500伸びれば
AlphaGoのセドル版に追いつきます。
AlphaGo Zeroは40時間で追いついてますが、+3500強くなったのは開始から10時間後、
つまりLeela Zeroも後、4倍ぐらい時間をかければ(8ヶ月?)セドル版のレベルに
追いつくかもしれません。まだネットワークの規模は
5 blocks x 64 filters
と実際の20 blocks x 256 filters に比べてかなり小さいですが。

http://zero.sjeng.org/



Re: Leela Zeroの伸びがすごいです  投稿者:zakki 投稿日:2017年12月15日(金)23時39分14秒
> 5 blocks x 64 filters
何となくPolicyだけ各州させるのにも容量足りないような気がしますが、飽和したら順次ネットワーク大きくするんでしょうか。



Re: Leela Zeroの伸びがすごいです  投稿者:山下 投稿日:2017年12月16日(土)00時39分3秒
> 飽和したら順次ネットワーク大きく

そんな気がします。
直前の学習用の棋譜を使えば、大きなネットでの学習は(自己対戦)に比べればすぐでしょうし。

今、1日3万棋譜ぐらい出来てますが 20 blocks x 256 filters だと
1000棋譜ぐらいまで落ちてしまうかもしれませんね・・・。
うーん、やっぱり厳しそうな気も。



Re: Rollout は不要?  投稿者:zakki 投稿日:2017年12月19日(火)12時26分55秒
> 無くしてその分探索を高速化すると,一部の死活を間違えるようになるそうです
Rn.4.20-4c 3485 (Tygem PN, Tygem VN, Ray rollout)
Rn.4.30-4c 3335 (Tygem PN, 自己対戦VN, Ray rollout)
Rn.4.31-4c 3334 (Tygem PN, Tygem VN, 軽量化Ray rollout)

軽量化版のシミュレーションではMD2パターンと一部の入力フィーチャを無効化して、1.5〜2倍程度高速化してます。
このあたりの効果はレートにして0〜150程度のようで、現状のRnのネットワークの精度ではあえて省く意味もなさそうです。
ロールアウトとVNの混合比率や探索木の展開閾値の最適化は4.20でやったときの値を使っているので、4.30や4.31について最適化すると差がもう少し縮まるかもしれません。

新規開発するならディープラーニング部分に力を入れるAQのような方針は正しそうです。



Re: Rollout は不要?  投稿者:gg 投稿日:2017年12月21日(木)10時10分7秒
CGOS の Zen-15.7nr は 15.7 の rollout を撤廃した版で,
探索速度 (pps; playout per second) は約 2倍になってます.



Leela Zeroは1日+40 Elo強くなってるみたいです  投稿者:山下 投稿日:2017年12月23日(土)20時52分44秒
CGOSのBayesEloでグラフを書いてくれた人がいて1日+40 Eloぐらい強くなってるみたいです。
自己対戦では1日+200 Eloらしいので自己対戦のインフレが5倍ぐらい出てますね。
Ayaでは2倍ぐらいでした。
https://www.reddit.com/r/cbaduk/comments/7lnjhm/graph_of_leelazeros_cgos_bayes_elo/



(無題)  投稿者:わからん 投稿日:2017年12月24日(日)02時31分56秒
今更ながらボナンザメソッドについて。

https://www.ipsj.or.jp/10jigyo/forum/software-j2008/hoki-print.pdf

これの7ページ目に「Minimax探索結果の最適制御」の箇所で
l(P,v)で始まる2個目の式はプロが指した手とプロが指さなかった手が同じ評価になるように評価関数を更新していくと言う意味になります。
でもこれだと全ての特徴を0にしておけば評価値は常に0、よってプロが指した手とプロが指さなかった手の差も常に0で学習の意味がないのでは?



Re: ボナンザメソッドについて  投稿者:山下 投稿日:2017年12月25日(月)21時38分23秒
すべての特徴が0だとしても、偏微分して傾きを求めると
プロが指した手は点数を上げる方向に、指さなかった手は下げる方向に符号がつきます。
(ペナルティを無視すれば)この符号にしたがって無理やり動かすので全部0でも値がついていきます。

具体例は下などを。

Bonanza Methodの適当な解説
http://www.yss-aya.com/bona_method.html



(無題)  投稿者:わからん 投稿日:2017年12月27日(水)22時24分40秒
山下さんありがとうございます。
微分した値が問題なんですね。