コンピュータ将棋や囲碁の掲示板 過去ログ2019年版


宮本定跡2019の公開 宮本憲一メール 2019年 1月 5日(土)22時17分36秒
Re: Leela Zeroの学習用棋譜 山下 2019年 1月11日(金)20時29分24秒
最強AI「アルファゼロ」登場で将棋は終... 山下 2019年 1月13日(日)20時26分21秒
宮本定跡2019導入による変化 宮本憲一メール 2019年 1月15日(火)11時06分6秒
Star Craft2でもDeepMindがプロに勝利 山下 2019年 1月25日(金)17時56分51秒
CSA選手権の申し込み締め切りは1月31日まで 山下 2019年 1月29日(火)20時39分38秒
LeelaZeroはPolicyが強くValueは弱い 山下 2019年 2月 2日(土)05時10分56秒
LeelaZeroについて slow learnerメール 2019年 2月10日(日)19時17分18秒
Re: LeelaZeroについて 山下 2019年 2月12日(火)01時32分0秒
nvidia-smiをテキストのグラフにするツール 山下 2019年 2月12日(火)01時35分13秒
Leela Zeroは13路でも強い 山下 2019年 2月27日(水)07時20分32秒
Re: Leela Zeroは13路でも強い 山下 2019年 3月 1日(金)17時20分14秒
ValueNetの流用 ohto 2019年 3月 3日(日)22時11分38秒
Re:最強AI「アルファゼロ」登場で将棋は... tss 2019年 3月 3日(日)22時14分12秒
Re:最強AI「アルファゼロ」登場で将棋は... 山下 2019年 3月 3日(日)23時15分1秒
Re: ValueNetの流用 山下 2019年 3月 3日(日)23時34分57秒
Re: Re: ValueNetの流用 ohto 2019年 3月 8日(金)02時51分27秒
2月出てたELFの論文 山下 2019年 3月27日(水)13時27分7秒
Accelerating Self-Play Learning in Go zakki 2019年 3月27日(水)18時12分33秒
1棋譜の何局面を学習させたか 山下 2019年 3月27日(水)20時01分20秒
Re: Accelerating Self-Play Learning in Go 山下 2019年 3月27日(水)20時11分21秒
Re: 2月出てたELFの論文 山下 2019年 3月27日(水)20時59分31秒
AlphaZeroの囲碁は2017年と2018年で全然数... 山下 2019年 3月28日(木)17時45分37秒
Computer Go mailing listが不安定みたい... 山下 2019年 3月28日(木)19時23分3秒
Re: AlphaZeroの囲碁は2017年と2018年で全... 山下 2019年 3月29日(金)19時18分11秒
AlphaZeroの囲碁は2017年と2018年で全然数... gghideki 2019年 3月31日(日)09時26分39秒
AobaZeroの棋譜を一部公開しました 山下 2019年 3月31日(日)23時14分56秒
Re: AlphaZeroの囲碁は2017年と2018年で全... 山下 2019年 4月 4日(木)23時38分4秒
△81飛△62金をもう見つけてます 山下 2019年 4月 5日(金)13時10分44秒
Re: △81飛△62金をもう見つけてます tss 2019年 4月 7日(日)14時12分37秒
名人戦第一局、豊島王位圧勝! tss 2019年 4月12日(金)20時37分6秒
Re: 名人戦第一局、豊島王位圧勝! 山下 2019年 4月14日(日)09時50分14秒
角道を止める△44歩は難しい? 山下 2019年 4月15日(月)14時12分11秒
選手権の決勝が今年もニコニコ動画で放送... 山下 2019年 4月22日(月)02時06分23秒
AobaZeroを公開しました 山下 2019年 5月 1日(水)01時02分24秒
祝!AobaZero公開 tss 2019年 5月 1日(水)18時58分35秒
Re: 祝!AobaZero公開 山下 2019年 5月 2日(木)02時37分0秒
選手権の持ち時間と引き分け手数 山下 2019年 5月 2日(木)07時29分49秒
鬼が笑う 都万 2019年 5月 8日(水)05時46分29秒
Re: 鬼が笑う 山下 2019年 5月 9日(木)21時15分28秒
Google Colaboratoryを使ってAobaZeroの棋... 山下 2019年 5月10日(金)07時06分50秒
サルでも勝てるAobaZero攻略法 tss 2019年 5月11日(土)00時25分4秒
Re: サルでも勝てるAobaZero攻略法 山下 2019年 5月13日(月)17時48分11秒
朝日新聞の夕刊に選手権の記事 山下 2019年 5月13日(月)17時48分52秒
Aobaくんレポート tss 2019年 5月15日(水)00時07分51秒
豊島名人誕生! tss 2019年 5月18日(土)09時51分19秒
Re: 豊島名人誕生! 山下 2019年 5月18日(土)21時38分59秒
Intel iGPU の OpenCL 速度(再測定) HiraBot 2019年 5月19日(日)22時42分41秒
AobaZeroのOpenCLでの速度 山下 2019年 5月20日(月)11時16分22秒
(無題) 48 2019年 5月20日(月)13時24分14秒
CUDAと多スレッド 山下 2019年 5月21日(火)11時06分50秒
LeelaZeroのネットワークサイズ変更のタイ... 山下 2019年 5月22日(水)11時18分8秒
CLBlast のベンチマーク HiraBot 2019年 5月23日(木)00時23分21秒
続・Aobaくんレポート tss 2019年 5月24日(金)20時27分4秒
AobaZero v1.2をリリース 山下 2019年 5月29日(水)21時39分37秒
CGFオープンが7月13日(土)、14日(日)に開催 山下 2019年 5月29日(水)21時40分57秒
他のAIや人間と協力しながらプレーできるAI 山下 2019年 6月 2日(日)00時56分2秒
AlphaZeroの800playoutはfloodgateで3500... 山下 2019年 6月 7日(金)04時04分41秒
AlphaZero方式で新しい概念の手を見つける... 山下 2019年 6月 9日(日)00時33分51秒
AobaZeroのソースについて 48 2019年 6月15日(土)00時15分36秒
AobaZeroのソースについて 山下 2019年 6月15日(土)12時10分21秒
「対 Kritallweizen の1手50k」のグラフも... 山下 2019年 6月16日(日)02時54分25秒
(無題) 48 2019年 6月16日(日)17時02分21秒
Re:「対 Kritallweizen の1手50k」のグラ... 山下 2019年 6月16日(日)19時42分2秒
(無題) 48 2019年 6月16日(日)21時35分19秒
Re: CGFオープンが7月13日(土)、14日(日)... 山下 2019年 6月27日(木)22時53分15秒
五目並べにていんちき強化学習してみた HiraBot 2019年 7月 3日(水)07時58分20秒
Re: 五目並べにていんちき強化学習してみた 山下 2019年 7月 4日(木)02時20分23秒
GLOBIS-AQZはAlphaZeroの6分の1ぐらいの計... 山下 2019年 7月11日(木)09時21分0秒
Re: GLOBIS-AQZはAlphaZeroの6分の1ぐらい... zakki 2019年 7月11日(木)13時28分59秒
Re: GLOBIS-AQZはAlphaZeroの6分の1ぐらい... 山下 2019年 7月11日(木)13時37分50秒
Re: GLOBIS-AQZはAlphaZeroの6分の1ぐらい... 山下 2019年 7月11日(木)17時02分9秒
CGFオープンのテストサーバー oubeika 2019年 7月11日(木)18時30分18秒
Re: CGFオープンのテストサーバー 荒木(ark) 2019年 7月11日(木)18時38分44秒
CGFオープンのテストサーバー oubeika 2019年 7月11日(木)18時47分14秒
e: CGFオープンのテストサーバー 山下 2019年 7月11日(木)18時49分58秒
CGFオープンのテストサーバー 荒木(ark) 2019年 7月11日(木)18時58分44秒
Re: CGFオープンのテストサーバー 山下 2019年 7月11日(木)19時17分2秒
Re: CGFオープンのテストサーバー 山下 2019年 7月11日(木)21時13分50秒
Re: CGFオープンのテストサーバー oubeika 2019年 7月11日(木)21時35分9秒
Re: CGFオープンのテストサーバー 山下 2019年 7月11日(木)21時54分44秒
GNU Goも64bit版だと落ちるバグが 山下 2019年 7月11日(木)22時02分10秒
Re: GNU Goも64bit版だと落ちるバグが xevi 2019年 7月13日(土)05時03分49秒
Re: GNU Goも64bit版だと落ちるバグが 山下 2019年 7月14日(日)04時06分13秒
CGFオープンの結果 山下 2019年 7月16日(火)19時48分41秒
katago_20b_800poが13路でトップに 山下 2019年 7月21日(日)23時50分27秒
CGOSが2日ほど止まります 山下 2019年 7月23日(火)02時44分2秒
cudnn 速度比較 HiraBot 2019年 7月23日(火)13時16分58秒
BayesElo 更新 HiraBot 2019年 7月27日(土)07時34分34秒
Re: BayesElo 更新 山下 2019年 7月27日(土)11時58分40秒
FloodgateのAobaZero命名則について nomius 2019年 7月27日(土)16時50分40秒
推理 masa 2019年 7月27日(土)21時35分32秒
Re: FloodgateのAobaZero命名則について 山下 2019年 7月28日(日)23時42分33秒
初めてgikou2_1cに勝ってますね 山下 2019年 7月29日(月)00時31分10秒
(無題) 48 2019年 7月29日(月)14時28分54秒
Policyでの読み抜け 山下 2019年 7月29日(月)19時32分35秒
(無題) nomius 2019年 7月30日(火)00時11分5秒
2019年中信証券杯が8月21日から25日まで 山下 2019年 7月31日(水)19時45分31秒
Google ColabのK80の割合が増えたようです 山下 2019年 8月 2日(金)17時15分2秒
囲碁世界13 coji coji 2019年 8月14日(水)15時28分53秒
Re: 囲碁世界13 山下 2019年 8月14日(水)17時21分24秒
Re: 囲碁世界13 cojicoji 2019年 8月15日(木)18時50分14秒
(無題) shota 2019年 8月17日(土)07時41分3秒
w681が送られてこない 山下 2019年 8月17日(土)09時43分34秒
Computer Go Mailing-listのページが消え... 山下 2019年 8月22日(木)22時40分30秒
CGOSのKataGoはシチョウがらみで勝ちやすい 山下 2019年 8月24日(土)13時39分51秒
強化学習のフレームワーク、OpenSpiel 山下 2019年 8月28日(水)14時27分50秒
Re: 強化学習のフレームワーク、OpenSpiel zakki 2019年 8月28日(水)22時20分51秒
AobaZeroのサーバが今朝の8時から24時間止... 山下 2019年 9月 7日(土)02時29分43秒
マルチスレッド版 48 2019年 9月 9日(月)19時34分0秒
Re: マルチスレッド版 山下 2019年 9月10日(火)19時44分37秒
tesla_spがCGOS19路の最高レートを更新 山下 2019年 9月15日(日)07時17分31秒
マイブーム tss 2019年10月 8日(火)22時15分51秒
CGOSで手数を指定して表示 山下 2019年10月 9日(水)11時10分48秒
ノイズを含まないAobaZero同士の棋譜 山下 2019年10月23日(水)06時00分42秒
第11回UEC杯 荒木(ark) 2019年10月24日(木)15時57分2秒
KG30b11_406_2x2060が9路の最高レートを更新 山下 2019年11月 2日(土)03時55分1秒
AobaZero 入玉宣言について tns 2019年11月 2日(土)08時26分22秒
Re: AobaZero 入玉宣言について 山下 2019年11月 3日(日)04時31分25秒
ColabでTesla P100が使えるように oubeika 2019年11月 8日(金)13時41分5秒
Re: ColabでTesla P100が使えるように 山下 2019年11月 9日(土)14時39分11秒
UEC杯の参加申し込みは11月25日まで 山下 2019年11月20日(水)10時54分54秒
Leela Zeroの成長は止まってる? 山下 2019年11月26日(火)12時14分18秒
LeelaZeroの自己対戦の黒の勝率は下降傾向 山下 2019年12月13日(金)00時22分0秒
LeelaZeroが2020年1月末で終了予定 山下 2019年12月17日(火)15時14分42秒
Re: LeelaZeroが2020年1月末で終了予定 zakki 2019年12月17日(火)15時44分29秒
Re: LeelaZeroが2020年1月末で終了予定 山下 2019年12月17日(火)18時06分21秒
セドル対HanDolでゲタの読み抜け 山下 2019年12月19日(木)13時18分25秒
MuZero おせら 2019年12月21日(土)21時39分46秒
(無題) 最新weightファイル 2019年12月22日(日)11時28分30秒
Re: 最新weightファイル 山下 2019年12月22日(日)13時26分59秒
Re: MuZero zakki 2019年12月23日(月)21時26分55秒
Re: MuZero 山下 2019年12月24日(火)04時21分48秒
Re: MuZero zakki 2019年12月24日(火)09時18分58秒




宮本定跡2019の公開  投稿者:宮本憲一メール 投稿日:2019年 1月 5日(土)22時17分36秒
1998年から、柿木将棋を使って定跡ファイルを作り始めて、登録棋譜数が4万500になりました。
登録手数は93万手以上になりました。
時代遅れのことを続けているという認識はありますが、数は少なくとも利用してくださる方がいる限りは登録を続けたいと思っています。

http://jyouseki.g1.xrea.com/


Re: Leela Zeroの学習用棋譜  投稿者:山下 投稿日:2019年 1月11日(金)20時29分24秒
昨日から -m 30 に戻ったようですね。 -v 1601 はそのままのようです。

randomcnt 999->30; visits 1601 -> playouts 800
https://github.com/gcp/leela-zero-server/pull/216 

最強AI「アルファゼロ」登場で将棋は終わるのか  投稿者:山下 投稿日:2019年 1月13日(日)20時26分21秒
滝沢先生の記事が読売新聞に掲載されています。

最強AI「アルファゼロ」登場で将棋は終わるのか
https://www.yomiuri.co.jp/fukayomi/ichiran/20190111-OYT8T50014.html 

宮本定跡2019導入による変化  投稿者:宮本憲一メール 投稿日:2019年 1月15日(火)11時06分6秒
宮本定跡2019を公開してからしばらくたちましたが、連絡をくださった方はいません。
私の周囲では『柿木将棋\』の最高レベルより強い人がいなくなってしまったので、
宮本定跡、特に「一般型」を導入することによる変化をぜひお教えください。

http://jyouseki.g1.xrea.com/


Star Craft2でもDeepMindがプロに勝利  投稿者:山下 投稿日:2019年 1月25日(金)17時56分51秒
去年の段階では部分的なモデルで動いていた、と聞いてたのですが
あっさり勝ってしまうのですね。

DeepMindの「AlphaStar」、「スタークラフト2」のプロトップゲーマーに圧勝
http://www.itmedia.co.jp/news/articles/1901/25/news074.html
AlphaStar: Mastering the Real-Time Strategy Game StarCraft II
https://deepmind.com/blog/alphastar-mastering-real-time-strategy-game-starcraft-ii/
1/3 Really proud to share #AlphaStar with the world - a milestone for game-playing AI, and the first system to beat a top pro at #StarCraft2.
https://twitter.com/demishassabis/status/1088537079510908930 

CSA選手権の申し込み締め切りは1月31日まで  投稿者:山下 投稿日:2019年 1月29日(火)20時39分38秒
今年の選手権の締め切りは1月31日までとなっています。
今年の選手権はドワンゴから賞金総額200万円が提供されます。
選手権に賞金がつくのは20年ぶりとのことです。
http://www2.computer-shogi.org/ 

LeelaZeroはPolicyが強くValueは弱い  投稿者:山下 投稿日:2019年 2月 2日(土)05時10分56秒
Leela Zeroの195回目の更新版とELFのv1をplayout回数を800回に固定すると
ほぼ同じ強さになります。
しかし、1 playoutだと(=Policyの最善を選ぶ)、ELFより200点ほど強いです。

つまりLZはPolicyがより強く、Valueは正確でないことになります。
これは半年ぐらいより乱数性が高い学習をしてきたせいかと思われます。
ただ1000点も弱い棋譜なのにValueがそこそこ学習できているのは意外ですが。

なお、Policyは実際に打った棋譜の手でなく探索時の着手確率から学習させてるので
影響はないと思われます。

                       Rate    差
LZ_d13c_ELFv1_p800     3531  +632
LZ_d13c_ELFv1_p1       2899

LZ_195_8b28_p800       3580  +485  Valueありで探索してもELFv1より伸びが小さい
LZ_195_8b28_p1         3095

LZ_195_8b28_p800       3580  +128   playoutが倍で128点差
LZ_195_8b28_v1601      3540   +88
LZ_195_8b28_p400       3452  基準
LZ_195_n_m30_p400      3264  -188   学習用自己対戦は200点ほど弱い
LZ_195_8b28_p1         3095  -357
LZ_195_n_m999_p400     2134 -1318   より乱数性を上げたLZの自己対戦は1300点弱い

(CGOSのBayesEloでの比較)
この結果はほとんど自己対戦、もしくは探索部が同じでネットワークが違うだけ、なので
実際の差はこれより小さくなると思われます。 


LeelaZeroについて  投稿者:slow learnerメール 投稿日:2019年 2月10日(日)19時17分18秒
最新のLeelaZero playout 4000 とELFv1 playout 10000でほぼ同じ時間の考慮時間になりますが、
私が両者を20局対戦させた結果、
LeelaZeroの16勝4敗でほぼ圧倒的に8割の勝率なんですがねえ、何か私のやり方が 間違ってるんでしょうか?逆転したのは、ここ1ヶ月です。
2019-02-02 14:45版のlielaZero ものすごく強くなっていると思います 


Re: LeelaZeroについて  投稿者:山下 投稿日:2019年 2月12日(火)01時32分0秒
   GCPによるとELFv1には100Eloほど強いらしいので
もう少し対戦数を増やせば勝率6割ぐらいに落ちつくかもしれません。
(どういった対戦条件で+100なのかは不明ですが)
https://github.com/leela-zero/leela-zero/issues/2157#issuecomment-456516287


nvidia-smiをテキストのグラフにするツール  投稿者:山下 投稿日:2019年 2月12日(火)01時35分13秒
nvidia-smiの出力をテキストのグラフ化してくれるツールがちょっと探して見つからなかったので作ってみました。
http://www.yss-aya.com/smig.rb
ruby smig.rb で動きます。
下のような感じで、右上は1分、5分、15分のGPU使用率の平均です。
数字の1から9で更新される秒数の変更とGPU温度も表示されるようにしてみました。
終了するときはCtrl+CかQです(16日追記)。

なお、1秒おきに連続表示させるなら下がおすすめです。
watch -n1 "nvidia-smi"

01:17:05    load average: 0.93, 1.64, 1.77    GPU: 36.5, 41.2, 29.2
                                                                      100
    ***           * *        * *            ****         ****          95
                     *                                                 90
  **   *         * *  *       * **                                     85
                                                                       80
                                                                       75
                                                                       70
                                                                       65
                                                                       60
                                                                       55
        * ** ** *       ** **                                          50
*                                                                      45
                                                                       40
                                                                       35
                                  *                                    30
                                                                       25
                                                                       20
                                                             *         15
                                                                       10
                                                                        5
  *      *  *  *       *  *        *********    *********     ********  0


Leela Zeroは13路でも強い  投稿者:山下 投稿日:2019年 2月27日(水)07時20分32秒
   19路用のweightを9路や13路などに変換したものが公開されていたので私も試してみました。
CGOSで動かしてみたのですが、9路はそれほどでもないのですが、
13路が非常に強いです。Policyが強い感じです。1playoutでも
Aya799a_p1v1_g0_4t に勝ち越しそうな気がします。
9路と13路のLZは投了する場合は無理やりPASSするように修正しています。
また、眼を埋める手を打つ場合もPASSするようにしています。

9路                     CGOS BayesElo
LZ_205_2240_p100        2680   ... 1手100playout
13路
LZ_205_2240_p100        3479   ... 1手100playout
19路
LZ_205_85a9_p400        3506   ... 1手400playout。100だと200,300点ほど下?

13路で100playoutでトップに
http://www.yss-aya.com/cgos/13x13/standings.html

A way to make 19x19 weights fit for other board sizes
https://github.com/leela-zero/leela-zero/issues/2240 

Re: Leela Zeroは13路でも強い  投稿者:山下 投稿日:2019年 3月 1日(金)17時20分14秒
9路では100playout/手を800playout/手に変えても
+80 Elo程度しか上がっていません。

LZ_205_2240_p800     2745
LZ_205_2240_p100     2663

普通なら2倍、2倍、2倍で+70*3 = +210 ぐらいは上がるはずなのですが。
評価関数であるValueNetがほとんど機能してない、ということだと思います。
そもそも19路でコミ7.5が9路コミ7.0になってるのでそりゃそうだろう、という感じですが。

それよりも盤面の大きさが変わっても13路、9路、それなりにValueNetが機能するのが驚きです。 

ValueNetの流用  投稿者:ohto 投稿日:2019年 3月 3日(日)22時11分38秒
去年19路のネットを13路と9路に流用した時も13路は基本OK、ただし半目から2目半くらいはかなり適当、短時間だと大きな死活でこけやすい
9路は序盤のポリシーがダメ、バリューは白2目勝ちを黒99%勝ち、白4目勝ちを50%勝ち程度と判定してしまうのでつらい
という感じでした。

出力層の形状が違うのでLZの状況と違うかもしれませんが、
盤面サイズに対する実戦のコミの割合が大きくなることに気づかず、黒側に寄った評価が出ていました。
インプットに入力する値を1ではなくもっと大きい値にして少しだけその効果が和らぎましたが、まあ根本的な解決にはなりませんでした。


Re:最強AI「アルファゼロ」登場で将棋は終わるのか  投稿者:tss 投稿日:2019年 3月 3日(日)22時14分12秒
同じ手法で開発しても本家「アルファゼロ」にはとうてい勝てないでしょうね。

しかし選手権は毎年、誰が優勝するのか? 楽しみなイベントであります。
予想屋の私としては出場者を毎回、楽しくチェックしてます。

今回、「Aoba Zero」なるダサいプログラム名に優勝はないなと予想したところ、
開発者に、山下宏さんと、 保木邦仁さんの天才両氏とあり、イスからずり落ちそうになりました。(^^; (大袈裟かいなー)

これなら、初出場初優勝もあるかな、と……(^^A (ほんまかいなー)

そこで、「Aoba Zero」は「Bonanza6.0」に対して、いま現在の勝率はどのくらいなのでしょうか?
九割は望ましいところですが。
企業秘密なのは、わかりますが、私だけにここで、コッソリ教えてもらえないでしょうか?(^^


Re:最強AI「アルファゼロ」登場で将棋は終わるのか  投稿者:山下 投稿日:2019年 3月 3日(日)23時15分1秒
今はいろいろ実験している段階です。
選手権までには遊んでいただける形にする予定です。


Re: ValueNetの流用  投稿者:山下 投稿日:2019年 3月 3日(日)23時34分57秒
> バリューは白2目勝ちを黒99%勝ち、白4目勝ちを50%勝ち程度と

これは
盤面 黒5目勝  (コミありで白2目勝)  黒99%勝
盤面 黒3目勝  (コミありで白4目勝)  白50%勝

つまり、コミを7目でなく3目と思ってる、という感じでしょうか?

> インプットに入力する値を1ではなくもっと大きい値に

これは白石の配置で与える(0か1)を、(0か1.2?)みたいにする感じでしょうか。
面白いですね。
LeelaZeroで白番を示す全面1の入力を1から変えることでDynamic Komiに
何となく対応できる、みたいな話があったのですが、そんな手法もあるのですね。

Dynamical "komi" to keep winrate within a certain range
https://github.com/leela-zero/leela-zero/issues/1599


Re: Re: ValueNetの流用  投稿者:ohto 投稿日:2019年 3月 8日(金)02時51分27秒
はい、だいたいコミ3~4目程度だったように思いますが、
盤面によっても違うはずなので、定性的にそうとは言えないですけれど。
盤面黒5目勝はだいぶん黒寄りだったと思いますね。


2月出てたELFの論文  投稿者:山下 投稿日:2019年 3月27日(水)13時27分7秒
2月出てたELFの論文を読んでみました。

1. ほぼAlphaZeroと同じ手法なので 256x20blockで同じぐらいの強さになってるはず
2. シチョウは結局最後まで完璧には分からなかった
   1600playoutを6400に増やせば間違えにくいが、やっぱり間違える
   --> たぶん AlphaZero も間違えるはず
3.黒番だとplayoutを倍にしても勝率6割、白なら勝率8割と、黒番だとあまり強くならない

ちょっと疑問だったのが

4. 初手から30手目までは最大の探索回数の手、でなく探索回数の割合で選ぶ、のが
   AlphaGoZeroの手法ですが、初手から最後の手まで探索回数の割合で選んでいる
5. 1棋譜から153局面ほど学習に使ってる。AlphaZeroでは20局面。過学習してるかも

この2つでちょっと弱くなってる可能性もあります。

ELF

       1,500,000  minibatch をTotalで学習
  x         2048  1 minibatchに含まれる局面数
------------------
   3,072,000,000  局面を学習
  /   20,000,000  棋譜を生成
-------------------
             153  局面/棋譜

AlphaZero

         700,000  minibatch をTotalで学習
  x         4096  1 minibatchに含まれる局面数
------------------
   2,867,200,000  局面を学習
  /  140,000,000  棋譜を生成
---------------------
              20  局面/棋譜

ELF OpenGo: An Analysis and Open Reimplementation of AlphaZero
https://arxiv.org/abs/1902.04522
ELF OpenGo (ソースや棋譜などを公開)
https://facebook.ai/developers/tools/elf-opengo


Accelerating Self-Play Learning in Go  投稿者:zakki 投稿日:2019年 3月27日(水)18時12分33秒
そういえば先月はKataGoの論文も出てました。
囲碁知識の追加や自己対局の工夫でLeelaZeroより5〜100倍速で学習が進むとか。
https://blog.janestreet.com/accelerating-self-play-learning-in-go/

副次的な効果として置き碁も打てるって謳い文句ですがOGS見ると「下位プレーヤーに対する負け」が2〜3年前のRnより多く、必ずしも上手く打ててないように見えます。
https://online-go.com/player/592684/
https://online-go.com/player/434144/


1棋譜の何局面を学習させたか  投稿者:山下 投稿日:2019年 3月27日(水)20時01分20秒
1棋譜からどのくらいの局面を学習させていたかは

AlphaGoZero       217局面  ほぼ全部? 256x40block, 40日間学習させて20blockのMasterを倒した版
AlphaZero(囲碁)    20局面 (700,000 * 4096) / 140,000,000
ELF               153局面
AlphaZero(将棋)   119局面 (700,000 * 4096) / 24,000,000
AlphaZero(チェス)  65局面 (700,000 * 4096) / 44,000,000

将棋とチェスはだいたい1局の平均手数(120手と80手)なので1棋譜の局面を1回は使っていた感じです。
図抜けて少ないのが囲碁ですね。20局面しか使ってない、ということは55%で強さを確認しない
強化学習では囲碁はこれぐらい減らさないと過学習してしまう?のでしょうか。

Zeroから学習とは言ってもかなりゲームに依存した学習になってる気がします。


Re: Accelerating Self-Play Learning in Go  投稿者:山下 投稿日:2019年 3月27日(水)20時11分21秒
zakkiさんのtwitterで詳しく紹介されてたので助かりました。
19路だけでなく9路でも学習させてるみたいですね。置き碁も学習とか。面白いです。

置き碁は実際にはまだいまいちなのですか。


Re: 2月出てたELFの論文  投稿者:山下 投稿日:2019年 3月27日(水)20時59分31秒
この論文で一番好きなのは4ページ目のTable 1ですね。
AGZとAZ、ELFでどうパラメータが違うのか表にしてあるのですが

「お前ら、AlphaGo,AlphaGoZero,AlphaZero(2017),AlphaZero(2018) と
どかどか論文だして、しかも微妙に内容省略したり変わってたり、
間違い探しに疲れるんですけど?(怒)」

という彼らの心情が伝わってきました。


AlphaZeroの囲碁は2017年と2018年で全然数値が違う  投稿者:山下 投稿日:2019年 3月28日(木)17時45分37秒
AlphaZeroの囲碁は2017年と2018年で全然数値が違いますね。
Table S3 ですが

               2017年           2018年
Mini-batches   700k              700k
Training Time   34h               13d
Training Games  21 million       140 million
Thinking Time  800 sims          800 sims

学習時間が      34時間 ->      13日間    9.2倍
棋譜数が    2100万棋譜 -> 14000万棋譜    6.6倍

将棋とチェスは一緒です。
また棋力の進歩を示す Figure 1 もチェスは一緒ですが、将棋と囲碁は微妙に違います。

ELFは2017年の論文を参考にしたのですね。
囲碁だけこんなに数値が違う理由は何なんでしょうか・・・。


Computer Go mailing listが不安定みたいです  投稿者:山下 投稿日:2019年 3月28日(木)19時23分3秒
今月の3月1日のメール以来届いていなかったのですがarchivesを見ると流れてました。
http://computer-go.org/pipermail/computer-go/2019-March/date.html

2月17日にErikが gmail のアドレスに届いてない、と報告して
3月24日にRemiが free.fr に届いていない、と書いてました。

2年くらい前も不安定でしたが今も届くどうか怪しいみたいです。


Re: AlphaZeroの囲碁は2017年と2018年で全然数値が違う  投稿者:山下 投稿日:2019年 3月29日(金)19時18分11秒
Figure 1をよく比較すると2018年では

1. AlphaGo Leeに追いつく時間が2017年は170,000 step、2018年は80,000 stepで2018年が早い
2. AlphaGo Zero(20 block)に追いつく時間は同じくらい
3. 最終的な棋力も同じくらい

なので、
「7倍の棋譜を使ってValueの精度を上げると学習速度は上がるが
最終的な到達棋力とそこに至る時間は同じくらい」
「つまり生成する棋譜数は 2100万棋譜で十分だよ」
が言いたいことなのかもしれません・・・。


AlphaZeroの囲碁は2017年と2018年で全然数値が違う  投稿者:gghideki 投稿日:2019年 3月31日(日)09時26分39秒
>囲碁だけこんなに数値が違う理由は何なんでしょうか・・・。
棋譜の生成に TPU v2 を使ったか v1 を使ったかの差が大きい気がします.
#論文では全部 TPU で通しているし,Silver 氏は全部 v1 だと言っているwけれど.
#間違い探しに疲れたのは彼らだけではありません...


AobaZeroの棋譜を一部公開しました  投稿者:山下 投稿日:2019年 3月31日(日)23時14分56秒
保木さんや小林さんとAlphaZeroの将棋の追試を目的とした
AobaZero,というプロジェクトをやっているのですが
将棋の知識を獲得していく過程が面白いので棋譜だけ
とりあえず公開しました。
1万棋譜追加されるごとに棋譜を1局づつ載せています。
1日1回ぐらいで更新する予定です。

最初は駒得も分かっていなかったのが、
足し算?が分かるようになると大駒を逃げたり金銀の価値が分かり、
将棋を指してる雰囲気になってきました。

自己対戦の棋譜です。先頭が一番新しいです。
http://www.yss-aya.com/aobazero/csa/sample.html
こちらはメインページです。まだ棋譜しか落とせません。
http://www.yss-aya.com/aobazero/


Re: AlphaZeroの囲碁は2017年と2018年で全然数値が違う  投稿者:山下 投稿日:2019年 4月 4日(木)23時38分4秒
Computer Goの市川さんの投稿が説得力があります。
多分、2017年の数値は間違いですね。
囲碁では全部の局面を学習に使うと過学習するのだと思います。
昔、KGSの棋譜でAlphaGoが失敗したように。

囲碁でAlphaZeroスタイルをやるなら、1棋譜から20局面を取り出して
それを8対称で8倍にして160局面にして学習させる、でないと失敗するのだと思います。
もしくは160局面を取り出して、それをランダムに8回転させる、でしょうか(多分こっちが正解)。

しかし、だとするとELFの論文とかは全部使ってるのでかなり性能が悪いことになりますね。
局面をランダムに8回転させてれば問題ないのですが。
これが本当ならちゃんと公表しなかったDeepMindはちょっとひどいかも。

[Computer-go] AlphaZero paper difference between 2017 and 2018
http://computer-go.org/pipermail/computer-go/2019-March/011015.html


△81飛△62金をもう見つけてます  投稿者:山下 投稿日:2019年 4月 5日(金)13時10分44秒
いや、驚きました。まだ52万棋譜しか学習してなくて、しかも64x15block という小さいネットなのですが。
この好形は将棋の知識としては簡単な部類に入るのかもしれません。
棋譜もぱっと見には普通の角換わりですね。
ちなみに私はもう負けました・・・。
こんな駒の取り方も歩の成り方も知らなかった奴がこんなに強く
なるなんてニューラルネットワークは本当に不思議です・・・。

http://wdoor.c.u-tokyo.ac.jp/shogi/view/2019/04/05/wdoor+floodgate-300-10F+go_test02+AobaZero_w206_n_p800+20190405123005.csa

私が負けた棋譜はこちら。
最後、めちゃくちゃ過激な寄せをしてきて、こんなので寄るわけねーと
思ってたのですがあっさり寄りました。
統計的にこういう形は受けがないのが分かってるのですね。うーん・・・。

先手:山下
後手:AobaZero 5 w192.txt
▲7六歩    △3二金    ▲2六歩    △3四歩    ▲2五歩    △8四歩
▲2二角成  △同 銀    ▲8八銀    △3三銀    ▲7七銀    △4二玉
▲3八銀    △7二銀    ▲7八金    △6四歩    ▲2七銀    △6三銀
▲2六銀    △5四銀    ▲6八玉    △9四歩    ▲1五銀    △4四角
▲9六歩    △1四歩    ▲2四歩    △同 歩    ▲同 銀    △同 銀
▲同 飛    △2三歩    ▲2八飛    △4五銀    ▲1六歩    △8五歩
▲5八金    △5二金    ▲1五歩    △同 歩    ▲1三歩    △2四銀
▲1二銀    △1三桂    ▲1一銀成  △同 角    ▲2六香    △3三角
▲2四香    △同 角    ▲7九玉    △2五香    ▲2六銀    △3九銀
▲2七飛    △2六香    ▲同 飛    △3五角    ▲6六飛    △6五銀
▲1五香    △6六銀    ▲同 歩    △2八飛    ▲6八金右  △2九飛成
▲1三香成  △4八銀不成▲8八玉    △5七銀成  ▲同 金    △同角成
▲2三成香  △同 金    ▲6八銀打  △同 馬    ▲同 銀    △8六歩
▲同 歩    △8七歩    ▲同 金    △6九龍    ▲7九銀打  △6七香
▲同 銀    △6八銀    ▲同 銀    △同 龍    ▲7八銀打  △7九銀
▲9七玉    △8八金    ▲同 金    △同銀成    ▲同 玉    △8七歩
▲同 玉    △8五歩    ▲同 歩    △5六銀    ▲同 銀    △8六金
▲同 玉    △7四桂    ▲7五玉    △6六龍
まで106手で詰み


Re: △81飛△62金をもう見つけてます  投稿者:tss 投稿日:2019年 4月 7日(日)14時12分37秒
棋譜を拝見しましたが、AobaZeroが強い印象よりも、
山下さんのミスが多いですね。(失礼かいなー)(^^;

37手まではいいのですが、
39手は、83銀 同飛 72角で馬を作ったほうがいいように思います。
43手は、12銀が悪手。香を与えて歩のない将棋は敗け将棋になってます。
ここは61角からの角成のほうがいいように思います。
54手の、27飛が悪手。
61手では、もう手詰まりで、▲1五香で終ってますね。(失礼かいなー)(^^;
61角からの角成で指し継いだら、まだ勝てるかもしれません。

AobaZeroの手を検討しましたが、
私の印象ではまだ、私の妄想するAルーチンに届いてないように思いました。

私が、山下さんの仇は獲りますので安らかに成仏してほしいです。(なんのこっちゃー)(^^A


名人戦第一局、豊島王位圧勝!  投稿者:tss 投稿日:2019年 4月12日(金)20時37分6秒
かつて電王戦で、YSSと激闘した豊島王位がいま名人戦に挑戦しています。
千日手の末の指し直しで、豊島王位が佐藤名人に73手で圧勝しました。
序盤から飛車、角交換の激しい急戦に佐藤名人もいいところなくやられています。

後手の持駒:飛 桂 歩二
  9 8 7 6 5 4 3 2 1
+---------------------------+
|v香 ・ ・v金v玉 ・ ・v桂v香|一
| ・v銀 ・ ・ ・v銀 ・v金 ・|二
|v歩 ・ ・v歩v歩 ・ ・ ・v歩|三
| ・ ・v歩v角 ・v歩 角 ・ ・|四
| ・ ・ ・ 桂 ・ ・ 歩 歩 ・|五
| ・v歩 ・ 歩 銀 ・ ・v歩 ・|六
| 歩 ・ ・ ・ 歩 ・ 桂 ・ 歩|七
| ・ 歩 金 ・ ・ 金 ・ ・ ・|八
| 香 ・ ・ 玉 銀 ・ ・ ・ 香|九
+---------------------------+
先手の持駒:飛 歩

この局面で、豊島王位曰く、▲5五銀に手応えを感じたようです。
以下、△同 角    ▲4三歩    △3一銀    ▲5三桂成  △5二歩
▲8一飛 まで。

豊島王位の名人に賭ける執念が半端ないですね。
新名人誕生なるかもしれません。(ほんまかいなー)(^^;


Re: 名人戦第一局、豊島王位圧勝!  投稿者:山下 投稿日:2019年 4月14日(日)09時50分14秒
豊島さんの名人位奪取には大いに期待しています!


角道を止める△44歩は難しい?  投稿者:山下 投稿日:2019年 4月15日(月)14時12分11秒
50万棋譜から80万棋譜まで先手勝率が0.53から0.60まであがっていました。
それが90万棋譜だと0.55まで急に下がってます。

72万棋譜で飛車先、角道を突くより、先に受ける△32金を
選びやすくなっており、77万棋譜から角道を止める△44歩を選んで
さらに飛車を振りやすくなってます。これは後手番だけです。

予想では先手勝率が上がりすぎたので、後手は受けずに一直線に指す展開は危険、と判断し
一呼吸待つ2手目△32金や△44歩を見つけたのではないかと思います。
角道を止めてじっくり指す、というのが自己対戦にとっては難しいとしたら面白いです。

角の使い方が分かってきて、アマ3,4段の棋力になって初めて
角道を止める落ち着いた指し方?を試しているのかもしれません。
振飛車も△32金と上がる振飛車ですが、上がらない形も覚えてくれるかも・・・。
http://www.yss-aya.com/aobazero/csa/sample.html


選手権の決勝が今年もニコニコ動画で放送されます  投稿者:山下 投稿日:2019年 4月22日(月)02時06分23秒
ニコ生公式_将棋 認証済みアカウント @nico2shogi

【第29回 #世界コンピュータ将棋選手権】
5/5(日)9時30分より、決勝リーグを生放送します。
予選を勝ち抜いた8チームが総当たりで戦います。

優勝・2位・3位のチームにドワンゴ賞(賞金総額200万円)を贈呈!

解説:阿部光瑠六段、三枚堂達也六段
https://twitter.com/nico2shogi/status/1119913975573909505

第29回世界コンピュータ将棋選手権 決勝リーグ
https://live.nicovideo.jp/gate/lv319609392


AobaZeroを公開しました  投稿者:山下 投稿日:2019年 5月 1日(水)01時02分24秒
AlphaZeroの将棋の追試を行うAobaZeroを公開しました。
今は120万棋譜を作成して、棋力はfloodgateで2200点です。
現在のネットワークの規模は256x20block、論文と同じサイズです。
論文では380万棋譜でelmoに追いついています。
現在の棋譜生成速度は2万棋譜/日、ぐらいです。

将棋所で遊んでみることも可能です。
興味がある方はぜひ棋譜の生成への協力をお願いします。

実行ファイルやソースはこちらからダウンロードできます。
https://github.com/kobanium/aoba-zero/releases
AobaZeroのトップページ
https://github.com/kobanium/aoba-zero


祝!AobaZero公開  投稿者:tss 投稿日:2019年 5月 1日(水)18時58分35秒
平成最後に公開の将棋プログラムになるか、令和最初に公開の将棋プログラムになるのか、
私の予想どおり令和最初の公開将棋プログラムになりましたね。(なんぢゃ、そりゃー)(^^;

実験の追試を行うことを最終目的とした将棋AIプロジェクトということで、学術的には価値があるのでしょうが、
単純に対局を楽しむには有段者には物足りないかもしれません。
豪腕の私がわざわざ山下さんの仇をとり掲示板を私の棋譜で汚す必要はないようで、五段格の山下さんがAobaZeroに敗けたのは、
駒得も知らなかったAobaZeroが強くなっていて油断したということなのでしょうか?

Zeroシステム先輩格のCrazyShogiがやはり昨年はレート2000ちょっとで今は3000くらいのようなので、
来年は4000近くに到達するのでしょうか。

AobaZeroの棋譜生成速度は2万棋譜/日らしいので、
来年あたりにはおもしろい戦いが見れるかもしれませんね……。(見たんかいなぁー)(^^;

AobaZeroの成長を楽しみにしています。


Re: 祝!AobaZero公開  投稿者:山下 投稿日:2019年 5月 2日(木)02時37分0秒
ありがとうございます。
今はまだ・・・ですが皆様の協力で強くなるのを期待しています。
私が負けたときのAobaZeroにはまだ勝てる自信がありますが今はもう歯が立たないと思います。
右四間とか角換わりから振飛車で片美濃に囲う、とか
将棋に勝ちやすい、だけでこれらの形を自然と覚えてしまうのは本当に驚きです。

RemiさんのCrazyShogiは強敵で追いつけ追い越せで競争できれば面白いと思います。
のんびりと成長を楽しんでいただければうれしいです。


選手権の持ち時間と引き分け手数  投稿者:山下 投稿日:2019年 5月 2日(木)07時29分49秒
選手権参加者の皆様へ。
今年から持ち時間が「10分、1手10秒加算」から「15分、1手5秒加算」のフィッシャーに。
引き分けが「256手」から「320手」に変更になっています。ご注意ください。
http://www2.computer-shogi.org/wcsc29/cfp.html


鬼が笑う  投稿者:都万 投稿日:2019年 5月 8日(水)05時46分29秒
来年の事を言うと鬼笑うと言いますが、来年は隠岐は参加の方向で検討してます。
これは去年の大会会場で2年連続で不参加になる可能性が高いと一部の大会参加者に連絡していて、今年は海外クルーズに行っていたので、公約通り不参加だったのですが、来年のクルーズが難しくなったので、どうも日本にいる可能性が高いので、参加の方向です。
もっとも生きていれば。


Re: 鬼が笑う  投稿者:山下 投稿日:2019年 5月 9日(木)21時15分28秒
都万 様、
来年は30回と節目となる大会ですので、ぜひ会場でお会いできればと思います。


Google Colaboratoryを使ってAobaZeroの棋譜を生成できます  投稿者:山下 投稿日:2019年 5月10日(金)07時06分50秒
棋譜の生成にはGPUがついたパソコンが必要ですが、
GPUをお持ちでない方も下記の方法で棋譜の生成が可能です。

Googleは機械学習の教育用に無償でGPUを12時間使える環境を提供しており、これを
使えばブラウザからGPU(Tesla T4)を使うことが可能です。

1. Google Colaboratoryのページをブラウザで表示します。
  https://colab.research.google.com/notebooks/welcome.ipynb?hl=ja
2. Googleにログインしていない場合は右上の「ログイン」からログインします。
3. 「編集」「ノートブックの設定」で「ハードウェアアクセラレータ」を「GPU」にして「保存」
4. 「コード」で「>」が表示されるので、その右の入力欄に以下の8行をコピーして貼り付け(一括コピー、ペーストできます)。

%cd
!git clone https://github.com/kobanium/aobazero.git
!apt install libboost-dev libboost-program-options-dev
!apt install libboost-filesystem-dev liblzma-dev zlib1g-dev
!apt install opencl-headers ocl-icd-libopencl1 ocl-icd-opencl-dev
%cd aobazero
!make -j2
!./bin/autousi

5. 「>」を押すとソース、必要なライブラリをダウンロードしてコンパイルして実行されます。
  3分ほどして +2726FU (2512ms) などと表示されれば正常に動いています。
6. 12時間経つと自動的に終了します。ブラウザのタブは閉じないで下さい。140局程度を生成、送信します。

http://yss-aya.com/aobazero/colab.html


サルでも勝てるAobaZero攻略法  投稿者:tss 投稿日:2019年 5月11日(土)00時25分4秒
当初、豪腕の私とAobaZeroの棋譜は、掲示板を汚すものと公開は控えることにした。
あまり、自慢にもならないからである。(ほんまかいなぁー)(^^;
しかし、山下さんが「もう、今のAobaZeroには勝てません」とあまりにも悲観的なので、
ここは、AobaZero公開のお礼にと、敢えて私の棋譜を公開することにした。
題して、「サルでも勝てるAobaZero攻略法」である。(私も好きやなぁー)(^^A

○AobaZeroの仕様
・ネットワークの重みファイルは、w000000000467.txt 〜490.txtを用いた。
・-p は、-p 1800に変更している。

AobaZeroとは、数局指したが、すでに入王を学習しており、入王され逃げられた対局もある。
とうぜん、山下さんの対局手順には進行しなかった。
戦法は先手棒銀を、後手相がかりを採用した。かつては、この戦法で、AI将棋やBonanzaをボコボコにしたものである。
あの頃が懐かしい。ともに将棋入門に書かれている基本の戦法である。
来年は私がボコボコにされると思うので、AobaZeroをボコボコにするのは今のうちである。(なんぢゃ、そりゃー)(^^;

棋譜のあとに私のAobaZeroへの感想を書いた。

先手:人間
後手:AobaZero 8

▲2六歩    △3四歩    ▲2五歩    △3三角    ▲3八銀    △3二銀
▲2七銀    △4四歩    ▲2六銀    △4三銀    ▲1六歩    △3二金
▲1五銀    △1四歩    ▲2四歩    △同 歩    ▲同 銀    △同 角
▲同 飛    △2三歩
まで20手で中断

○感想
11手▲1六歩に定跡なら、△1四歩のところ。
18手△同 角は、悪手。損な銀、角交換に応じたところで先手の優勢となる。
同じ強さなら逆転はまず無理であろう。

先手:AobaZero 8
後手:人間

▲2六歩    △8四歩    ▲2五歩    △8五歩    ▲2四歩    △同 歩
▲同 飛    △8六歩    ▲同 歩    △8七歩    ▲2三歩    △8八歩成
▲同 銀    △3五角    ▲2八飛    △5七角成  ▲2二歩成  △同 飛
▲2三歩    △8二飛    ▲7八金    △8六飛    ▲7六歩    △2七歩
▲同 飛    △8八飛成  ▲同 金    △6八銀
まで28手で後手の勝ち

○感想
4手△8五歩に定跡なら、▲7八金のところ。▲2四歩は、悪手。
11手▲2三歩では△8七歩のほうが早く、すでに後手の優勢となる。
23手▲7六歩はw467.txtでは、▲2二歩成だったが、以下同じく△2七歩〜で後手の勝ち

○今後の注目

まず、より学習が深化したAobaZeroの進行手順の変化と、
AobaZeroの悪手ともいえる指し手が、
どのネットワークの重みファイルにより打開されるかに注目したい。


Re: サルでも勝てるAobaZero攻略法  投稿者:山下 投稿日:2019年 5月13日(月)17時48分11秒
棒銀で角銀交換できたり▲78金と上がらずに▲24歩をついたり
弱点の発見ありがとうございます。
学習でこれらがいつ解決できるのか楽しみです。


朝日新聞の夕刊に選手権の記事  投稿者:山下 投稿日:2019年 5月13日(月)17時48分52秒
今日13日の朝日新聞の夕刊に選手権の記事が出ています。
「他ソフトの『親』千日手狙いはまる」という副題で
やねうら王−PAL戦の320手ルールと宣言勝ちをめぐる戦いや
やねうら王ーKristallweizenの千日手をめぐる戦いが図面つきで
紹介されています。

磯崎さんの
「探索部を一から書いている私の方がアドバンテージがあると言えるんじゃないでしょうか。
他のソフトがそんなに強くなっていないので優勝もあるかなと思っていました」
というコメントが紹介されています。

将棋の内容にはほぼ触れずにルールに焦点があたっていたのが印象的でした。


Aobaくんレポート  投稿者:tss 投稿日:2019年 5月15日(水)00時07分51秒
w501.txtで、Aobaくんとの棒銀対局での△1四歩を確認しました。銀、角交換は損と学習したようです。
ちょっと感動しました。
相がかりはまだ▲2四歩を指します。
△5七角成の局面を損と学習するまで時間がかかるように思えます。
w520.txtくらいまでいかないと、▲7八金は学習できないかもしれませんね。(見たんかいなぁー)(^^;
▲7八金を指すようになると、序盤の穴が埋まり、簡単には崩れない序盤を指すようになり、
レートがドーンと上るかもしれません。(ほんまかいなぁー)(^^;


豊島名人誕生!  投稿者:tss 投稿日:2019年 5月18日(土)09時51分19秒
私の予想どおり、豊島棋士が名人を4-0のストレートで奪取しました。
おめでとうございます。
豊島棋士はAIを研究に使用していると公言している棋士。
かたや無冠の羽生棋士はAIを研究に使用することを疑問視する棋士。
今後、AIを研究に使用する棋士としない棋士では、
明暗が別れるかもしれませんね。(ほんまかいなぁー)(^^;


Re: 豊島名人誕生!  投稿者:山下 投稿日:2019年 5月18日(土)21時38分59秒
豊島さんが名人位を取られたのはしみじみうれしいです。


Intel iGPU の OpenCL 速度(再測定)  投稿者:HiraBot 投稿日:2019年 5月19日(日)22時42分41秒
昨日掲載したデータは測定ミスが有ったため再測定しました

Intel 内蔵 GPU にて OpenCL が使えることを知り、速度測定しました
DCNN 計算の中心は行列積です
(133,9*133) と (9*133,361) 行列の積を使用しました
そこで各種デバイスでこの行列積計算時間を測定しました

1.eigen i7-3770k にて測定, CPU での計算 (AVX 命令)
    3,5ms

2.cublas GTX960 cublasSgemm()
    0.21ms (データ転送時間は含まない)

3.cuda GTX960 自作プログラム
    0.40ms (データ転送時間は含まない)

4.OpenCL GeForce GTX 960 自作プログラム
    0.53ms (データ転送時間は含まない)

5.OpenCL Intel(R) HD Graphics 4000 自作プログラム
    6.8ms (データ転送時間は含まない)

6.OpenCL Intel(R) Core(TM) i7-3770K CPU @ 3.50GHz 自作プログラム
    8.7ms (データ転送時間は含まない)

インテルの内蔵 GPU に期待したのですが GTX960 の 1/13
の速度になり残念ながら実用にはならないようです。

cublas に対して自作 cuda プログラムではスピードが半分になっています
やはり cublas は性能が良いようです
GTX960 で cuda に対して OpenCL では 3割ほど遅くなっています
両者はほぼ同じプログラムです、OpenCL より cuda の方が性能が良いようです
OpenCL プログラムを CPU で動かすと eigen に対して速度が 1/2.5
になりました OpenCL では AVX 命令を使用していないためだと思われます。


AobaZeroのOpenCLでの速度  投稿者:山下 投稿日:2019年 5月20日(月)11時16分22秒
OpenCLのベンチマークデータ、ありがとうございます。
AobaZeroのOpenCLだとIntel内臓GPUも最近のもの(第7世代?)だとCPU版より高速で動きます。
Windows 8.1          Thinkpad X1 Carbon  + Intel HD Graphics 4000
だとそれほど速くない+動かすと計算誤差が大きくてLeelaZero内部のSelfCheckでエラーで止まってしまいます。

                    1秒で読める速度
GPU
1050Ti               155/s                        (Win64版)
1080                 265/s
2080Ti               558/s
Intel Graphics 620    27/s    ThinkPad X1 Carbon  (Win64版)

CPU
i7-8700(3.2GHz)       10/s                       (Win64版)
i7-8550(1.8GHz)        7/s    ThinkPad X1 Carbon (Win64版)
i7-8550(1.8GHz)        7/s    ThinkPad X1 Carbon  VMWare
i7-980X(3.3GHz)        5/s    2010年
i7-8700(3.2GHz)        9/s

今年のコンピュータ将棋選手権で準優勝の48さんのによると下の結果とのことです。

AobaZeroベンチ
一手2秒クラス:GTX1080Ti  Titan X
一手5秒クラス:GTX1060
一手30秒クラス:インテル内臓GPU(第7世代以降)
一手100秒超クラス:CPUのみ
https://twitter.com/bleu48/status/1126500809531723778


(無題)  投稿者:48 投稿日:2019年 5月20日(月)13時24分14秒
引用ありがとうございます。
元々同様のプロジェクトを考えていたので絶賛応援しております。(お仲間に入れて頂きたいレベルで)

次はCUDA化と多スレッド化が課題と思います。
前者はリソース有効利用の観点から必須,後者はDL勢上位陣の争点のひとつとなっているようです。
Quadra P6000でも試しましたが一手3秒近く,全く有効利用されていない感じでした。


CUDAと多スレッド  投稿者:山下 投稿日:2019年 5月21日(火)11時06分50秒
応援、ありがとうございます!

ご指摘の通りでNVIDIAのGPUだとcuDNNを使った方が速いので対応する予定です。
今はminibatch=1でしか渡していないのでスレッド化やマルチプロセスによる
バッチを組むのも予定しています。

現在でも2080Tiだとautousi.cfgで
Device -1 -1
と2つaobazを起動してGPU1枚を使うと1.4倍程高速に作れます。
ただ、1080Tiや1050Tiだと1.1倍程度にまで落ちて恩恵が少ないです。

Chess Engine Performance With OpenCL vs. CUDA + cuDNN vs. FP16 With Tensor Cores
https://www.phoronix.com/scan.php?page=news_item&px=LCZero-NVIDIA-Benchmarks


LeelaZeroのネットワークサイズ変更のタイミング  投稿者:山下 投稿日:2019年 5月22日(水)11時18分8秒
LeelaZeroのELOのグラフにネットワークのサイズを変更したタイミングを書いてみました。
15x192まではサイズを大きくすることで大きな上昇がみられますが
20x256、40x256ではそれほどでもない感じです。
40x256、はResnetが40block(80 Layers)、3x3のFilterが256個、という意味です。


CLBlast のベンチマーク  投稿者:HiraBot 投稿日:2019年 5月23日(木)00時23分21秒
OpenCL で動く出来合いの blas ライブラリを探したところ CLBlast を見つけました
cublas, CLBlast 及び自作プログラムの3種類について行列積のスピードを測定した
(CLBlast はコンパイル済みのバイナリとヘッダファイルを使用した)

           (133, 9*133) x (9*133, 19*19)       (1024, 1024) x (1024, 1024)
cublas  cublasSgemm()      0.21ms                                1.1ms
CLBlast CLBlastSgemm()     0.27ms                                2.0ms
自作プログラム OpenCL      0.53ms                                6.4ms

cublas が1番早かった、CLBlast は小さい行列では cublas の3割程度遅いが
HiraBot で十分使用できると思います、大きな行列では2倍くらい遅くなっています
自作プログラムは一番遅いですね。
GTX960 にて測定しました


続・Aobaくんレポート  投稿者:tss 投稿日:2019年 5月24日(金)20時27分4秒
やはり、私の予想どおり、w524.txtにてAobaくんの▲7八金を確認しました。
まだ、レート3000の対局者には勝てませんが、手数が延びて粘り気が出てきたように思えます。
ようやくお兄ちゃんのBonanza6.0(レート2800)の背中が見えてきたところでしょうか。
w624.txtくらいで、Aobaくんから、Aoba先生と呼ばなければいけないのかもしれませんね。(見たんかいなぁー)(^^;


AobaZero v1.2をリリース  投稿者:山下 投稿日:2019年 5月29日(水)21時39分37秒
AobaZeroをv1.2に更新しました。
v1.1では動作しませんので更新をお願いします。

MCTSの勝率の初期値を引き分け(0)から負け(-1)に変更しました。
これによりv1.1に勝率0.80ほどで勝ち越します。

また先手勝率も0.60から0.53程度に下がっています(1万局平均)。
これは初期値が0だと後手の勝率が0.40と低い場合、多くの手を試すように
puctが振る舞うため、乱数で局面をばらけさせた30手後の局面では
勝率が低い後手だけ悪い手を選びやすく、
実際以上に先手有利な局面が出現していたためと思われます。

https://github.com/kobanium/aobazero/releases


CGFオープンが7月13日(土)、14日(日)に開催  投稿者:山下 投稿日:2019年 5月29日(水)21時40分57秒
CGFオープンが7月13日(土)、14日(日)に開催されます。
皆様のご参加をお待ちしています。

参加申し込み締め切り 2019年  7月 8日(月)
大会                 2019年  7月13日(土) 10:00-17:00  9路盤のみ
                     2019年  7月14日(日)  9:30-16:00 19路盤のみ
会場:               電気通信大学 西9号 3F

CGFオープン2019、大会要綱
http://hp.vector.co.jp/authors/VA012620/cgf2019/cgf2019.html
現在の参加者予定リスト
http://hp.vector.co.jp/authors/VA012620/cgf2019/list2019.html
CGFオープン
http://hp.vector.co.jp/authors/VA012620/


他のAIや人間と協力しながらプレーできるAI  投稿者:山下 投稿日:2019年 6月 2日(日)00時56分2秒
DeepMindが複数のプレイヤーが参加するゲームでの強化学習に成功したそうです。
AIは他のAIや人間と協力しながらプレーできるそうです。

AI 臨機応変な対応 複数参加のゲームで好成績 米研究チーム
https://www3.nhk.or.jp/news/html/20190531/k10011935711000.html
Capture the Flag: the emergence of complex cooperative agents
https://deepmind.com/blog/capture-the-flag-science/


AlphaZeroの800playoutはfloodgateで3500点ぐらい?  投稿者:山下 投稿日:2019年 6月 7日(金)04時04分41秒
論文のelmoとの比較からfloodgateで800playoutで何点まで行けばいいか
計算してみました。
大雑把ですが3500点ぐらいがゴールで、AobaZeroは後+700点です。

                 nps
AlphaZero     58,000   (TPU x4)
elmo      25,100,000   (CPU x22, 44 threads)

2018年の論文から、上の条件でelmoに91.2%で勝ち越します(先手番だと98.2%)
1/100 の時間でほぼ互角、なので、下の条件で互角です。

AlphaZero        580
elmo      25,100,000

800playoutだと

AlphaZero        800
elmo      29,530,000  = 30000k

つまり1手 800 playout で 1手 29,530,000 のelmoと互角になるはずです。
約 30000k です。
今 floodgateで 論文と同じ仕様のelmoを1手 1000k で走らせています。
(WCSC27でYaneuraOu 4.79)
10k から 100k、1000k と10倍で+300点ずつ伸びてるように見えます。

このペースで伸びるなら下のようになって、800playoutで3500点ぐらいに到達すれば
AlphaZeroの強さに到達できるのかもしれません。今が2800点なので後+700点です。
意外と小さい気もします。

elmo_WCSC27_479_30000k     3550?  未計測ですが予測で
elmo_WCSC27_479_10000k     3400?  これも予測
elmo_WCSC27_479_1000k      3073
elmo_WCSC27_479_100k       2734
elmo_WCSC27_479_10k        2400

AobaZero_w553_n_p800       2810


AlphaZero方式で新しい概念の手を見つける仕組み  投稿者:山下 投稿日:2019年 6月 9日(日)00時33分51秒
AobaZeroのw558が相手の2枚龍の一手詰を見逃して負ける、ということがありました。
http://wdoor.c.u-tokyo.ac.jp/shogi/view/2019/06/06/wdoor+floodgate-300-10F+AobaZero_w558_n_p800+gikou2_1c+20190606210005.csa

アマ5段ぐらいはあるのに、1手詰が分からない、というアンバランス差が面白いです。
実際に73手目の▲31銀の後の局面を読ませても、上位5手しか調べず△89飛成はそこに入りません。

ノイズなし。800playout、探索木の再利用なし
  0(  0):  0041KY,759,-0.249,bias= 0.504
  1(  1):  2324FU, 37,-0.712,bias= 0.264
  2(  2):  3969RY,  2,-0.747,bias= 0.017
  3(  3):  2212KI,  1,-0.881,bias= 0.015
  4(  4):  3241OU,  1,-0.981,bias= 0.012

800playoutで759回は△41香です。Policyはほぼ決め打ちで、これが当たるのが強さの一つと思います。
分岐因子は相当小さく800playoutで平均深さ8.3手です(分岐因子は2.2手ぐらい。2.2^8.3=800)。

では絶対にこの△89飛成は指せないか、というとそうでもありません。
AlphaZero方式はRootの手にノイズを入れて、時々すごい悪手?でも少しは試そうとします。

実際にノイズありで試してみると50回中3回、△89飛成を見つけて実際に指しました。
今後棋譜をたくさんつくって、これに似た局面が出てくれば 3/50 の確率で学習してくれる、と
期待してます。

これは簡単な例なのでノイズで上位にくれば確実に指してくれそうです。
ただ指してくれなくてもある程度の回数探索すれば、
「指した手でなく探索回数の分布」
を学習しているのでそれなりに学習されるとは思います。

2枚龍の長い利きが2つあるのに気づいていないのは今の3x3のフィルターを使った学習が遠い場所の
位置関係の把握が苦手なためです。
特徴の入力に長い利き、利きが勝っていて王手で取り返せない、といった特徴を入れれば
この種類の手もすぐに学習できるとは思います。

3回目で見つけた!
   0(  0):  0041KY,194,-0.326,bias= 0.379
   1(  1):  2324FU, 14,-0.738,bias= 0.198
   5(  2):  2133KE,  2,-0.928,bias= 0.041
  94(  3):  3989RY,590, 1.000,bias= 0.020  ... △89竜はそもそも95番目の候補手

12回目も!
   0(  0):  0041KY,209,-0.338,bias= 0.378
   1(  1):  2324FU, 17,-0.691,bias= 0.198
  20(  2):  0062KE,  1,-0.880,bias= 0.021
  60(  3):  0026KY,  1,-0.903,bias= 0.022
  86(  4):  0046KE,  1,-0.938,bias= 0.020
  94(  5):  3989RY,571, 1.000,bias= 0.019

46回目
   0(  0):  0041KY, 76,-0.260,bias= 0.378
   1(  1):  2324FU,  8,-0.691,bias= 0.204
  94(  2):  3989RY,716, 1.000,bias= 0.037


AobaZeroのソースについて  投稿者:48 投稿日:2019年 6月15日(土)00時15分36秒
ソースを眺めていたのですが, https://github.com/LeelaChessZero/lc0 ではなく
比較的古い側の https://github.com/LeelaChessZero/lczero をフォークされたように見えます。
何か理由でもあったのでしょうか?


AobaZeroのソースについて  投稿者:山下 投稿日:2019年 6月15日(土)12時10分21秒
最初の段階はLeela Zeroの0.10.1をベースに書いていました。
4月にOpenCL.cppを含めてまるごと0.17に切り替えました。
NNからデータを受け取る部分などは0.10.1の構造が一部残っています。


「対 Kritallweizen の1手50k」のグラフも追加  投稿者:山下 投稿日:2019年 6月16日(日)02時54分25秒
AobaZeroのEloのグラフに
「対 Kritallweizen の1手50k」
も追加してみました。
http://www.yss-aya.com/aobazero/

1つ前との自己対戦では棋力の向上が分からなかったのですが、Kristallweizen相手だと
60万棋譜の追加で+119ほど強くなっているようです。
floodgateは毎回全体が動く+、対局数が80局ぐらいで誤差が大きい、のでこれも小さな変動は分からないとは思います。

               勝 分 敗 局数 (宣 千 宣) 先手勝率         勝率 95%誤差  ELO
w574-Kris_50k  390-8-204 602 (1-7-5)(s=300-294,0.505) ,wr=0.654(0.037)(+111)
w564-Kris_50k  354-3-250 607 (0-3-3)(s=294-310,0.486) ,wr=0.585(     )( +60)
w554-Kris_50k  341-3-267 611 (0-3-2)(s=298-310,0.490) ,wr=0.560       ( +42)
w544-Kris_50k  300-4-222 526 (0-4-1)(s=263-259,0.503) ,wr=0.574       ( +51)
w534-Kris_50k  307-4-291 602 (0-4-5)(s=297-301,0.497) ,wr=0.513(0.040)(  +9)
w524-Kris_50k  318-3-308 629 (2-3-1)(s=319-307,0.510) ,wr=0.508(0.039)(  +5)
w514-Kris_50k   97-1-102 200 (0-0-1)(s=107- 92,0.538) ,wr=0.488(0.069)(  -8)

やねうら王の互角定跡集を使って、24手まで進め1つの局面を先後交互、で
600局ほどで測っています。定跡は毎回シャッフルしています。
KristallweizenはYaneuraOu-4.83との組み合わせで、下のオプションです。

setoption name BookMoves value 0
setoption NodesLimit value 50000

グラフは「Kritallweizen の1手50k」をfloodgateの2600点、と仮定して書いています。


(無題)  投稿者:48 投稿日:2019年 6月16日(日)17時02分21秒
御回答および評価関数の御利用ありがとうございます。
やはり少しずつ着実に強化されているので今後が楽しみです。
floodgateのAobaZero_w578_n_p800ではもはや100kを上回っている感がありますね。
技巧2の背中も見えてきた気がします。
終盤の読み切りが早くなった気がしますが探索部も改良されているのでしょうか。


Re:「対 Kritallweizen の1手50k」のグラフも追加  投稿者:山下 投稿日:2019年 6月16日(日)19時42分2秒
こちらこそ評価関数の公開、ありがとうございます。
探索部は変更していないです。
「self-play」と「vs Kristallweizen 50k」はweightのみの強さで、「floodgate」が探索部も入れた強さになってます。
w537からfloodgateがポンと+300ほど上がっているのはMCTSで初期値を負け(-1)にしたことと探索木の再利用を
したことによる上昇です。探索木の再利用をするとKrist_100k相手だと+57 Elo程度強くなるようです。
再利用はまだaobaz9(v1.2)には入ってないです。

最近少し強くなった感じですが何が原因かはさっぱり分かりません・・・。
少し停滞していた理由も不明です。
AlphaZeroのChessのグラフでは100万棋譜追加でも何も強くならないこともあるようで
ひやひやしながら眺めています。


(無題)  投稿者:48 投稿日:2019年 6月16日(日)21時35分19秒
なるほど,手元計測より強い感じがするのはそういうことですね。


Re: CGFオープンが7月13日(土)、14日(日)に開催  投稿者:山下 投稿日:2019年 6月27日(木)22時53分15秒
CGFオープンが7月13日(土)、14日(日)に開催されます。
現在の参加予定者リストは下記です。
http://hp.vector.co.jp/authors/VA012620/cgf2019/list2019.html

CGFの会員でなくとも参加可能です。
参加費は無料で見学自由です。

参加申し込み締め切り 2019年  7月 8日(月)
大会                 2019年  7月13日(土) 10:00-17:00  9路盤のみ
                     2019年  7月14日(日)  9:30-16:00 19路盤のみ
会場:               電気通信大学 西9号 3F

CGFオープン2019、大会要綱
http://hp.vector.co.jp/authors/VA012620/cgf2019/cgf2019.html
CGFオープン
http://hp.vector.co.jp/authors/VA012620/


五目並べにていんちき強化学習してみた  投稿者:HiraBot 投稿日:2019年 7月 3日(水)07時58分20秒
強化学習の高邁な理論は理解できなかったので、自己対戦(40万〜50万棋譜)しては
fine tuning の繰り返しを行いました。初期 weight は以前に作った
対局五目並べプログラムの自己対戦棋譜から学習しました
こんなやり方でも 9回繰り返すと 800Elo ほど強くなりました
1回(40万〜50万棋譜)当たり 90Elo 強くなった計算です
Yixin 初段と同程度の強さになったので
一段落として今は囲碁 9路盤のいんちき強化学習に取り組んでおります
初期 weight は 19路盤プログラムの weight を使っています。


Re: 五目並べにていんちき強化学習してみた  投稿者:山下 投稿日:2019年 7月 4日(木)02時20分23秒
400万棋譜ほどでかなりの強さになるのですか。
Remiさんも五目並べをZero方式で作ってYixinというプログラムと対戦せていたそうです。

I made a Crazy Zero engine for gomoku!
https://twitter.com/Remi_Coulom/status/1003199824437628928

9路の強化学習は私も興味があります。
19路に比べてあまり突き抜けて強くならないのが不思議です。
コミ7.0だと学習が難しい、という話もちらちら聞きます。

CGOSで動いている LZ20_128_65_p3000 の元のプログラムは
白番だとコミ6.5目で学習させたweightを使い、
黒番だとコミ7.5目で学習させたweightを使うそうです。
CGOSで動かす分にはこれが引き分けを避けて勝ちに行くので強いとか。
LZ20_128_65_p3000 は(多分)コミ6.5で学習させたものだけを使っています。

Leelaz of 9 board topped cgos with a score of 3235.
https://github.com/leela-zero/leela-zero/issues/1291


GLOBIS-AQZはAlphaZeroの6分の1ぐらいの計算資源?  投稿者:山下 投稿日:2019年 7月11日(木)09時21分0秒
昨日、仲邑菫初段とGLOBIS-AQZの対戦が行われました。
GLOBISの堀さんのツイートによると7時間で50万局学習させたものと対戦したそうです。

ネットワークの規模にもよると思いますが仮にAlphaZeroと同じ256x20bとすると

AlphaZero     13日 14000万棋譜  TPU(第一世代) 5,000枚
GLOBIS-AQZ   7時間    50万棋譜  V100 (ABCI)       ?枚
GLOBIS-AQZ    13日  2228万棋譜                        (推定)

AlphaZeroの6分の1くらいの計算資源が投入されてることになります。

ABCIは1088台の計算ノード(1ノードに4つのTesla V100)、合計4352枚のV100です。
TPU v1とV100の性能が同じとすると800枚(200ノード)ぐらいのV100、
ABCIの5分の1ぐらいを占有してるのかもしれません。

Remiさんは4枚のV100で1日25万棋譜でした(将棋)。
AlphaZeroと同じ256x20b、ただし1手800playoutでなく400playoutだったと思うので
800なら1日12万棋譜程度でしょうか。
囲碁は将棋より4.4倍ぐらい1局に時間がかかるので囲碁なら1日3万棋譜。
GLOBIS-AQZは1日171万棋譜ぐらいなので、60倍。
ABCIを60ノードくらいなのかもしれません。
https://twitter.com/Remi_Coulom/status/1118980170738733057

> 堀義人 @YoshitoHori
> 3)対局の概要
> プロ1年目対強化学習1日目(7時間)。7時間とは言ってもGLOBIS-AQZは約50万局対局済み。
https://twitter.com/YoshitoHori/status/1148859549731831810


Re: GLOBIS-AQZはAlphaZeroの6分の1ぐらいの計算資源?  投稿者:zakki 投稿日:2019年 7月11日(木)13時28分59秒
公式発表ではありませんが、100ノードでGPU400枚という話が出てました。

https://medium.com/xkentanakajima/%E3%82%B0%E3%83%AD%E3%83%BC%E3%83%93%E3%82%B9%E3%82%92%E9%80%80%E8%81%B7%E3%81%97%E3%81%BE%E3%81%99-%E8%BB%A2%E8%81%B7%E6%8E%A2%E3%81%97-1767d562800c


Re: GLOBIS-AQZはAlphaZeroの6分の1ぐらいの計算資源?  投稿者:山下 投稿日:2019年 7月11日(木)13時37分50秒
100ノードなのですか。
Remiさんと比較すると少し遅いので、ネットワークはもっと大きいのかもしれないですね。


Re: GLOBIS-AQZはAlphaZeroの6分の1ぐらいの計算資源?  投稿者:山下 投稿日:2019年 7月11日(木)17時02分9秒
ちなみにAobaZeroだと50万棋譜だと
w250が相当してfloodgate換算で2100点ぐらいです。
(最初のプログラムで乱数を与えて作った10万棋譜を除いて)


CGFオープンのテストサーバー  投稿者:oubeika 投稿日:2019年 7月11日(木)18時30分18秒
以下のログが出力された後、テストサーバーに繋がらなくなってしまいました。
Rubyバージョンは2.6.3ですが、ダウングレードする必要があるのでしょうか

****** I am thinking now   ******
 GTP <- time_left WHITE 594 0
 GTP -> =
 GTP ->
 GTP <- time_left BLACK 505 0
 GTP -> =
 GTP ->
 GTP <- genmove WHITE
 GTP -> = PASS
 GTP ->
NNGS <- PASS
NNGS ->
NNGS ->
NNGS -> 1 6
NNGS -> 15 Game 2 I: gnugotest1 (1 594 -1) vs bsktest (0 505 -1)
NNGS -> 15  33(W): Pass
****** wating for his move ******
NNGS ->
NNGS ->
NNGS -> 1 6
NNGS -> 9 You can check your score with the score command, type 'done' when finished.
NNGS -> 1 7
 GTP <- quit
 GTP -> =
 GTP ->
NNGS <- done
NNGS ->
NNGS -> 1 7
Traceback (most recent call last):
4: from nngsCUI.rb:152:in `
'
3: from /Users/intenseg/Downloads/nngs/NngsClient.rb:228:in `parse'
2: from /Users/intenseg/Downloads/nngs/NngsClient.rb:228:in `loop'
1: from /Users/intenseg/Downloads/nngs/NngsClient.rb:229:in `block in parse'
/Users/intenseg/Downloads/nngs/NngsClient.rb:222:in `getline': undefined method `chop' for nil:NilClass (NoMethodError)
(base) intenseGnoMacBook-Air:nngs intenseg$ ruby nngsCUI.rb
Traceback (most recent call last):
3: from nngsCUI.rb:148:in `
'
2: from /Users/intenseg/Downloads/nngs/NngsClient.rb:95:in `login'
1: from /Users/intenseg/Downloads/nngs/NngsClient.rb:95:in `new'

/Users/intenseg/Downloads/nngs/NngsClient.rb:95:in `initialize': Connection refused - connect(2) for "yss-aya.com" port 9696 (Errno::ECONNREFUSED)


p.p1 {margin: 0.0px 0.0px 0.0px 0.0px; font: 11.0px Menlo; color: #000000}

span.s1 {font-variant-ligatures: no-common-ligatures}

span.s2 {text-decoration: underline ; font-variant-ligatures: no-common-ligatures}

span.Apple-tab-span {white-space:pre}



p.p1 {margin: 0.0px 0.0px 0.0px 0.0px; font: 11.0px Menlo; color: #000000}

span.s1 {font-variant-ligatures: no-common-ligatures}

span.s2 {text-decoration: underline ; font-variant-ligatures: no-common-ligatures}

span.Apple-tab-span {white-space:pre}


http://


Re: CGFオープンのテストサーバー  投稿者:荒木(ark) 投稿日:2019年 7月11日(木)18時38分44秒
おそらくRubyスクリプトのバージョンが古いか、rubyそのもののバージョンが合っていないのだと思います。2018年のページのRubyスクリプトより古いバージョンが今年の大会ページに載っているようです。ただ、今回は山下さんがNNGSを用意してくださるので、あえて古いRubyスクリプトを使用する想定なのかもしれません。


CGFオープンのテストサーバー  投稿者:oubeika 投稿日:2019年 7月11日(木)18時47分14秒
荒木さん

なるほどそうでしたか。ありがとうございます。
ぶっつけ本番で行きたいと思います。


e: CGFオープンのテストサーバー  投稿者:山下 投稿日:2019年 7月11日(木)18時49分58秒
すみません、yss-aya.com の9696で動かしているnngsサーバですが
不安定なようですぐ落ちてしまうようです。
とりあえず再起動しておきました。

他の方からもテストしていて反応がなくなった、という連絡があり
調べたら終了していました。

新しいruby scriptには対応していませんが、それでもサーバが
止まるのはおかしいのでちょっと調べてみます。


CGFオープンのテストサーバー  投稿者:荒木(ark) 投稿日:2019年 7月11日(木)18時58分44秒
山下さん

荒木です。古いNNGSサーバーにバグがあったことを思い出しました。
今回のがそれだと断言はできませんが、当時のメールから抜粋したものを貼っておきます。

-----
1.NNGSサーバーのプログラム中で、time_t構造体をint型(32bit)扱いしてキャストしているところがあった。(これが大問題)
2.https://ja.wikipedia.org/wiki/Time_t
を見る限り、新しいLinuxではtime_t構造体は64bitになっている可能性がある。
3.実はNNGSサーバーは昨年までとは動かしている物理マシンとOSが変わっている。
1,2,3を総合的に考えて、「64bitに変わったtime_tを32bitにキャストしてしまっている箇所があるのが問題」と考えられます。
----


Re: CGFオープンのテストサーバー  投稿者:山下 投稿日:2019年 7月11日(木)19時17分2秒
そんなバグが!
なるほど、今まで32bitのcygwinで動かしてたときは何の問題もなかったのですが
今は64bitのdebianで動かしてるのでそれが原因かもです。
1局終わった後に落ちてる感じがします。調べてみます。


Re: CGFオープンのテストサーバー  投稿者:山下 投稿日:2019年 7月11日(木)21時13分50秒
根本的な修正ではありませんが、以前の佐々木さんのパッチをあてたnngs-1.1.20を
32bit版でビルドしたら19路を2局、9路を1局、正しく終局するのを
確認しました。64bit版だと1局終わった後、サーバが終了していました。

$ ./configure --build=i686-pc-linux-gnu "CFLAGS=-m32" "CXXFLAGS=-m32" "LDFLAGS=-m32" --prefix=/home/yss/go/nngs
$ make
$ make install


Re: CGFオープンのテストサーバー  投稿者:oubeika 投稿日:2019年 7月11日(木)21時35分9秒
山下さん

テストサーバーで終局後にエラーが出ないことを確認しました!
対応ありがとうございます!


Re: CGFオープンのテストサーバー  投稿者:山下 投稿日:2019年 7月11日(木)21時54分44秒
oubeikaさん、確認ありがとうございました。
3,4年前から動かしていて加藤さんにも何かおかしいよ、と言われていたのですが
全然検証していませんでした・・・。


GNU Goも64bit版だと落ちるバグが  投稿者:山下 投稿日:2019年 7月11日(木)22時02分10秒
そういえばGNU Goも64bitだとシチョウがらみでまれに落ちる現象があり、
32bit版だと1手に時間はかかるものの落ちない、という現象がありました。

[Computer-go] Strange GNU Go ladder behavior
http://www.computer-go.org/pipermail/computer-go/2015-June/007681.html


Re: GNU Goも64bit版だと落ちるバグが  投稿者:xevi 投稿日:2019年 7月13日(土)05時03分49秒
以前に GNU Go 3.8 のバグをいくつか調べたことがあるので、
参考までに手元に残っているメモを貼っておきます。

●シチョウを逃げ続けると落ちることがある(Cygwin+GCC)
・engine/value_moves.c value_move_reasons() 内
※範囲チェックより先に配列外を参照している
3065 行 変更前:
    while (move[pos].reason[num_reasons] >= 0 && num_reasons < MAX_REASONS)
変更後:
    while (num_reasons < MAX_REASONS && move[pos].reason[num_reasons] >= 0)

●ある条件(詳細不明)で落ちることがある(VS2015)
・engine/optics.c recognize_eye() 内
※配列外へ書き込んでいる
1234 行 変更前:
  for (pos2 = BOARDMIN; pos2 < BOARDMAX; pos2++) {
変更後:
  for (pos2 = BOARDMIN; pos2 < BOARDMAX; pos2++) {
    if (eye_size >= MAXEYE)
      break;

●Lv0〜3 で石のあるところに打とうとして落ちることがある
・engine/value_moves.c value_moves() 内
※根本的な原因がわからないため対症療法
3306 行 変更前:
      pos = POS(m, n);
変更後:
      pos = POS(m, n);
      if (board[pos] != EMPTY) {
        move[pos].value = 0.0;
        continue;
      }

●詳細失念
・engine/utils.c does_defend() 内
152 行 変更前:
  if (!attack(str, &spos))
変更後:
  if (color == EMPTY || !attack(str, &spos))

・engine/filllib.c find_backfilling_move() 内
396 行 変更前:
  acode = attack(move, &apos);
変更後:
  acode = attack(move, &apos);
  if (acode == 0) {
    popgo();
    return 0;
  }


Re: GNU Goも64bit版だと落ちるバグが  投稿者:山下 投稿日:2019年 7月14日(日)04時06分13秒
こんなにやばそうなのが残ってるのですか。
情報ありがとうございました。

CGOSで動かしてる3.7.10は32bit版で、さらに下記の対応をしています。

gnugo3.7.10\engine\reading.c
line :2487

#define MAX_LIBERTIES 8

superstring_moves(int str, struct reading_moves *moves, int liberty_cap, int does_attack)
{
  int ss_liberties;
  int ss_libs[MAX_LIBERTIES + 4];

  find_superstring_liberties(str, &ss_liberties, ss_libs, liberty_cap);
  ...

'ss_liberties' is from 12 to 14 sometimes.
This happens also gnugo 3.8 built by VC 2008.
I changed from ss_libs[MAX_LIBERTIES + 4] to ss_libs[MAX_LIBERTIES + 40].

gnugo3.7.10\engine\optics.c の1204行目、
recognize_eye(int pos, int *attack_point, int *defense_point,
で eye_size が 21 になって落ちてるようだ。

insert this Line:1237
  if ( eye_size >= 20 ) printf("Err1 eye_size=%d,pos2=%d\n",eye_size,pos2);

insert this in Line:1234
if ( eye_size >= MAXEYE-2 ) break;


CGFオープンの結果  投稿者:山下 投稿日:2019年 7月16日(火)19時48分41秒
9路はRayが14戦全勝で優勝、19路はRaynzが6戦全勝で優勝でした。

---------------------------------------------------------
7/13(土) 9路

持ち時間10分切れ負け。中国ルール。コミ7.0目。ほぼ全局nngsでの通信対局。
電通大、西9 3F AVホール

            夏風  nlp    Rn   Argo  BSK   Ray   Raynz AIZE 勝数 順位
夏風              ○○  ○○  ○○  ○○  ××  ○○  ×○  11    2
nlp         ××        ○○  ×○  ○○  ××  ××  ××   5    5
Rn          ××  ××        ×○  ×○  ××  ××  ××   2    8
PyaqArgo    ××  ×○  ×○        ×○  ××  ×○  ××   4    6
BSK         ××  ××  ×○  ×○        ××  ○×  ××   3    7
Ray         ○○  ○○  ○○  ○○  ○○        ○○  ○○  14    1
Raynz       ××  ○○  ○○  ×○  ○×  ××        ×○   7    4
AIZE        ×○  ○○  ○○  ○○  ○○  ××  ×○        10    3

自分が黒の時の結果が左。例:「×○」 ... 黒番で負け、白番で勝ち

7/14(日) 19路

2019年7月14日、電気通信大学 西9号 3F AVホール
スイス式6回戦。日本ルール、コミ6.5、30分切れ負け。nngsによる通信対戦

+------------------+----+----+----+----+----+----+------+----+-----+----+
|     対局者名     |1局|2局|3局|4局|5局|6局|勝敗分|ソル|SB/MD|順位|
+------------------+----+----+----+----+----+----+------+----+-----+----+
| 1.夏風           |GNU |BSK |AIZE|nlp |Rayn|Rn  | 4-2-0|19.0|     |   3|
|                  |  ○|先○|  ×|  ○|先×|  ○|   4.0|    |     |    |
| 2.Rn             |AIZE|GNU |Pyaq|Ray |BSK |夏風| 3-3-0|16.0|  3.0|   5|
|                  |  ×|先○|先○|  ×|  ○|  ×|   3.0|    |     |    |
| 3.Ray            |Rayn|Pyaq|nlp |Rn  |AIZE|BSK | 4-2-0|18.0|     |   4|
|                  |先×|  ○|  ○|先○|先×|  ○|   4.0|    |     |    |
| 4.Maru           |BSK |AIZE|Rayn|GNU |nlp |Argo| 3-3-0|16.0|  3.0|   5|
|                  |  ○|先×|  ×|  ○|先×|  ○|   3.0|    |     |    |
| 5.nlp            |Pyaq|Rayn|Ray |夏風|Maru|AIZE| 2-4-0|22.0|     |   7|
|                  |  ○|  ×|先×|先×|  ○|  ×|   2.0|    |     |    |
| 6.PyaqArgo       |nlp |Ray |Rn  |BSK |GNU |Maru| 0-6-0|    |     |  10|
|                  |先×|先×|  ×|先×|  ×|  ×|   0.0|    |     |    |
| 7.BSK            |Maru|夏風|GNU |Pyaq|Rn  |Ray | 2-4-0|15.0|     |   8|
|                  |先×|  ×|先○|  ○|先×|  ×|   2.0|    |     |    |
| 8.Raynz          |Ray |nlp |Maru|AIZE|夏風|GNU | 6-0-0|    |     |   1|
|                  |  ○|先○|先○|  ○|  ○|  ○|   6.0|    |     |    |
| 9.AIZE           |Rn  |Maru|夏風|Rayn|Ray |nlp | 5-1-0|    |     |   2|
|                  |先○|  ○|先○|先×|  ○|  ○|   6.0|    |     |    |
|10.GNU Go         |夏風|Rn  |BSK |Maru|Pyaq|Rayn| 1-5-0|18.0|     |   9|
|                  |先×|  ×|  ×|先×|先○|  ×|   1.0|    |     |    |
+------------------+----+----+----+----+----+----+----+------+-----+----+
○:勝ち ×:負け =:引き分け  先:先手(後手は空白)

棋譜
http://hp.vector.co.jp/authors/VA012620/cgf2019/cgf2019.zip

結果
http://hp.vector.co.jp/authors/VA012620/cgf2019/result2019.html


katago_20b_800poが13路でトップに  投稿者:山下 投稿日:2019年 7月21日(日)23時50分27秒
半年ぶりに13路のCGOSのBayesEloのトップを更新しています。
LeelaZeroの最新のネットワーク(LZ_233_2240_p800)にも
75%勝ち越してます。
LZは40bで倍の大きさなので、半分のサイズでこの強さはすごいですね。

http://www.yss-aya.com/cgos/13x13/standings.html
http://www.yss-aya.com/cgos/13x13/bayes.html

LZは下のソースでネットワークを変換したものを動かしてました。
A way to make 19x19 weights fit for other board sizes
https://github.com/leela-zero/leela-zero/issues/2240


CGOSが2日ほど止まります  投稿者:山下 投稿日:2019年 7月23日(火)02時44分2秒
バックアップとサーバのメンテナンスのためです。
ご不便をおかけしてすみません。


cudnn 速度比較  投稿者:HiraBot 投稿日:2019年 7月23日(火)13時16分58秒
HiraBot の cudnn を久しぶりに更新したところ大幅に遅くなったので
DCNN 計算ルーチンの速度比較しました

cudnn-v5.1 GTX960   2.0ms
cudnn-v7.6 GTX960   4.5ms

cudnn-v5.1 GTX1060  1.3ms
cudnn-v7.6 GTX1060  1.4ms

新しい GPU (GTX1060) では cudnn のバージョンを変えても速度は変わらないが
古い  GPU (GTX960)  では cudnn を新しくすると極端に遅くなります
要注意です(古いバージョンを使うことにしました)。


BayesElo 更新  投稿者:HiraBot 投稿日:2019年 7月27日(土)07時34分34秒
山下様 9x9 CGOS の BayesElo が 23日(UTC) を最後に更新されていません
更新して下さるとありがたいのですが、よろしくお願いします。


Re: BayesElo 更新  投稿者:山下 投稿日:2019年 7月27日(土)11時58分40秒
すみません、サーバの再起動で更新プログラムを走らせるのに失敗してたようです。
走らせたので、1日ごとに更新されると思います。


FloodgateのAobaZero命名則について  投稿者:nomius 投稿日:2019年 7月27日(土)16時50分40秒
はじめまして
Floodgate での AobaZero の成長ぶり日々楽しみにしています。
本日より参戦されている AobaZero_lr0722_1080x2_t32_p30k が技巧2を超えそうな勢いですが、
p30k の意味はわかるものの、lr0722 や t32 というのは何を意味してるのでしょうか。
同様に、AobaZero_w653_n_p800 などの n は何を意味してるのでしょうか。

既出でしたらすみません。


推理  投稿者:masa 投稿日:2019年 7月27日(土)21時35分32秒
山下さんから、正式なコメントがあると思いますが、すこし推理を。
lr= learning rate(LDの学習率)
1080x2:GPU 1080 を2枚使用
t32:32 thread(スレッド)
p30k:MCTSのplay out 30000回

合っているかな〜。


Re: FloodgateのAobaZero命名則について  投稿者:山下 投稿日:2019年 7月28日(日)23時42分33秒
masaさんの推理どうりです^^;
内部でミニバッチを組んで処理する部分とマルチGPUで動くようになったのでその実験をしていました。
(もともとLeela Zeroにあったコードに対応していなかっただけですが・・・)
weightは通常のものでなく、学習率を10分の1(learning rate=0.0001)に下げたらどうなるか実験したものです。
w650より+179 Elo強いようです。(Kristallweizen 1手100Kでの比較)
http://www.yss-aya.com/20190722_193305log_win500k_lr00001_wd00002_m64_iter_856000.tar.bz2
解凍してできた *.txt を読み込ませれば動きます。

学習率を下げれば強くなるのは確認できてるのですが実際に下げるかは相談しています。

GTX 1080 を2台、32スレッドで内部バッチは6、1手に30000playoutで、さらに config.h の
#define USE_HALF
を定義、
#define USE_OPENCL_SELFCHECK
をコメントアウトしています。

USE_HALF を定義すると時々、計算結果が10%程度ずれることがあります。

下のようなオプションで動かしていました。
$ ./aobaz -p 30000 -i -t 32 -b 6 -u 0 -u 1 -q -w ./weight/20190722_193305log_win500k_lr00001_wd00002_m64_iter_856000.txt
-t -b などは develop ブランチをコンパイルすれば動くと思います。
$ git clone -b develop https://github.com/kobanium/aoba-zero.git aoba_develop

floodgateに流してる AobaZero_w653_n_p800 は下のオプションで動かしています。
$ ./aobaz -p 800 -i -n -q -w ./weight-save/w000000000653.txt

「-n」はRootの着手候補に探索前にノイズを加える、という意味です。
ほとんど棋力に変化はありませんが3%ぐらいの確率で着手が変わることがあります。
floodgateでは定跡を使わない相手用に、少しでも違った棋譜になるようにつけています。
「-m 30」は学習用の棋譜で使ってるオプションですが、こちらは初手で▲18香を2%の確率で
選ぶ、といったもので、つけると80Eloほど弱くなります。


初めてgikou2_1cに勝ってますね  投稿者:山下 投稿日:2019年 7月29日(月)00時31分10秒
1手800playoutのAobaZeroがgikou2_1cに時間切れ以外でまともに勝ったのは初めてだと思います。
しかも2局も。
Kristallweizen相手だとほとんど強くなってないのですが
何か技巧相手に勝ちやすくなったのかもしれません。
単なる偶然という可能性も高いですが・・・。

http://wdoor.c.u-tokyo.ac.jp/shogi/view/2019/07/28/wdoor+floodgate-300-10F+gikou2_1c+AobaZero_w653_n_p800+20190728020002.csa
http://wdoor.c.u-tokyo.ac.jp/shogi/view/2019/07/28/wdoor+floodgate-300-10F+AobaZero_w653_n_p800+gikou2_1c+20190728000004.csa

gikou2_1cとの対戦成績
http://wdoor.c.u-tokyo.ac.jp/shogi/LATEST/html/current/2019-07-AobaZero_w653_n_p800-gikou2_1c.html


(無題)  投稿者:48 投稿日:2019年 7月29日(月)14時28分54秒
素晴らしいですね。
レートに出にくい部分で学習が進んでいると好意的に取って良いのではないでしょうか。
ただ,探索では読み抜けがでやすいのか中終盤で負ける展開が多いように思います。
ポリシーネットワークで探索候補にも出てこない妙手はどうしても読み抜けるように山岡さんもコメントされてました。
https://bleu48.hatenablog.com/entry/2019/07/27/140846


Policyでの読み抜け  投稿者:山下 投稿日:2019年 7月29日(月)19時32分35秒
ありがとうございます。
いつもブログ楽しく読ませていただいています。
1手1億ノードのKristallweizenに一発入れたのには私もビックリでした。
レート差が700以上あるのでそうそう起こりそうもないのですが。
CPU版だとスレッド数を増やせばほぼ比例して速度が上がるようになってます。

相変わらず角、飛の長い利き(特に2枚重なってる場合)のPolicyの読み抜けはひどいみたいです。
とはいえ、以前読み抜けていた2枚龍での1手詰み(△89竜)が
w558では95番目の候補手だったのが、最新の
w658では7番目まで上がってきています。

まだ800playoutでは読み抜けますが、じわじわと学習は進んでるみたいです。

AlphaZero方式で新しい概念の手を見つける仕組み
https://524.teacup.com/yss/bbs/3481


(無題)  投稿者:nomius 投稿日:2019年 7月30日(火)00時11分5秒
masa様、山下様
回答ありがとうございます。

-nというのは自己対戦用のオプションだったのですね
Readmeを読んでませんでした(汗)
他のオプションについてもソースから確認することができました。

ご教示ありがとうございました。


2019年中信証券杯が8月21日から25日まで  投稿者:山下 投稿日:2019年 7月31日(水)19時45分31秒
2019年8月21日-25日にかけて囲碁AIの世界大会、中信証券杯が
中国の山東省南部の日照市で開催されるそうです。

エントリーは14チームで

絶芸          中国
GLOBIS-AQZ    日本
CGI           台湾
Octopus Go    中国
HanDol        韓国
DolBaram      韓国
GOLAXY        中国
Handtalk      中国
YiXiaoTian    中国
Clear Stone   中国
YaoGo         中国
Go Genius     中国
Leela Zero    ベルギー
MAYAGO        香港

などが参加予定のようです。
CGIの参加と、HanDolという韓国の新しいプログラムが気になります。
ELFは参加してないようです。
Handtalkは1996年ごろ最強だった陳志行先生のプログラム名ですが
その名前も中国では今や忘れ去られてしまって、付けられたのか・・・と
思ったのですが、作者名が広州市の企業(陳志行さんは広州の人)で
作者の陸錦強さんはGo StarのLu Jinqiangさん(陸錦強)のようです。
ちょっとびっくり!
Luさんなら囲碁も強豪で、陳先生のお弟子さんなので名前を継いでも不思議ではないです。

それはさておきGLOBIS-AQZが絶芸を破って優勝できるのか?!が一番の注目ですね。
2017年の大会ではDeepZenGoが優勝しています。

2019年 中信証券杯  (中国語)
http://sports.sina.com.cn/go/2019-07-31/doc-ihytcerm7517268.shtml
大会案内   (中国語)
http://sports.sina.com.cn/go/2019-05-31/doc-ihvhiews6020777.shtml


Google ColabのK80の割合が増えたようです  投稿者:山下 投稿日:2019年 8月 2日(金)17時15分2秒
Google ColabをAobaZeroの棋譜を作るのに使わせていただいているのですが
最近、高速なTesla T4でなくやや遅いTesla K80が割り当てられるのが増えてきました。

下のような感じです。1手2500msならT4、4400msならK80としてます。

K80,T4,K80,T4,K80,T4,K80,K80,K80,K80,K80,K80,K80,K80
K80,(タブを消して再度)K80,K80,K80,K80,K80

同じ計算ばかりやってるのがばれてK80が割り振られているのかもしれませんが・・・。

Google Colaboratoryを使ってAobaZeroの棋譜を生成できます
http://www.yss-aya.com/aobazero/colab.html


囲碁世界13  投稿者:coji coji 投稿日:2019年 8月14日(水)15時28分53秒
Sdi-Worlsという囲碁のサイトで「囲碁世界13」が発売されているのですが、
搭載されているAIが「彩」だと聞いたのですが、本当でしょうか?
もしそうであれば、購入して対局したいと思います。


Re: 囲碁世界13  投稿者:山下 投稿日:2019年 8月14日(水)17時21分24秒
ディープラーニングが使われている、とのことですので
別のエンジンが採用されていると思います。


Re: 囲碁世界13  投稿者:cojicoji 投稿日:2019年 8月15日(木)18時50分14秒
かしこまりました。
AYAが商品化されることを願っております!


(無題)  投稿者:shota 投稿日:2019年 8月17日(土)07時41分3秒
2019年8月17日 07時10分現在(30分毎に更新)
合計 3289253 棋譜。現在のweight番号= w681。貢献ありがとうございます!

google colabや手元のPCを起動してもDLされるweight fileは、WeightNo 680です。
確認お願い致します。


w681が送られてこない  投稿者:山下 投稿日:2019年 8月17日(土)09時43分34秒
学習部でweightを変換する部分が停止していました。
修正して再起動いたしました。
現在の最新はw681になっています。
ご指摘ありがとうございました。


Computer Go Mailing-listのページが消えてますね  投稿者:山下 投稿日:2019年 8月22日(木)22時40分30秒
メールが届かない人が今年の2月ぐらいから増えていたのですが、
MLの入会ページ自体が消えてしまったようです。
http://computer-go.org/mailman/listinfo/computer-go

computer-go.org はまだ見えます。
http://computer-go.org/

過去ログはこちらなどでまだ読めます。
https://www.mail-archive.com/computer-goxcomputer-go.org/maillist.html
https://groups.google.com/forum/#!forum/computer-go-archive


CGOSのKataGoはシチョウがらみで勝ちやすい  投稿者:山下 投稿日:2019年 8月24日(土)13時39分51秒
CGOSでKataGoを動かしているのですが、
レートが上のLeelaZero、ELF相手に合計16局勝って、そのうち4局は
シチョウがらみでした。
KataGoは特徴の入力にシチョウが入ってるのですが、LZ、ELFは入っていません。
4局中3局は取れないシチョウをLZ,ELFが追いかける、というものでした。

9路、13路でも動かしてみたのですが、9路で400 visitで3000超え、と相当強いですね。
visitは、1手に必ず400回playoutするのではなく、Rootの訪問回数の合計が400なら
打ち切る、というものです。実際はLCBのせいかもっと少ないです。

http://www.yss-aya.com/cgos/viewer.cgi?19x19/SGF/2019/08/24/593253.sgf 取れないシチョウ
http://www.yss-aya.com/cgos/viewer.cgi?19x19/SGF/2019/08/24/593236.sgf シチョウ逃げ
http://www.yss-aya.com/cgos/viewer.cgi?19x19/SGF/2019/08/22/592814.sgf 取れないシチョウ
http://www.yss-aya.com/cgos/viewer.cgi?19x19/SGF/2019/08/22/592657.sgf 取れないシチョウ

http://www.yss-aya.com/cgos/19x19/cross/kata12_104b20_v400.html
https://github.com/lightvector/KataGo/releases


強化学習のフレームワーク、OpenSpiel  投稿者:山下 投稿日:2019年 8月28日(水)14時27分50秒
DeepMindが25種類のゲームと20種類のアルゴリズムに対応した
強化学習用のフレームワークを公開しています。
チェスや囲碁は入っているのですが、なぜか将棋は入っていません。

DeepMindxDeepMindAI
We're excited to release OpenSpiel: a framework for reinforcement learning in games. It contains over 25 games, and 20 algorithms, including tools for visualisation and evaluation.
https://twitter.com/DeepMindAI/status/1166321490981265409

https://github.com/deepmind/open_spiel
https://arxiv.org/pdf/1908.09453.pdf


Re: 強化学習のフレームワーク、OpenSpiel  投稿者:zakki 投稿日:2019年 8月28日(水)22時20分51秒
AlphaZeroアルゴリズムの実装はなくてRoadmap and Call for Contributionsのリストに入ってました。Shogiはそっちのリストにも入ってないですね。


AobaZeroのサーバが今朝の8時から24時間止まります  投稿者:山下 投稿日:2019年 9月 7日(土)02時29分43秒
棋譜の収集、weightの配布をするAobaZeroのサーバが停電のため
9月7日の朝8時から24時間停止します。
ご不便をおかけしますがよろしくお願いします。


マルチスレッド版  投稿者:48 投稿日:2019年 9月 9日(月)19時34分0秒
マルチGPUの実験から一ヶ月以上になりますがリリース版に反映されないのでしょうか。
理想を言えば並列に自己対戦すべきかもしれませんが
現行でも学習棋譜の作成が3倍以上になると思います。
CPU版も多コアのマシンならそこそこ強くなります。
https://bleu48.hatenablog.com/entry/2019/08/13/154028


Re: マルチスレッド版  投稿者:山下 投稿日:2019年 9月10日(火)19時44分37秒
学習率を下げる準備の調査で時間を取られていました。
棋譜数を増やすのは重要なのでこちらも早い時期にリリースしたいと思います。


tesla_spがCGOS19路の最高レートを更新  投稿者:山下 投稿日:2019年 9月15日(日)07時17分31秒
tesla_spが1年半ぶりにCGOSの19路、BayesEloの最高レートを更新しています。
http://www.yss-aya.com/cgos/19x19/bayes.html

tesla_spの正体は不明ですが、負けはネットトラブル?だけなので実質全勝ですね。
今までのトップはcronus_v0.1.3(Phoenix Go)でした。

とはいえ、CGOSの上位のレートは今はLeelaZeroの自己対戦がメインなのでどこまで信用できるかは難しいです。
以前もZenの自己対戦がメインだったかもしれませんが・・・。


マイブーム  投稿者:tss 投稿日:2019年10月 8日(火)22時15分51秒
ネットを徘徊していて、ねずみ将棋なるソフトを発見しました。
これの、ランダム将棋 バラバラにはまっています。
お薦めです。
作者鼻毛さん、ありがとうございます。

http://nezutako.rakusaba.jp/


CGOSで手数を指定して表示  投稿者:山下 投稿日:2019年10月 9日(水)11時10分48秒
下のようにURLの最後に &101 とつければ101手目を指定して
表示できるようにしてみました。
http://www.yss-aya.com/cgos/viewer.cgi?19x19/SGF/2019/10/08/609516.sgf&101

本当はWGoの Permanent link で表示される下のようなURLで表示したかったのですが
URLのデコードがうまくいかずに見送りました。
http://www.yss-aya.com/cgos/viewer.cgi?19x19/SGF/2019/10/08/609516.sgf&101#wgo_0={"goto":{"m":101}}


ノイズを含まないAobaZero同士の棋譜  投稿者:山下 投稿日:2019年10月23日(水)06時00分42秒
序盤の変遷が分かって面白いです。
http://www.yss-aya.com/aobazero/no_noise/sample.html

大まかな傾向は
・先手は居飛車しかしない。振ってきたら右四間か腰掛け銀で攻める。左美濃が好き。
・後手は雁木か四間飛車。美濃囲いに落ち着く。
(ただ、これは一番なりやすい変化、というだけで、学習棋譜では相掛かりの乱戦などがよく出てきます)

最近は
▲26歩△34歩▲76歩△44歩、この形が本線のようです。
最近先手勝率が0.542から0.538に下がってきたのは後手が△84歩から
横歩を取らせる変化を指すようになったせいかもしれません。

AlphaZeroは400万棋譜の段階では最初の2手は
▲26歩△84歩 (15%)
▲76歩△84歩 (20%)
▲76歩△84歩 ( 5%)
▲26歩△34歩 ( 3%)

ぐらいの割合なのでAobaZeroはかなり違った成長の仕方をしていることになります。
特にAlphaZeroはelmoとの100棋譜では先手、後手とも一度も飛車を振ってないなので
これも明らかに違います。
AobaZeroが後手だけ飛車を振るのは、MCTSの初期値が負け(-1)でなく引き分け(0)に
なっていたせいで、後手が弱い状態となり、一時的に先手勝率が0.60近くまで上がっていた
せいかもしれません。

400万棋譜の最初の6手ではAlphaZeroは
▲26歩△84歩▲25歩△85歩▲76歩△34歩 (手順不明)
という形になってるのでそれと同じ形は w755 では出てきます。
ここだけ見ると、同じような成長です。

1手800plyaoutで乱数の要素がないので、常に同じ手を再現します。

w765 ▲26歩△34歩▲76歩△44歩、後手は雁木。▲78金▲77銀。
w755 ▲26歩△34歩▲76歩△84歩、先手だけ横歩を取る。横歩取33角。▲68玉△52玉。
w750 ▲26歩△34歩▲76歩△44歩、後手は雁木。▲78銀、先手は早繰銀。
w735 ▲26歩△34歩▲76歩△32金、先手だけ横歩を取る。横歩取33角。▲68玉△52玉。△24飛とぶつける。
w720 ▲26歩△34歩▲76歩△44歩、後手は四間飛車。美濃囲い△52金。先手は腰掛け銀。左美濃。
w710 ▲26歩△34歩▲76歩△44歩、後手は雁木。先手は▲36歩から棒銀。左美濃。
w690 ▲26歩△34歩▲76歩△44歩、後手は四間飛車。美濃囲い△52金。先手は右四間。左美濃。
w660 ▲26歩△34歩▲76歩△44歩、後手は四間飛車。美濃囲い△52金。先手は右四間。銀冠を目指す?
w630 ▲26歩△34歩▲76歩△44歩、後手は四間飛車。後手から仕掛ける。
w610 ▲26歩△34歩▲76歩△44歩、後手は四間飛車。美濃囲い△52金。先手は右四間。
w595 ▲26歩△34歩▲76歩△44歩、後手は四間飛車。美濃囲い△32金。先手は右四間。
w520 ▲26歩△34歩▲76歩△44歩、後手は雁木。先手は右四間。▲78銀
w490 ▲26歩△34歩▲76歩△44歩、後手は四間飛車。△62銀の簡易。△32金。先手は右四間。
w420 ▲26歩△34歩▲76歩△44歩、後手は四間飛車。△62銀△52金、△32金。先手は右四間。
w390 ▲26歩△34歩▲25歩△33角、後手は四間飛車。△62銀△52金、△32金。先手は右四間。
w300 ▲26歩△32金▲25歩△84歩、角換わり相早繰銀。
w250 ▲26歩△84歩▲25歩△32金、先手だけ飛車先を交換
w235 ▲26歩△34歩▲76歩△32金、相掛かり。角を交換せずに相腰掛け銀。
w150 ▲26歩△34歩▲25歩△33角、いきなり▲45桂の仕掛け。
w135 ▲26歩△34歩▲25歩△33角、角交換から後手向かい飛車。先手後手とも美濃に。
w110 ▲48飛△84歩▲76歩△85歩、先手いきなり右四間。いきなり飛車先突き捨て。角不成。
w100 ▲76歩△34歩▲26歩△88角成、先手が横歩を取る。大駒の価値が怪しい。
w090 ▲96歩△62金▲26歩△14歩、簡単に香損する。
w080 ▲78飛△32飛▲68飛△42飛、まだ序盤の手の価値が怪しい。金銀ばらばら。駒は取り返すが価値が怪しい。
w070 ▲78金△62飛▲68王△42飛、大駒の価値が怪しい。
w060 ▲68飛△42飛▲28飛△82飛、千日手。
w050 ▲48飛△62飛▲56歩△42飛、王を囲う、という概念はないようだ。王を詰ましやすい形を目指す?
w040 ▲38飛△72飛▲48飛△62飛、千日手
w025 ▲38飛△72飛▲58飛△52飛、ひたすら飛車だけを動かす。千日手は打開。歩が前進すると負けと思ってる?駒の価値、成る価値が分かってない。


第11回UEC杯  投稿者:荒木(ark) 投稿日:2019年10月24日(木)15時57分2秒
開催されます!(ただし場所には注意してください)
http://entcog.c.ooco.jp/entcog/new_uec/


KG30b11_406_2x2060が9路の最高レートを更新  投稿者:山下 投稿日:2019年11月 2日(土)03時55分1秒
1年2か月ぶりに最高レートを更新しています。
http://www.yss-aya.com/cgos/9x9/bayes.html
今までのトップの Kishin-4.0-4c2g に140点ぐらい差をつけてます。

負けは全部時間切れなので、実質負けなしで引き分けが144局中7局あるだけですね。恐るべし。
http://www.yss-aya.com/cgos/9x9/cross/KG30b11_406_2x2060.html

名前から推測するにKataGoを9路専用で学習させたもの?ぽいですが正体は分かりません。


AobaZero 入玉宣言について  投稿者:tns 投稿日:2019年11月 2日(土)08時26分22秒
AobaZeroが27点法での条件を満たしても宣言勝ちしないのは現在の仕様でしょうか。


Re: AobaZero 入玉宣言について  投稿者:山下 投稿日:2019年11月 3日(日)04時31分25秒
はい。
USIエンジンであるaobazは現在宣言勝ちは入ってないです。
棋譜を送るautousiが条件に達していたら%KACHIを棋譜収集サーバに送っています。
AobaZeroは512手を超えたら引き分け、それ以前にCSAの27点法で宣言勝ちできるなら宣言する、という条件で学習しています。
現在は512手を超える棋譜は全体の0.05%程度で、
NN(ニューラルネットワーク)自体は宣言勝ちをだいたいは学習しているようです。
学習時以外ではaobaz単体でも判定、宣言勝ちをする修正を検討しています。


ColabでTesla P100が使えるように  投稿者:oubeika 投稿日:2019年11月 8日(金)13時41分5秒
Google ColabratoryでTesla P100が使えるようになってます。爆速です!
逆にTesla K80を見かけなくなりましたが。


Re: ColabでTesla P100が使えるように  投稿者:山下 投稿日:2019年11月 9日(土)14時39分11秒
Googleさんに感謝ですね!
ただ私はずーっと使い続けてるのですが12時間連続で使えた後、
10時間ほどGPUが割り当てられない状態が続き、
また12時間K80が使える、が続いています。

一昨日は一度だけP100?が割り当てられて速かったです。


UEC杯の参加申し込みは11月25日まで  投稿者:山下 投稿日:2019年11月20日(水)10時54分54秒
12月14、15日に開催されるUEC杯の参加申し込みは
今月の25日までとなっています。
参加条件は昨年のAI竜星戦と同じでLeelaZeroに独自の改良を加えたものでも参加できます。

今年の開催場所はAmazon Loft 東京、で電通大ではなく
目黒となっています。
http://entcog.c.ooco.jp/entcog/new_uec/ 


Leela Zeroの成長は止まってる?  投稿者:山下 投稿日:2019年11月26日(火)12時14分18秒
下はCGOSのELFv2の1手800playoutに対するLeelaZeroの重み番号に対する勝率です。
LZ_244ぐらいまでは順調に勝率が下がってる(LZが強くなってる)のですが
最近のLZ_254あたりではほぼ一定になってるように見えます。
対局数は一つ20局から80局程度と少なくて、もう少し待てばもっと勝率下がりそうな気もするのですが。
LZ_204からLZ_222あたりまでもほぼ一定なのであと10回ぐらいは待つのが正解ですか・・・。

もともとはLeela Zeroのissueに同じデータを投稿してる人がいたのですが場所を忘れました。
http://www.yss-aya.com/cgos/19x19/cross/LZ_05db_ELFv2_p800.html


LeelaZeroの自己対戦の黒の勝率は下降傾向  投稿者:山下 投稿日:2019年12月13日(金)00時22分0秒
下はLeelaZeroの重みLZ_200からLZ_254(2019-01-10から2019-12-10)までの
自己対戦の黒の勝率です。
以前からコミ7.5では白有利、と言われていましたが現在では黒の勝率は
0.425まで下がっています。

下降傾向は続いており、強くなるほどもっと下がっていきそうです。
19路のコミ7.5は白に有利すぎて、7.0とか6.5の方がいいのかもしれません。


LeelaZeroが2020年1月末で終了予定  投稿者:山下 投稿日:2019年12月17日(火)15時14分42秒
GCPによると50万棋譜たまったけど、新しい重みができなかったので
もう成長は終わっただろう。これから過去75万棋譜までみるようにして
さらに学習率を小さくして、劇的な変化がなければ
来年の1月末で終了するとのことです。
GCP本人はこれ以上はやるつもりがないので、次は
SAIかKataGoでやってはどうか、とのことです。

個人的にはAobaZeroだと260万から320万棋譜まで
50万棋譜以上作ったのに大きな上昇はなかったのに
その後+60Eloぐらい上がったので、50万棋譜作って
上がらなくても、その後、棋力向上に必要な「何か」
をある確率で自己対戦が見つけることもあるのではないか、と思います。
AobaZeroもReplayBuffer(Windowサイズ)は同じ50万棋譜で行ってます。

End of first training run - next steps
https://github.com/leela-zero/leela-zero/issues/2560

SAI
http://sai.unich.it/
KataGo
https://github.com/lightvector/KataGo 


Re: LeelaZeroが2020年1月末で終了予定  投稿者:zakki 投稿日:2019年12月17日(火)15時44分29秒
AobaZeroはAlphaZero方式で常時ネットワークが更新され続けるので棋譜の内容が変わり続けますが、Leela ZeroだとAlphaGoZero方式で勝てない限り自己対局用のネットワークは同じでリプレイバッファ埋まると乱数分しか変化が起きないというのがあるんじゃないかと思います。
55%を50%にしてはどうかのようなコメントもありました。 

Re: LeelaZeroが2020年1月末で終了予定  投稿者:山下 投稿日:2019年12月17日(火)18時06分21秒
なるほど、その違いはあるかもしれないですね。
50%とかにしちゃうと本格的にAlphaGoZeroとは違う手法になってしまいそうで
やらないかもですね。

まぁLZはほぼ成長が鈍化してるのは間違いないので、シチョウ入れるとか
SENetを採用するとかKataGoみたいに成長の余地がある?手法で
人を集めるのが正解な気がします。
LZの後継でGolaxyとかに追いつくのは十分可能だと思いますし。 

セドル対HanDolでゲタの読み抜け  投稿者:山下 投稿日:2019年12月19日(木)13時18分25秒
セドルの引退碁で韓国のHanDolが2子置いたのですが最後はゲタを読み抜けて負けたようです。

ただ、投了局面での白K8の死活は意外と難しいです。
白がK7と逃げると黒はJ6のゲタで取ります。
この局面は白のダメは2なので、黒L11を取ろうと白L12と
追いかける手が生じます。しかし、これはシチョウではないので
取り切れません。また白N10と打つ交換も必ず入ります。
つまりこのゲタで取る探索はかなりの深さの探索をしないと分からないです。
古いクラシックのAyaはダメ4で、深さ7まで、シチョウは最大64手まで延長する探索を使ってるのですが
この死活は分かりません。
証明数かdfpnを使った探索でないと厳しいかもしれません。
逆に言うと、証明数系の死活探索の前処理をしないと
AlphaZero系のプログラムはこの局面を理解できないと思います。

追記:
実際は黒の78手目(J9)からHanDolの「勝率が急激に落ちた」そうです。

<囲碁>李世ドル、アルファ碁より強い韓国産「ハンドル」に勝利…AIは不完全だった
https://headlines.yahoo.co.jp/hl?a=20191219-00000038-cnippou-kr

白92手 J-12 まで  ハマ 黒0子  白0子
  ABCDEFGHJKLMNOPQRST
19┌┬┬┬┬┬┬┬┬┬┬┬┬┬┬┬┬┬┐
18├┼┼┼┼┼┼┼┼┼┼┼┼┼┼┼┼┼┤
17├┼┼┼┼┼┼┼┼┼┼●●●●┼○●┤
16├┼┼●┼┼┼┼┼┼○●○┼○●○●┤
15├┼┼┼┼┼┼┼┼┼●○┼●●●●○●
14├┼●┼┼┼┼┼┼┼┼○┼○○○○○┤
13├┼┼┼┼┼┼┼┼┼┼┼┼┼┼┼┼○┤
12├┼┼┼┼┼┼┼┼┼┼┼┼┼┼●┼┼┤
11├┼┼┼┼┼┼┼┼┼●○┼┼○┼┼┼┤
10├┼┼┼┼┼┼┼○○●○┼●●●┼┼┤
09├┼┼┼┼┼┼┼●●○●●┼┼┼┼┼┤
08├┼┼┼┼┼┼┼★○○○●○●┼○┼┤
07├┼┼┼┼┼┼┼┼┼●●○┼┼●┼┼┤
06├┼┼┼┼┼┼┼┼┼┼┼┼○┼┼┼○┤
05├┼┼●┼┼┼┼┼┼●┼┼┼┼●┼┼┤
04├┼○●┼┼┼┼○○○○┼○○●○┼┤
03├┼○●○○┼●●●○●┼┼●○○┼┤
02├┼○○●┼┼●○○●●┼┼●┼┼┼┤
01└┴┴┴┴┴┴┴┴┴┴┴┴┴┴┴┴┴┘

(;GM[1]SZ[19]
PB[Lee Sedol]
PW[HanDol]
RE[B+R]HA[2]KM[7.5]RU[Chinese]DT[2019-12-18]
PC[the Seoul headquarters of Bodyfriend]
EV[Lee Sedol retirement match]
AB[pd][dp]
;W[qp];B[dd];W[np];B[lq];W[fq];B[pp];W[pq];B[oq];W[op];B[po]
;W[qq];B[or];W[rn];B[iq];W[cq];B[dq];W[cp];B[do];W[dr];B[er]
;W[cr];B[pm];W[eq];B[cf];W[qf];B[nc];W[nn];B[pj];W[nl];B[qe]
;W[pf];B[ph];W[nf];B[ld];W[le];B[ke];W[lf];B[nj];W[oi];B[oj]
;W[md];B[mc];W[kd];B[lc];W[ql];B[ol];W[od];B[oc];W[qc];B[oe]
;W[re];B[rd];W[qd];B[pe];W[rg];B[se];W[rf];B[rc];W[of];B[ne]
;W[jp];B[kr];W[lj];B[mk];W[kl];B[lk];W[kk];B[kj];W[li];B[lm]
;W[lp];B[km];W[ip];B[hq];W[ll];B[ml];W[mm];B[ik];W[jj];B[ki]
;W[ij];B[ko];W[kp];B[jk];W[jr];B[jq];W[kq];B[lr];W[ir];B[hr]
;W[jl];B[il])


MuZero  投稿者:おせら 投稿日:2019年12月21日(土)21時39分46秒
一体どこまで強くなる(゚o゚;

https://arxiv.org/abs/1911.08265


(無題)  投稿者:最新weightファイル 投稿日:2019年12月22日(日)11時28分30秒
aobazeroのHPで最新となっている
w000000000833が下りてこないようです。 確認お願いします。
また次の一局も始まらないです。 

Re: 最新weightファイル  投稿者:山下 投稿日:2019年12月22日(日)13時26分59秒
GPUの一時的なメモリ不足で変換に失敗していました。
変換しなおして配布サーバにアップしました。
ご指摘ありがとうございました。
次の1局については私の環境やcolabでは動いているようです。 

Re: MuZero  投稿者:zakki 投稿日:2019年12月23日(月)21時26分55秒
MuZeroとは違いますが9路で再帰的なネットワークを試してました。モデルフリーなMuZeroとは違って前回の隠れ層と現局面を入力にしてdynamics functionを3ブロックのResNetであらわして8手分展開して学習してました。
この場合でも4〜5手先になると、ポリシーの正解率が2ポイントくらい上がってました。
MZが16ブロックでAGZの20ブロックと同じくらい強いのはありそうに思います。

私の実験自体は、ある探索ノードの子ノードは隠れ層を共有出来るから8手分一気に隠れ層計算して直近の1手差分だけ各ノードで計算すれば計算量1/3くらいになって探索数稼げるというのをやりたかったんですが、基本的にAlphaGo系列はそんなに探索幅広くないので微妙でした。 

Re: MuZero  投稿者:山下 投稿日:2019年12月24日(火)04時21分48秒
UEC杯の参加版でこれをされていたのですか?
よく分かっていませんがポリシーが2%上がる、というのは相当すごいですね。

Virtual Lossでたくさん並列化させると高速化できたりするんでしょうか。
将棋のNNUEは差分計算で高速化できるのが特徴ですけど、大きなNNでも
そういう流れになるのでしょうか・・・。 

Re: MuZero  投稿者:zakki 投稿日:2019年12月24日(火)09時18分58秒
UEC杯のネットワーク構造は入力層が増えた以外はLeelaZeroの40ブロックと同じでした。

9路で強くなかったのとで、ブロック数増やすと不安定になって学習進まなくなったのとで19路では試してません。
MuZeroは正規化したり勾配に係数かけたりで諸々の工夫必要だったようです。