コンピュータ将棋や囲碁の掲示板
TOP > 記事閲覧
fld_nor.gif 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/08/12(Mon) 20:21
投稿者 山下
振り飛車を人間の知識なしで深層強化学習させる「Aoba振り飛車」を開始しました。

Aoba振り飛車
http://www.yss-aya.com/furibisha/

対抗系の先手四間飛車、後手中飛車などに加えて、先手1間飛車、後手向飛車、などの相振りも学習します。
AIは振り飛車の新しい指し方を発見できるでしょうか?1間飛車や9間飛車はどんな指し方に?

例えば▲9間飛車、△4間飛車の相振りはこんな感じの棋譜になってます。
http://www.yss-aya.com/furibisha/no_noise/sample2.html#205_05

また、どの筋に飛車を振っても勝率が5割になるように強さを自動調節しています。
ハンデレートの下の行は先手が居飛車、の場合の後手が飛車を振った位置でのハンデを示します。

先手2筋 149 3 65 122 72 42 88 60 111

「3」は後手も居飛車、つまり相居飛車の場合のハンデです。ほぼ互角の +3 ELO。
後手が9筋に飛車を振った場合(後手1間飛車) 149 ELOのハンデ、とかなり先手有利です。
先手居飛車、後手向飛車の場合は +60 ELO。
今のところ、後手中飛車、四間、3間、向飛車はだいたい似たようなハンデです。

floodgateでも動かしていて、下は先手向飛車にしています。
http://wdoor.c.u-tokyo.ac.jp/shogi/view/2024/08/12/wdoor+floodgate-300-10F+AobaFuribisha_w197_800p+FOUR-7+20240812190008.csa

現在は128x10bの1/8のネットワークですが、近日中に256x20bに移行する予定です。

技術的な詳細(AobaZeroとの違い)など。
http://www.yss-aya.com/furibisha/furi.html
編集 編集
< 123456789>
件名 Re: 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/09/23(Mon) 18:22
投稿者 山下
参照先
棋力の上昇がほぼ止まったので、1手平均800playoutを倍の1600にする予定です。

角交換3間から向飛車で逆襲。お互いに筋違い角を打ち合って飛車先をけん制しあうのが印象的です。

▲3間△居  w1302_21.csa http://www.yss-aya.com/furibisha/no_noise/sample9.html#1302_21

居飛車の右4間模様に自分から角交換して▲77桂と跳ねていくのが面白い構想です。
▲79銀のままで打ち込みの隙を消しています。

▲4間△居  w1305_31.csa http://www.yss-aya.com/furibisha/no_noise/sample9.html#1305_31

相変わら5筋を突かない中飛車です。雁木を左側に組んで、飛車と王の位置を間違えたような展開です。
5筋を突かない中飛車は英ちゃん流中飛車、というらしいです。

▲中 △居  w1307_41.csa http://www.yss-aya.com/furibisha/no_noise/sample9.html#1307_41

袖飛車が△52玉型の中原囲いに組んでいます。

▲居 △袖  w1314_72.csa http://www.yss-aya.com/furibisha/no_noise/sample9.html#1314_72

お互い自陣角を打って、持ち駒の銀を自陣に打って4枚の金銀と角がにらみ合う59手が印象的です。
将棋は厚みだ、という感じです。中川8段の盤上100名山ですね。

▲居 △9間 w1315_78.csa http://www.yss-aya.com/furibisha/no_noise/sample9.html#1315_78
編集 編集
件名 Re: 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/09/20(Fri) 22:12
投稿者 山下
参照先
角交換向飛車に馬を作って居飛穴。隙あらば穴熊に組むようになってきました。
馬付き穴熊とか、もう指す気失せますね・・・。馬穴の勝ち。

▲向 △居  w1280_11.csa http://www.yss-aya.com/furibisha/no_noise/sample8.html#1280_11

相振り。4間なのに△41飛から△42玉と左に囲い、結局飛車も戻って居飛車ぽい流れに。

▲3間△4間 w1283_25.csa http://www.yss-aya.com/furibisha/no_noise/sample8.html#1283_25

△31金型の3間でさらに△21歩、と土下座のような歩で受けます。
これで指せる、と思ってる大局観がよく分かりません。

▲居 △3間 w1295_76.csa http://www.yss-aya.com/furibisha/no_noise/sample8.html#1295_76
編集 編集
件名 Re: 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/09/20(Fri) 20:11
投稿者 山下
参照先
居飛車、袖飛車、1間のボーナスを
0.15 0.10 0.15 を
0.10 0.05 0.10 に下げたのですが成功率が9割を切って下がりすぎてるようなので
0.14 0.09 0.14 とだいたい戻しました。


居飛穴に。▲78金△88銀の形から▲79金と引いて、さらに▲57銀を▲48銀▲59銀▲58銀▲69銀▲78銀!
と組み替えてガチガチに4枚で囲ってます。手数めちゃくちゃかかってますがこの▲78銀型の
穴熊の囲い方は初めて見る気がします。▲79銀なら松尾流なのですが。
4枚に組んだ時点で勝率6割。固さは正義ですか・・・。

▲居 △4間 w1274_75.csa http://www.yss-aya.com/furibisha/no_noise/sample8.html#1274_75

5筋を突かない中飛車を継続中です。なんか振った筋を突かないと、中飛車はダメな戦法、という
感じでガッカリ感があります。
実際、先手、後手とも対抗形の中飛車は一番ハンデレートが大きくて、振り飛車の中では
ダメな戦法、と思ってるようです。とはいっても四間飛車とかと +20 差の微差なのですが。

▲中 △居  w1266_41.csa http://www.yss-aya.com/furibisha/no_noise/sample8.html#1266_41

右4間、だとほぼ居玉のまま戦うようです。
右4間に限定する指し方は、9間に次いで2番目にハンデレートが大きく、
かなり不利な指し方のようです。

▲右4△居  w1269_51.csa http://www.yss-aya.com/furibisha/no_noise/sample8.html#1269_51
編集 編集
件名 Re: 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/09/19(Thu) 17:04
投稿者 山下
参照先
居、袖、1間は成功率が高いのでさらにボーナスを下げました。
ボーナスと成功率の推移は下のグラフです。
0.20ではじわじわと9間、向飛車の成功率が上がっていて、強くなるほど
成功しやすくなる?ようです。
9間飛車や、向飛車は0.15では明らかに足りないようで0.20、0.18に戻しています。
特に実現した筋で個別、に与えたのはまずく大きく成功率が下がってます。
どのくらいの成功率が妥当かは分からないのですが。


天守閣美濃から4枚美濃と高美濃の布陣。きれいなのですが普通すぎて?何か物足りません。

▲居 △4間 w1234_75.csa http://www.yss-aya.com/furibisha/no_noise/sample8.html#1234_75

△31金型の3間。それはいいとして▲22歩不成、はないだろう、という感じ。
確かに手抜けなさそうですが、角といい、歩といい、同~必須の時はほぼ確実に不成です。
ハンデありで互角にしてるせいでしょうか?Aoba駒落ちの時はこんな現象はなかったのですが・・・。

▲居 △3間 w1234_76.csa http://www.yss-aya.com/furibisha/no_noise/sample8.html#1234_76

向飛車はダイレクト向飛車だらけです。自分から角交換して自分の意思で向飛車に一番しやすい指し方なのかも。
角を打ち合って▲75金と角を仕留める、よくある定跡の変化に。
自分でもこの形はよく指すので何か親近感があります。

▲居 △向  w1234_77.csa http://www.yss-aya.com/furibisha/no_noise/sample8.html#1234_77

超速ではなく、▲66銀と先に牽制。それに対して歩を取ってこいの△53銀が挑発的です。
王手飛車ラインがあるので成立ですか。

▲居 △中  w1254_74.csa http://www.yss-aya.com/furibisha/no_noise/sample8.html#1254_74

1726733097-1.png

編集 編集
件名 Re: 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/09/18(Wed) 14:53
投稿者 山下
参照先
平均手数は
 90手(投了あり)
144手(投了なし)
153手(投了なし、kldでplayout可変)
と1.7倍ほど長くなっています。

中飛車が多すぎたのと(居飛車、袖飛車)が多すぎたので減らす方向で調整してます。
人間のプロだと下のような割合です。後手振り飛車だと4間飛車が多いです。

        先手が振飛車  後手が振り飛車
中飛車         23.4%           25.5%
4間飛車        29.6%           40.7%
3間飛車        24.3%           18.0%
向飛車          7.9%           13.2%

相振りだと下のように(向飛車、3間)、相3間が多いです。

27.7% ▲向飛車に△3間
14.2% ▲3間に△3間
11.9% ▲3間に△向飛車
10.3% ▲中飛車に△3間
 5.5% ▲4間に△3間
 5.3% 相向飛車
 2.7% 相中飛車

ちなみに振り飛車は後手が多く、相振りは振り飛車の9%しかないです。

後手振飛車 14556  49%
先手振飛車 12042  41%
相振        2698   9%


相1間飛車。両者とも端歩を突き越して端から浮き飛車にする、という1間飛車の狙い?
の指し回しをしています。4,5,6筋の歩は突かず、飛車の横利きめい一杯働かせる展開です。

▲1間△1間 w1214_80.csa http://www.yss-aya.com/furibisha/no_noise/sample8.html#1214_80

floodgateから。elmo相手に先手1間飛車。
ちゃんと1間飛車やってますね。1筋の端歩を突き越してそこから浮き飛車にして
浮き飛車を最大限活用しようと中央の歩は突かないで。さらに飛車先を逆襲。
かなり人間っぽい意思を感じる指し方だと思います。ちょっと感動しました。
http://wdoor.c.u-tokyo.ac.jp/shogi/view/2024/09/18/wdoor+floodgate-300-10F+AobaFuribisha_w1233_800p+elmo_WCSC27_479_1000k+20240918033006.csa

相振りの相3間は2枚金からお互い石田流に。
結局、人間が見つけてきた戦法の再発見、が多いですね。

▲3間△3間 w1223_26.csa http://www.yss-aya.com/furibisha/no_noise/sample8.html#1223_26

角交換型の4間。美濃囲いの方が△33銀型の囲いより飛車交換に強いので▲77桂から▲85飛で
飛車交換を狙います。

▲4間△居  w1224_31.csa http://www.yss-aya.com/furibisha/no_noise/sample8.html#1224_31
編集 編集
件名 Re: 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/09/17(Tue) 16:33
投稿者 山下
参照先
ボーナスを実際に飛車が振れた筋、で個別に付けると9間飛車の成功率が0.30 ぐらいまで
下がってしまいました。
これは9間のボーナスが0.2勝、居飛車が0.1勝、としてると
9間に失敗して居飛車になっても0.1勝分の損にしかならないため
たいしたことない、と学習してたようです。
全部0.2に戻した後、実際でなく、希望する筋、にすることで
9間の成功率も0.44ぐらいまで戻ってきたようです。
複数指定の場合は平均にしています。

他にkldgainを用いて、playout数を可変にしました。最小100から最大3200まで。平均800です。
簡単な局面ではすぐ指し、難しい局面では長考することで+100 ELOほど強くなってると思います。
詳しくは下を。

lc0のkldgainでplayout数を可変にすると学習棋譜が+100Eloほど上がるようです
http://www.yss-aya.com/bbs_log/bbs2021.html#bbs32


銀冠でなく、ほぼ普通の居飛穴!に組んでいます。先に△32金と上がって急戦を警戒してるぐらいでしょうか。
1200万棋譜作ってようやく見つけてくれました。
ただAobaZeroでもそうですが、△31金型の穴熊には組まないようです。

▲9間△居  w1176_01.csa http://www.yss-aya.com/furibisha/no_noise/sample8.html#1176_01

こちらは銀冠から居飛穴。だんだん穴熊での対抗が増えてきました。
居飛車側の究極の守りはやっぱり居飛穴なのでしょうか・・・。

▲居 △4間 w1193_75.csa http://www.yss-aya.com/furibisha/no_noise/sample8.html#1193_75

三間飛車は△33同桂と桂で角交換を取って▲23角からの角飛車交換を恐れない指し回し。
序盤は飛車より角、ですが、手数が進んで手詰まりになると飛車側の評価が有利に。

▲居 △3間 w1193_76.csa http://www.yss-aya.com/furibisha/no_noise/sample8.html#1193_76

後手から1手損するダイレクト向飛車。▲65角と打つ変化はいまいちのようで打ちません。

▲居 △向  w1194_77.csa http://www.yss-aya.com/furibisha/no_noise/sample8.html#1194_77
編集 編集
件名 Re: 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/09/16(Mon) 23:30
投稿者 山下
参照先
kldgainに対応してサーバを再起動させました。
releaseは今晩出す予定です。

v105に更新しました。お手数ですが更新をお願いします。
1手800playout固定から100~3200まで可変にして+100 ELOほど
強くなってると思います。
編集 編集
件名 Re: 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/09/16(Mon) 04:32
投稿者 山下
参照先
9間飛車の成功率が下がるのが止まらない、相居飛車が増えてきた、のもあって
振り飛車ボーナスをすべて0.2に戻しました。

居飛穴に。銀冠から潜る、ことしか現在はしないようです。
振り飛車の穴熊は出てきてないです。

▲3間△居  w1161_21.csa http://www.yss-aya.com/furibisha/no_noise/sample8.html#1161_21

相変わらず5筋の歩を突かない中飛車です。居飛車からの△87角!の角を捨ててと金を作る狙いが強烈。

▲中 △居  w1165_41.csa http://www.yss-aya.com/furibisha/no_noise/sample8.html#1165_41

振り飛車側から△33角と角交換しましょう、が挑発的です。
振り飛車は角交換してもOK、という指し方が多い感じです。

▲居 △中  w1173_74.csa http://www.yss-aya.com/furibisha/no_noise/sample8.html#1173_74

居飛車側も引き角から相手玉を狙う▲46角と展開して銀冠をとがめに行ってます。

▲居 △4間 w1173_75.csa http://www.yss-aya.com/furibisha/no_noise/sample8.html#1173_75
編集 編集
件名 Re: 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/09/15(Sun) 11:22
投稿者 山下
参照先
9間飛車の成功率が下がってきたので、ボーナスを個別にして
9間を0.20 -> 0.15 -> 0.20 と戻してみたのですが
成功率はまだ下がってるようです。学習率が低いので50万棋譜ぐらい経たないと
反応が見えない、というのもありますが調整が難しいです。
もう少し学習率の高い時にやっておくべきでした。

居飛車の4枚美濃に▲55歩からの仕掛けが軽やかです。

▲4間△居  w1122_31.csa http://www.yss-aya.com/furibisha/no_noise/sample7.html#1122_31

先手中飛車も5筋を突かないですね・・・。下段飛車から2筋に展開してます。

▲中 △居  w1125_41.csa http://www.yss-aya.com/furibisha/no_noise/sample7.html#1125_41

9間だと銀冠から居飛穴にするようです。手数的に間に合うのでしょうか。

▲居 △9間 w1133_78.csa http://www.yss-aya.com/furibisha/no_noise/sample7.html#1133_78

▲79銀のまま角道を開けたままで駒組を進めてます。

▲4間△居  w1143_31.csa http://www.yss-aya.com/furibisha/no_noise/sample8.html#1143_31
編集 編集
件名 Re: 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/09/13(Fri) 20:15
投稿者 山下
参照先
居飛車は銀矢倉の形から居飛穴に。▲88銀のハッチも閉めます。

▲居 △向  w1092_77.csa http://www.yss-aya.com/furibisha/no_noise/sample7.html#1092_77

後手3間も角道を開けたまま△33角と飛車先を受ける挑発的な作戦。
飛車交換後の打ち込みを防ぐ△21歩は仮に最善だとしても打てないですね・・・。

▲居 △3間 w1092_76.csa http://www.yss-aya.com/furibisha/no_noise/sample7.html#1092_76

居飛車が△42金直、と締まってから闘いを起こします。人間の感覚だと△42銀なのですが。
この方が角交換を△22同銀で取った時、隙が少ないのかも。

▲4間△居  w1102_31.csa http://www.yss-aya.com/furibisha/no_noise/sample7.html#1102_31

居飛車が銀冠から▲88金▲78金のガチガチの穴熊に。

▲居 △9間 w1113_78.csa http://www.yss-aya.com/furibisha/no_noise/sample7.html#1113_78

floodgateから。
Aoba振り飛車の3間にgikou2_1cはガチガチの4枚穴熊に。
美濃囲いにすると思いきや、2枚金から▲16銀と繰り出し
▲29飛と回って穴熊玉頭の一点狙い。
王を中央に退避してから戦いを起こします。
指しこなすのは難しそうな将棋ですが。
http://wdoor.c.u-tokyo.ac.jp/shogi/view/2024/09/12/wdoor+floodgate-300-10F+AobaFuribisha_w1101_800p+gikou2_1c+20240912203005.csa
編集 編集
< 123456789>
件名 スレッドをトップへソート
名前
画像添付


暗証キー
画像認証 (右画像の数字を入力「四三」なら「43」) 投稿キー
コメント

- WEB PATIO -