コンピュータ将棋や囲碁の掲示板
TOP > 記事閲覧
fld_nor.gif 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/08/12(Mon) 20:21
投稿者 山下
振り飛車を人間の知識なしで深層強化学習させる「Aoba振り飛車」を開始しました。

Aoba振り飛車
http://www.yss-aya.com/furibisha/

対抗系の先手四間飛車、後手中飛車などに加えて、先手1間飛車、後手向飛車、などの相振りも学習します。
AIは振り飛車の新しい指し方を発見できるでしょうか?1間飛車や9間飛車はどんな指し方に?

例えば▲9間飛車、△4間飛車の相振りはこんな感じの棋譜になってます。
http://www.yss-aya.com/furibisha/no_noise/sample2.html#205_05

また、どの筋に飛車を振っても勝率が5割になるように強さを自動調節しています。
ハンデレートの下の行は先手が居飛車、の場合の後手が飛車を振った位置でのハンデを示します。

先手2筋 149 3 65 122 72 42 88 60 111

「3」は後手も居飛車、つまり相居飛車の場合のハンデです。ほぼ互角の +3 ELO。
後手が9筋に飛車を振った場合(後手1間飛車) 149 ELOのハンデ、とかなり先手有利です。
先手居飛車、後手向飛車の場合は +60 ELO。
今のところ、後手中飛車、四間、3間、向飛車はだいたい似たようなハンデです。

floodgateでも動かしていて、下は先手向飛車にしています。
http://wdoor.c.u-tokyo.ac.jp/shogi/view/2024/08/12/wdoor+floodgate-300-10F+AobaFuribisha_w197_800p+FOUR-7+20240812190008.csa

現在は128x10bの1/8のネットワークですが、近日中に256x20bに移行する予定です。

技術的な詳細(AobaZeroとの違い)など。
http://www.yss-aya.com/furibisha/furi.html
編集 編集
< 123456789>
件名 Re: 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/09/13(Fri) 01:52
投稿者 山下
参照先
ボーナスを0.15に減らした影響で9間飛車の成功率が下がって
▲9間△9間を2倍にして50万局で1000局は指すように。

中飛車なのに5筋の歩を突かずに向飛車から逆襲を狙います。
中飛車のアイデンティティはどこに・・・。

▲居 △中  w1071_74.csa http://www.yss-aya.com/furibisha/no_noise/sample7.html#1071_74

居飛車が急戦を仕掛けてから▲67金▲68金直から▲78金、と締まるのはありそうで見たことない気がします。

▲居 △4間 w1072_75.csa http://www.yss-aya.com/furibisha/no_noise/sample7.html#1072_75

▲82角を打たせて空成させて△92金で仕留める変化に。先手は居玉ですが指せると思っていて、そのまま勝ち。

▲居 △3間 w1072_76.csa http://www.yss-aya.com/furibisha/no_noise/sample7.html#1072_76
編集 編集
件名 Re: 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/09/12(Thu) 15:39
投稿者 山下
参照先
居飛車が穴熊に!銀冠から潜っただけですが。戦いの前に穴熊にしたのはこれが初めてだと思います。

▲9間△居  w1055_01.csa http://www.yss-aya.com/furibisha/no_noise/sample7.html#1055_01

角交換からの三間で先手から▲96角と打って△85歩を取りに行く狙いが面白いです。

▲3間△居  w1039_21.csa http://www.yss-aya.com/furibisha/no_noise/sample7.html#1039_21

角道を開いたままの4間。▲77桂から▲89飛で逆襲を狙います。

▲4間△居  w1041_31.csa http://www.yss-aya.com/furibisha/no_noise/sample7.html#1041_31

▲66銀▲56銀と2枚の銀を繰り出しますが、薄すぎて無理筋な感じです。

▲中 △居  w1044_41.csa http://www.yss-aya.com/furibisha/no_noise/sample7.html#1044_41

後手の振り飛車は角道を止める変化が多い気がします。

▲居 △3間 w1052_76.csa http://www.yss-aya.com/furibisha/no_noise/sample7.html#1052_76
編集 編集
件名 Re: 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/09/11(Wed) 16:26
投稿者 山下
参照先
学習率を下げましたが棋力の向上はゆっくりで、Aoba駒落ちの例だと
後200万棋譜、を作らないと落ち着かないと思います。
△1間▲9間のハンデレート、-352 も -59 とほぼ落ち着いてきました。まだ低いので +50 ぐらいになるかもしれません。

▲79金は相変わらず。飛車で△87歩を取りにいってましたが金で取るように。

▲3間△居  w0999_21.csa http://www.yss-aya.com/furibisha/no_noise/sample7.html#999_21

△65歩の仕掛けに備えて▲98飛と回るのは少し珍しい指し方。

▲4間△居  w1001_31.csa http://www.yss-aya.com/furibisha/no_noise/sample7.html#1001_31

△57角から馬を作られる変化はそれほど嫌がっていないようです。

▲中 △居  w1003_41.csa http://www.yss-aya.com/furibisha/no_noise/sample7.html#1003_41

超速▲37銀で2枚銀を繰り出す変化に。

▲居 △中  w1011_74.csa http://www.yss-aya.com/furibisha/no_noise/sample7.html#1011_74

△65歩の急戦。攻められた筋に戻す▲68飛でなく▲88飛と向飛車にする受けが変わっるかも。

▲3間△居  w1019_21.csa http://www.yss-aya.com/furibisha/no_noise/sample7.html#1019_21
編集 編集
件名 Re: 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/09/10(Tue) 18:13
投稿者 山下
参照先
学習率を下げました。
Aoba駒落ちの例だと+130 ELOの向上になると予想しています。

居飛車が高美濃から△21玉△31金、さらに△22金から△31角と見かけない囲いに。あまり堅そうではないですが。

▲9間△居  w0954_01.csa http://www.yss-aya.com/furibisha/no_noise/sample6.html#954_01

▲79金、のインパクトがでかいですね。これが最善とは思わないですが、新しい3間飛車の指し方、にはなるのかも。

▲3間△居  w0958_21.csa http://www.yss-aya.com/furibisha/no_noise/sample6.html#958_21

先手が居玉のまま▲66角から▲77桂で端を狙って、▲56銀▲47金▲48銀の構えは力強いです。
仕掛けもいきなり▲25桂で桂を捨てて歩を手にして▲95歩△同歩に▲93歩を狙います。

▲中 △4間 w0964_45.csa http://www.yss-aya.com/furibisha/no_noise/sample6.html#964_45

居飛車が△77玉から△87玉と4枚美濃に。この形で組めるなら急戦の心配が少し減り、スムーズに引き角にできてます。

▲居 △4間 w0970_75.csa http://www.yss-aya.com/furibisha/no_noise/sample6.html#970_75

中飛車ですが5筋を突かずに、△51飛から向飛車にして飛車先を逆襲する狙いで指しています。

▲居 △中  w0990_74.csa http://www.yss-aya.com/furibisha/no_noise/sample7.html#990_74

居飛車が63手目に▲88金と蓋をする居飛穴に組んでいます。
真っ先に穴熊に囲うのは、まだないです。

▲1間△9間 w0994_88.csa http://www.yss-aya.com/furibisha/no_noise/sample7.html#994_88
 
1間飛車は角道を開けない指し方を好むようです。

▲1間△3間 w0993_86.csa http://www.yss-aya.com/furibisha/no_noise/sample7.html#993_86
編集 編集
件名 Re: 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/09/10(Tue) 12:20
投稿者 山下
参照先
居飛車が高美濃から△21玉△31金、さらに△22金から△31角と見かけない囲いに。あまり堅そうではないですが。

▲9間△居  w0954_01.csa http://www.yss-aya.com/furibisha/no_noise/sample6.html#954_01

▲79金、のインパクトがでかいですね。これが最善とは思わないですが、新しい3間飛車の指し方、にはなるのかも。

▲3間△居  w0958_21.csa http://www.yss-aya.com/furibisha/no_noise/sample6.html#958_21

先手が居玉のまま▲66角から▲77桂で端を狙って、▲56銀▲47金▲48銀の構えは力強いです。
仕掛けもいきなり▲25桂で桂を捨てて歩を手にして▲95歩△同歩に▲93歩を狙います。

▲中 △4間 w0964_45.csa http://www.yss-aya.com/furibisha/no_noise/sample6.html#964_45

居飛車が△77玉から△87玉と4枚美濃に。この形で組めるなら急戦の心配が少し減り、スムーズに引き角にできてます。

▲居 △4間 w0970_75.csa http://www.yss-aya.com/furibisha/no_noise/sample6.html#970_75

中飛車ですが5筋を突かずに、△51飛から向飛車にして飛車先を逆襲する狙いで指しています。

▲居 △中  w0990_74.csa http://www.yss-aya.com/furibisha/no_noise/sample7.html#990_74
編集 編集
件名 Re: 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/09/09(Mon) 17:39
投稿者 山下
参照先
投了禁止にして平均手数が90手から145手ぐらいに延びて
棋譜生成速度も1.5倍ほど遅くなりました。
終盤の局面が増えた影響で、よりCPUの消費が多くなってます。
ただ、ハンデレートはより正しく調整されてきています。
▲9間△1間は対局数が少ないですが、修正される方向です。
近日中に学習率を再度下げる予定です。これが最後の下げになる予定です。

相向飛車ですが、両者とも▲47歩から▲47銀と上がってから向飛車にするのは深謀遠慮、という感じです。

▲向 △向  w0937_17.csa http://www.yss-aya.com/furibisha/no_noise/sample6.html#937_17

向飛車にしつつ先手は左に王を囲います。相振りなので敵の飛車を避ける、という意味では妥当ですが何か違う、感も。

▲向 △9間 w0937_18.csa http://www.yss-aya.com/furibisha/no_noise/sample6.html#937_18

▲77飛から▲87飛で向飛車に組み替えるのが面白いです。

▲4間△中  w0941_34.csa http://www.yss-aya.com/furibisha/no_noise/sample6.html#941_34

△88角不成、と角交換をとがめられて?▲53歩成の決戦に。いい勝負っぽいですが。

▲中 △右4 w0943_43.csa http://www.yss-aya.com/furibisha/no_noise/sample6.html#943_43

振り飛車相手に早々に△87歩と突いて▲67銀▲58金▲47金▲46銀は王者の布陣、といった趣で格調高いです。

▲右4△3間 w0946_56.csa http://www.yss-aya.com/furibisha/no_noise/sample6.html#946_56
編集 編集
件名 Re: 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/09/08(Sun) 20:04
投稿者 山下
参照先
投了禁止、にしてサーバを再起動させました。
Releaseは今夜中に上げる予定です。

v104を上げました。
棋譜の生成確率を変更し、対抗形を多く、1間や9間飛車を減らしたところ、
▲9間△1間、のハンデレートが -352 と、後手がかなり有利になってました。
これはどちらもX=0なので、処理のバグかな?と思ったら
▲9間△1間の平均手数が26.0手、と極端に短くなっていました。
他にはハンデレートが +285 の▲居飛車△1間も69.2手で正しくないです。
10分の1の棋譜で投了禁止にして投了のミスが5%以下になるように自動調整してるのですが
▲9間△1間の出現率がかなり少なく、全部おかしな投了になってても5%以下でOKになっていました。
おそらく、特定の局面だけ極端に勝率が低くなって、すぐ投了してたのでしょう。
他にも手数が短い▲△の組み合わせは正しくない可能性が高いです。

AobaZeroでも投了OKにしてますが、出現率が低い局面の評価が投了するくらい間違っていても
気づいていない可能性も高いですね。

平均手数(ハンデレートと同じ配置です)
  26.0  91.6  95.8 104.3 107.2  99.1  99.2  99.2 104.7
  92.7  94.3  87.7  99.1  99.9  95.6  92.6  99.6  94.6
  93.6  84.0  91.4  95.9  97.5  96.6  96.8  92.8  97.8
  94.8  88.7  94.5  96.9  96.8  98.2  97.1  97.2  97.4
  93.9  89.3  95.5  98.7  97.6  96.5  97.2  98.6  99.2
  97.8  86.1  92.9 104.1  98.1  99.7  96.5  97.5 101.4
  90.9  81.3  87.6  91.0  94.0  92.3  92.2  90.4  90.6
  69.2  77.4  80.4  82.1  85.2  88.2  85.3  90.7  92.7
 105.0  82.0  91.5 105.4  99.0  97.5  96.9  98.8 102.1
編集 編集
件名 Re: 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/09/08(Sun) 14:03
投稿者 山下
参照先
さらに対抗形を増やして全体の40%は対抗形に(36% -> 40%)。

初めて居飛穴っぽい形に組んでるのを見ました。銀立ち矢倉から▲98香▲99玉、と潜っただけですが。
この先、居飛穴を見つけてくれるのか、期待です。

▲右4△4間 w0925_55.csa http://www.yss-aya.com/furibisha/no_noise/sample6.html#925_55

▲向飛車△中飛車、の相振り。後手が2枚の銀で向飛車を逆襲して抑え込む指し方は力強いです。

▲向 △中  w0916_14.csa http://www.yss-aya.com/furibisha/no_noise/sample6.html#916_14

▲向飛車△9間。後手は最初は△42飛と4間に振り、角交換で向飛車になり、さらに
△93香から△92飛と9間に振る、という凝った指し方。
桂もポンポン跳ねて端を破りに行きます。9間で明確に端を破る指し方は初めてかも。

▲向 △9間 w0917_18.csa http://www.yss-aya.com/furibisha/no_noise/sample6.html#917_18

▲3間△9間。先手の▲38金▲48銀▲59金▲68銀型が短手数で組めて堅そうな囲いです。
△88角打には▲55角から▲74歩で。

▲3間△9間 w0919_28.csa http://www.yss-aya.com/furibisha/no_noise/sample6.html#919_28

▲4間△右4。居飛車のelom囲いからさらに△51金と低く構えてから飛車交換を狙うのが面白いです。

▲4間△右4 w0920_33.csa http://www.yss-aya.com/furibisha/no_noise/sample6.html#920_33

相振りには2枚金から7筋、8筋の歩も突いていく、というのが定番な指し方になってる感じです。

▲4間△3間 w0921_36.csa http://www.yss-aya.com/furibisha/no_noise/sample6.html#921_36

後手は右4間にしてから右に王を囲う珍しい指し方。結局相振りっぽくなってますが。

▲中 △右4 w0923_43.csa http://www.yss-aya.com/furibisha/no_noise/sample6.html#923_43

居玉のまま中飛車で攻撃形を作るのは力強いです。

▲中 △3間 w0923_46.csa http://www.yss-aya.com/furibisha/no_noise/sample6.html#923_46
編集 編集
件名 Re: 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/09/07(Sat) 13:46
投稿者 山下
参照先
対抗形の割合をさらに上げて全体の36%は対抗形になっています。
少し謎なのが▲9間△1間(双方9筋)の変化が多く、ハンデレートも -259 とかなり後手有利になっていること。
希望して生成される割合は低いですが、先手が9間にすると好んで1間にしてます。
バグか?と思ったのですが、そうでもなさそうな感じで、もう少し調査してみます。

▲居飛車△中飛車。端歩の突きあいがありますが、超速▲37銀を再発見しています。
先手は2枚銀を繰り出そうして、それを阻止する△65歩
▲居 △中  w0889_74.csa http://www.yss-aya.com/furibisha/no_noise/sample6.html#889_74

▲居飛車△3間。角道を止める3間に居飛車は腰掛銀から▲67金右、▲66金と金を盛り上がる力強い指し方。
47手目の▲47銀で空中要塞を築きます。

▲居 △3間 w0890_76.csa http://www.yss-aya.com/furibisha/no_noise/sample6.html#890_76

▲居飛車△3間。石田流からダイヤモンド美濃に組んで十分な構え。
しかし謎なのが絶対に同~と取られる時には角は「不成」です。挑発的ですね。
▲居 △3間 w0930_76.csa http://www.yss-aya.com/furibisha/no_noise/sample6.html#930_76

たまには相居飛車も。基本的に指さないように指定してるのですがAlphaZero方式の乱数のせいもあって
希望する筋に振るのに失敗した時には居飛車になりやすいので、相居飛車の棋譜がそれなりに生成されてます。
初手は▲76歩で、相掛かりになってます。

▲居 △居  w0929_71.csa http://www.yss-aya.com/furibisha/no_noise/sample6.html#929_71

▲4間△居飛車。先手の四間飛車は角道を止めるようになりました。
双方高美濃に組むきれいな駒組です。

▲4間△居  w0920_31.csa http://www.yss-aya.com/furibisha/no_noise/sample6.html#920_31
編集 編集
件名 Re: 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/09/06(Fri) 13:05
投稿者 山下
参照先
対抗形の生成確率を上げて全体の3分の1は対抗形になっています。2分の1くらいまで上げようかと思っています。

▲3間△居飛車。初手▲78飛から飛車先を受けずに△86同飛に▲79金!
痛快な指し方で初めて見ます。
△87飛成なら▲22角成△同銀▲88飛△86歩に▲83角と馬を作って十分、と思ってるようです。
なので黙って△82飛と引き揚げますが取ってみろ、の▲86歩がまた痛快。
手順を尽くしてまんまと一歩得に成功してます。

▲3間△居  w0877_21.csa http://www.yss-aya.com/furibisha/no_noise/sample6.html#877_21

▲向飛車△居飛車。初手▲78飛で3間飛車と思わせて角交換から▲88飛。なるほど、これなら比較的安全に
向飛車にできますか。
振飛車側の囲いは今のところ、美濃、高美濃、銀冠しか出てきていないです。居飛穴を含めた穴熊系はまだ見つけてないです。

▲向 △居  w0875_11.csa http://www.yss-aya.com/furibisha/no_noise/sample6.html#875_11

▲袖飛車△居飛車。初手▲36歩から袖飛車宣言して、早々に▲35歩で歩交換した後、
▲35歩▲36飛▲37桂▲45歩、と最大限勢力を維持しようして威圧する指し方は気分が良いかも。
後手も2筋を位を取らせまいと△23金型で受けます。

▲袖 △居  w0846_61.csa http://www.yss-aya.com/furibisha/no_noise/sample6.html#846_61
編集 編集
< 123456789>
件名 スレッドをトップへソート
名前
画像添付


暗証キー
画像認証 (右画像の数字を入力「四三」なら「43」) 投稿キー
コメント

- WEB PATIO -