コンピュータ将棋や囲碁の掲示板
TOP > 記事閲覧
fld_nor.gif 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/08/12(Mon) 20:21
投稿者 山下
振り飛車を人間の知識なしで深層強化学習させる「Aoba振り飛車」を開始しました。

Aoba振り飛車
http://www.yss-aya.com/furibisha/

対抗系の先手四間飛車、後手中飛車などに加えて、先手1間飛車、後手向飛車、などの相振りも学習します。
AIは振り飛車の新しい指し方を発見できるでしょうか?1間飛車や9間飛車はどんな指し方に?

例えば▲9間飛車、△4間飛車の相振りはこんな感じの棋譜になってます。
http://www.yss-aya.com/furibisha/no_noise/sample2.html#205_05

また、どの筋に飛車を振っても勝率が5割になるように強さを自動調節しています。
ハンデレートの下の行は先手が居飛車、の場合の後手が飛車を振った位置でのハンデを示します。

先手2筋 149 3 65 122 72 42 88 60 111

「3」は後手も居飛車、つまり相居飛車の場合のハンデです。ほぼ互角の +3 ELO。
後手が9筋に飛車を振った場合(後手1間飛車) 149 ELOのハンデ、とかなり先手有利です。
先手居飛車、後手向飛車の場合は +60 ELO。
今のところ、後手中飛車、四間、3間、向飛車はだいたい似たようなハンデです。

floodgateでも動かしていて、下は先手向飛車にしています。
http://wdoor.c.u-tokyo.ac.jp/shogi/view/2024/08/12/wdoor+floodgate-300-10F+AobaFuribisha_w197_800p+FOUR-7+20240812190008.csa

現在は128x10bの1/8のネットワークですが、近日中に256x20bに移行する予定です。

技術的な詳細(AobaZeroとの違い)など。
http://www.yss-aya.com/furibisha/furi.html
編集 編集
< 123456789>
件名 Re: 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/12/05(Thu) 16:57
投稿者 山下
参照先
ハンデを全部0にして30万棋譜ほど生成して予想通り、1間や9間の成功率が下がってきたので
ボーナスを上げました。右4も。逆に居飛車は勝率が上がって、何もしなくても居飛車に
したがるので成功率が94%と上がってきたのでボーナスを下げてます。
だいたいハンデレートと同じ勝率にすべて収束しそうな感じです。

以下は棋譜紹介です。

お互い向飛車にしたいのですが、後手は一回4間にして角交換してもらってまんまと向飛車になって
盤上で対話してるような感じです。すぐに自陣角を打ち合う変化も談合のような感じです。
先手は振り飛車で左に王を囲うので左玉、という感じでしょうか。
▲向 △向  w1788_17.csa http://www.yss-aya.com/furibisha/no_noise/sample12.html#1788_17

▲79金型。27手目の▲89金で次の▲59金の捕獲が受からないように見えて△45角から
△27角成、△67角成の筋があって潰れてるようです。
▲3間△居  w1788_21.csa http://www.yss-aya.com/furibisha/no_noise/sample12.html#1788_21

角道を止めない4間から▲86歩~▲77桂と自分から飛車先逆襲を狙ってます。
本譜は飛車先を突破できて大成功。
▲4間△居  w1791_31.csa http://www.yss-aya.com/furibisha/no_noise/sample12.html#1791_31

ツノ銀中飛車っぽい昔に戻ったような指し方に。
▲中 △居  w1793_41.csa http://www.yss-aya.com/furibisha/no_noise/sample12.html#1793_41

早々に1筋の歩交換をしたものの▲15香が負担になってます。
袖飛車、右4間は早々に(11手から24手目までに)その位置に振る、という強制力があるために
かなり損な指し方なってしまうようです。特に右4間は王にも近いために損なようです。
▲袖 △居  w1797_61.csa http://www.yss-aya.com/furibisha/no_noise/sample12.html#1797_61
編集 編集
件名 Re: 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/11/22(Fri) 12:43
投稿者 山下
参照先
ハンデレートを全部0にしてみました。
過去1万棋譜(下の表)だと、▲居飛車△中飛車の勝率は0.725、とほぼハンデレート +184(0.26、0.74) と同じぐらいになってます。
平均手数は165手から171手ぐらいに延びています。
まだボーナスを上げるほど指定した位置に飛車を振る成功率は下がっていないようです。
この変更で評価関数としては現実に近くなり、playoutを倍にしたときの伸びの悪さも修正されるかもしれません。

 41(0.512) 73(0.390) 44(0.602) 55(0.518) 47(0.426) 50(0.470) 43(0.430) 57(0.404) 62(0.653)
 41(0.488)428(0.364) 33(0.439) 58(0.474) 78(0.577)107(0.612)171(0.602)123(0.577) 39(0.795)
 63(0.627)547(0.427) 79(0.500) 68(0.529)160(0.631)140(0.557)175(0.566)149(0.493) 62(0.524)
 78(0.487)483(0.394) 79(0.519) 96(0.479)122(0.500)131(0.466)158(0.487)131(0.447) 39(0.590)
 64(0.539)398(0.303) 67(0.493) 46(0.609)122(0.533)164(0.494)153(0.451) 83(0.380) 42(0.667)
 39(0.603)103(0.354) 47(0.468) 34(0.412) 57(0.430)108(0.537) 98(0.434) 43(0.337) 39(0.692)
 36(0.653)133(0.451) 89(0.545) 40(0.587) 78(0.622)108(0.542) 93(0.495) 41(0.549) 34(0.721)
108(0.764)505(0.539)162(0.602)103(0.762)408(0.725)511(0.675)525(0.619)441(0.673) 81(0.623)
 38(0.579) 95(0.316) 51(0.461) 43(0.384) 55(0.427) 74(0.500) 69(0.609) 44(0.557) 18(0.444)
編集 編集
件名 Re: 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/11/16(Sat) 14:30
投稿者 山下
参照先
今までの成果をまとめてGPWで発表しました。
3間で初だと思った局面は勝又さんにプロ将棋で既出、と教えていただきました。
なかなか新規手順を見つけるのは難しいです。

発表の資料
http://www.yss-aya.com/20241116gpw_furibisha.pdf

論文「将棋の振り飛車の強化学習」
https://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=240744&item_no=1&page_id=13&block_id=8
編集 編集
件名 Re: 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/11/15(Fri) 13:00
投稿者 山下
参照先
後手が1間で攻めてこないのが分かると居飛車は居玉でやりたい放題です。
△92飛△82角の形があまりにも無残。▲76銀で居玉の空中要塞を築いて完勝です。

▲居 △1間 w1779_70.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1779_70


角道を止める4間で穴熊に組まれた瞬間に△22飛から向飛車で仕掛けていきます。

▲居 △4間 w1780_75.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1780_75

角道を止める3間に▲68金直から▲55歩、▲45歩と仕掛けていきます。

▲居 △3間 w1781_76.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1781_76

ダイレクト向飛車から▲35歩に反発して△33金と上がるのが力強いです。

▲居 △向  w1781_77.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1781_77

松尾流穴熊で完敗。

▲居 △9間 w1781_78.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1781_78
編集 編集
件名 Re: 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/11/10(Sun) 15:53
投稿者 山下
参照先
相変わらず▲79金型ですが、▲59金▲48銀から▲28角と自陣角を打つ構想がかっこいいです。

▲3間△居  w1768_21.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1768_21

右4間模様にいきなり▲65歩とつっかけます。この展開は初めてみます。
▲78銀であえて△79角から馬を作らせてもいい勝負のようです。

▲4間△居  w1770_31.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1770_31

急戦調の構えから▲38金▲68金▲58金、と金を寄せていくのがユーモラスです。

▲向 △居  w1766_11.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1766_11

ゴキゲン中飛車に超速が復活。さらに居飛穴に組もうとするも千日手で逃げています。

▲中 △居  w1773_41.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1773_41

1間飛車は全然関係ない流れですが、▲77金から▲68飛と展開するのは力強いです。

▲1間△居  w1761_81.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1761_81

相居飛車は角換わり腰掛銀に。

▲居 △居  w1779_71.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1779_71
編集 編集
件名 Re: 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/11/06(Wed) 16:56
投稿者 山下
参照先
最後にハンデレートを全部0にして少し学習させてみようかと思案してます。


木村美濃から守りの桂を▲25桂と跳ねて▲61角と絡めて攻めていきます。
68手目、飛車取りを放置して△15桂はそう指すものですか、という感じです。

▲向 △居  w1746_11.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1746_11

王の囲いもそこそこに向飛車から逆襲します。
居飛車から△33角と飛車を狙われた時は、ほぼ▲77角と「角には角で」対抗する形を選ぶようです。

▲3間△居  w1748_21.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1748_21

角道を止めない四間飛車で、居飛車が△84歩すら突いてないのに▲86歩!から向飛車に振り直す意思表示。

▲4間△居  w1750_31.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1750_31

棒銀で銀交換に行くと▲87歩△84飛▲75銀から▲74歩で困るので先に△74歩、と歩を打ち直す珍しい手筋?です。

▲居 △居  w1759_71.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1759_71

△袖飛車は、ずっと▲22飛成と飛車を切る派手な変化を指してます。

▲居 △袖  w1759_72.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1759_72

居飛車の初手が▲68玉になったのは予想外です。結局▲26歩も▲76歩も指すのですが
相手が振り飛車が多いので様子見、という感じなのでしょうか?

▲居 △中  w1760_74.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1760_74

居飛穴への急戦を警戒して▲78金と上がり、▲68銀左と、とにかく王を固めて待つ姿勢です。

▲居 △4間 w1760_75.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1760_75

▲56角から△34歩を狙うのはよくある指し方ですが、角殺し狙いの△45歩にあっさり▲71角と角金交換しても
居飛車指せる評価のようです。

▲居 △向  w1761_77.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1761_77

9間には松尾流穴熊で必勝、がAoba振り飛車の結論のようです・・・。

▲居 △9間 w1761_78.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1761_78
編集 編集
件名 Re: 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/11/01(Fri) 13:32
投稿者 山下
参照先
袖飛車の成功率が9割を超えてたので、ボーナスを少し下げました。
また収束に向け学習率も下げています。


早々と△72金と上がり、右、左、どちらにも囲えるようにした中飛車です。
結局は木村美濃にして向飛車模様に。

▲居 △中  w1740_74.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1740_74

居飛車が角道を突かなかったので△32銀△33角とやや珍しい形に。
なんとなく飛車をどこに振るのかぎりぎりまで待とう、という雰囲気を感じます。
本譜は10手目で四間飛車に。

▲居 △4間 w1740_75.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1740_75

居飛穴と見せかけて▲45歩から急戦に。飛車を成りあった中盤の評価は互角です。

▲居 △3間 w1740_76.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1740_76

▲46角の意味が分からなかったのですが、仮に△33銀から後手が何もしてこないと
▲37桂、▲67歩、▲67銀、▲56歩、と▲55歩で銀を殺す狙いで後手は動いてこないといけないようです。

▲右4△居  w1734_51.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1734_51

居飛車の初手が▲68玉。これは初めてみます。今だけの過渡的なものかもしれませんが。

▲居 △9間 w1741_78.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1741_78
編集 編集
件名 Re: 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/10/30(Wed) 09:13
投稿者 山下
参照先
いや、もう完全に藤井システムに近いですね。△12香のタイミングに合わせて角道を開けておいて▲25桂。
評価値的にも振り飛車大成功で、ここまで4間が有利になる展開は初めて見る気がします。
だけど最後勝ったのは居飛車・・・。

▲4間△居  w1730_31.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1730_31

ゴキゲン中飛車が復活。居飛車は超速64銀かと見せて角道止めて居飛穴に。

▲中 △居  w1732_41.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1732_41

角交換から美濃にも囲わずに向飛車にして▲86歩から飛車先逆襲に成功してます。
ただ、居飛車の飛車を▲83歩で抑え込んだものの、8筋からは破れず混戦に。

▲3間△居  w1728_21.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1728_21

▲65桂と単身で跳ねてから、飛車先交換して▲85飛で桂にひもをつける手順がおしゃれです。
本譜は△82歩だったので歩でひもをつけてますが。

▲向 △3間 w1727_16.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1727_16

後手の△24銀△43金△32玉、という薄い囲いが印象的。延々千日手模様で、474手で決着。

▲4間△中  w1731_34.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1731_34
編集 編集
件名 Re: 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/10/27(Sun) 09:11
投稿者 山下
参照先
以前、playout数を増やすと振り飛車はAobaZeroより弱くなる、なので
振り飛車はレートが高いほど弱いかも、と書いたのですが
居飛車に指定して対戦させるともっとひどい結果で、
単に、Aoba振り飛車がplayout数を増やした時の伸びが悪い、が正解のようです。

以下は恒例の棋譜紹介です。

ダイレクト向飛車で△24歩からの反撃でなく高美濃に組んでから3筋から動いています。

▲居 △向  w1720_77.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1720_77

相手が3間だと1筋を突き越せるので浮き飛車にできています。
角道を空けずに引き角で対抗。

▲1間△3間 w1722_86.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1722_86

▲47銀▲36歩と様子を見てから15手目でようやく自分から角交換して向飛車に。
この辺は振り飛車の定義(11手から24手で最大の筋)の影響が大きい感じです。

▲向 △居  w1725_11.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1725_11

1729987907-1.png

編集 編集
件名 Re: 振り飛車をゼロから学習する「Aoba振り飛車」を開始しました
投稿日 : 2024/10/23(Wed) 22:43
投稿者 山下
参照先
右4間ですが仕掛けずに右局模様にするのも面白い指し方、というか、単純に仕掛けても上手くいかない、ということなかもしれません。
居飛車側も▲79銀▲68金▲67金にさらに▲77桂と角が使えない凝り形で対抗してます。

▲居 △右4 w1719_73.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1719_73

早々に△33角と上がるのは△33同桂の形を1手得で作りたい、という感じなのでしょうか?

▲居 △中  w1719_74.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1719_74

角道を止める4間に居飛穴を目指すといきなり△73桂からの急戦を見せるも逆に居飛車から▲65歩で
動いても居飛車有利になるあたりが振り飛車の苦難を感じさせます。

▲居 △4間 w1720_75.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1720_75

角換わりの升田式石田流から積極的に振り飛車が動いていきますが筋違い角で困っている感じです。

▲居 △3間 w1720_76.csa http://www.yss-aya.com/furibisha/no_noise/sample11.html#1720_76
編集 編集
< 123456789>
件名 スレッドをトップへソート
名前
画像添付


暗証キー
画像認証 (右画像の数字を入力「四三」なら「43」) 投稿キー
コメント

- WEB PATIO -