BoardGameGeek のレビュー評価のバイアス
背景
BoardGameGeek (以下 BGG) という、世界最大のボードゲームレビューサイトがあります。ボードゲームが好きな方ならまずは知っているだろう有名サイトで、ブログ主もボードゲーム購入の参考のために毎日のようにチェックしています。
このサイトでは、登録したユーザーがボードゲームを10段階で評価することができます。おおよその目安として、
Every registered user can rate any game in the BGG database. Although these ratings are entirely subjective, here are the suggested guidelines:
- 10 - Outstanding - will always enjoy playing and expect this will never change.
- 9 - Excellent - always enjoy playing it
- 8 - Very good - enjoy playing and would suggest it.
- 7 - Good - usually willing to play.
- 6 - Ok - will play if in the mood.
- 5 - Average - Slightly boring, take it or leave it.
- 4 - Not so good - but could play again.
- 3 - Bad - likely won't play this again.
- 2 - Very bad - won't play ever again.
- 1 - Awful - defies game description.
というガイドラインが示されています。
例として白ブラスのページを見てみます。
緑の六角形の中に書かれた数字が Average Rating で、定義は
Average Rating: The average of all the ratings from registered BGG users, calculated by adding up the individual ratings and dividing by the number of ratings. You will see this rating listed in advanced searches and near the top of game pages.
となっており、まあ単純に BGG ユーザーのレーティングの平均点です。 これはおおよそゲームの面白さを表す指標となっているので、この値とにらめっこしながらブログ主は購入するボードゲームを日々決めているわけです。
他にもいろいろな情報が示されているのですが、特に有用なのは Weight というゲームの複雑さを表したパラメータです。定義は
BGG uses a 5-point Weight scale:
- Light
- Medium Light
- Medium
- Medium Heavy
- Heavy
となっていて、数値が大きいほど複雑になります。BGG サイトで具体的な記述を見つけられませんでしたが、上の写真の右の方にある Weight の値は Average Rating 同様 BGG ユーザーによる採点値の平均だと思われます。個人的な目安として、ボードゲームに慣れていない人と遊ぶときは Weight < 2.5 のゲームを選ぶようにしていたりします。
さて前置きが長くなりましたが、BGG サイトを利用していて感じるのが、どうも BGG ユーザーは複雑なゲームを極端に好むようだなあ、という点でした。
まあこれはある意味しょうがないというか、日本でもフリークの域に達しているようなボードゲーマーさんにはやはり複雑なゲームを好む傾向が見られますし、ブログ主自身、ボードゲームに触れ始めた頃に遊んだ軽めのゲームだと今では多少物足りなさを感じることもあったりします。
ただ、レビューにバイアス（偏り）がある、というのは注意すべき点ではないかと思うのです。例えばボードゲームに興味を持ち始めた人の場合、 BGG で評判のゲームを買って遊んでみたところ期待はずれだった、というようなネガティブなケースが割とあったりするんじゃないでしょうか。実際、BGG サイトでもこんなスレッドがたっています。
ということで、BGG サイトの情報を利用してブログ主が感じていたレビューのバイアスを定量的に調べてみました。
実験と結果
やり方ですが、ブログ主が独断と偏見で選んだ100作品ほどについて Average Rating と Weight を収集しました。本当は全くランダムに作品を選んだほうがよいと思いますが、結論の大筋には影響しないと思われます。
早速ですが結果です。
横軸が Weight、縦軸が Average Rating です。ご覧のとおり、正の相関がはっきり見られますね。
考察と結論
相関があるだろうとは想像していましたが、予想以上にはっきりとした相関が出ていてちょっと驚いてしまいました。。
この図から言えることとして、
- 複雑なゲームは BGG で過大評価されている可能性がある
- 逆に軽いゲームは BGG で過小評価されている可能性がある
の２点は心に留めておいた方が良いかと思われます。
強調しておくと、ブログ主は BGG を否定したいわけではありません。どちらかといえば複雑なゲームを好むブログ主なので、むしろ都合が良いかもしれません。なので今後もブログ主にとっては BGG の有用性は変わらないと思いますが、一般論として『BGG スコアは一つの情報に過ぎず、それを過信せずに様々な情報を集めた上でどのボードゲームを購入するかを考えたほうが良い』という言葉を本記事の結論にしたいと思います。
追記 (2019-12-14)
記事を書いた後に調べたところ、同様のことを考えた人はやはりいて、一年前にレポートが公開されていました。
この方は BGG ランクトップ 100 を抜き出して、以下のようなグラフを作っています。
どう見てもサンプル点が100個以上あるように見えますが、とにかくこちらでも相関がはっきり見られます。外れ値にも注目しているところが面白いですね。
またこのグラフから言えることとして、以下の２点が挙げられていました。
- 複雑なゲームが本質的に優れているとは限らない（ただし、今回の解析に用いたサンプルの選択バイアスにも注意すべき）。
- グラフの左下に「簡易で低評価」という集団があるようにみえる。これらの多くは1980年より前に大衆向けに発売された古典的なゲームとなっている。
確かに２の「古典的なゲームが BGG では低評価になりがち」というのは感じていたのですが、定量的にも確認されたわけですね。
さらに上記サイトではバイアスを補正する試みも紹介されているので、興味のある方はご一読をおすすめします。
