わりと嘘つき?オンラインレビューに真実を語らせるには?

幼稚園生だったころに熱を出して行った小児科が本当にひどくて、全く咳していないのに喘息だと診断されるわ、「おい」とか「どけ」とか言われながら診察されるわで、この病院大丈夫なのだろうかという感じでした(^^;;

しかし、後日母親がインターネットでレビューを見てみると、なんと5段階中評価5(満点)!回答者4,5人が全員が星5をつけていたそうです!

あれは今考えても、病院の関係者がサクラになって書いていたとしか思えません…(笑)


さて、上記の例は極端な場合ではありますが、インターネット上のレビューって、どれほど有効なのでしょうか?

研究者の間でも、オンラインレビューは信用ならないという見解が有力でした。歌手のCDであればそもそもある程度その歌手に興味がある人が買って、レビューをしているので高評価に偏るということも考えられますし、もしくは反対に、相当ひどい思いをしたばかり人が積極的に低評価をつけるという可能性もあります。

このように、匿名のオンラインレビューにおいては、ある商品を使った人が100人いたとして、レビューを書く10人が極端な意見を持っている人であるために、偏った意見がレビューには反映されるというセレクションバイアス(selection bias)の危険性があるのです。

今回は、実際にレビューがどれだけ偏ったものになるのか、そしてそのバイアスを軽減するためにはどうすれば良いのかを研究した論文を紹介します。

(以下、論文で用いられている言葉の日本語訳は管理人によります)

※2018年3月23日に公開した記事ですが、同年5月27日に一部修正しました。


訪問ありがとうございます!記事の更新等はTwitterでお知らせしていますので、よろしければフォローお願いします!→ @academicocktail


本文の概要

本記事で扱うのはドイツの研究機関IZA掲載の”Incentives Can Reduce Bias in Online Reviews“という論文です(リンクから全文を参照いただけます)。

同論文では、「回答者に動機付けを行う(incentivize)ことで、オンラインレビューにおけるセレクションバイアスを軽減することができるか」という問い(research question)にそって研究が進められていきます。

オンラインショップでも、転職サイトでも、レビューは書くも書かないも自由なので、書きたい気持ちが強い人が書いているわけです。したがって、冒頭で言及したように「回答が偏っているのではないか」と疑うことも可能です。ですが、そこで、「レビューを書いた人に〇〇円あげます!」あるいは「答えてくれると他の方の役に立ちます」のような動機付け(インセンティブ)を与えることによって、レビューを書く人が増えるとともに偏りも小さくなるのではないか、というのが筆者らの問題提起です。

実験方法

筆者は上記の問いに答えるために2つの実験を行いました。ここではより実際的な貢献のあった2つ目の実験を紹介します。

筆者らは、amazonのクラウドソーシングサービス”Amazon Mechanical Turk”を使って、被験者に企業に関するオンラインレビューを行ってもらいました。

実験の手順は以下の通りです。

(1)被験者全員(639人)に、0.2ドルを支払う代わりにオンラインレビューに関する一般的な5分間のアンケートに答えてもらう。

(2)被験者を2グループに分け、以下の処置を行う。

選択(Choice)グループ
自分の勤め先についてのレビューをお願いされる。断ってもいい。
(書かなくても元の0.2ドルはもらえる)
強制(Forced)グループ
自分の勤め先についてのレビューを強制される。
(書かなければ元の0.2ドルは取り上げられる)

さらに、それぞれのグループが動機の与え方によって6つの下位グループに分けられ、合計2×6=12個の被験者グループができることになります。

<インセンティブの与え方によるグループ分け>

a. 動機付けなし(None)
何も与えず何も言わずレビューをお願いor強制(最初の0.2ドルのみ)

b. 高額金銭(High Monetary)
レビューに答えることで元の報酬0.2ドルを75%増し

c. 低額金銭(Low Monetary)
レビューに答えることで元の報酬0.2ドルを25%増し

d. 抽象的社会的動機(Nonspesific Prosocial)
他の人が転職先を選ぶ助けになります」と言ってレビューをお願いor強制

e. 正の社会的動機(Positive Prosocial)
他の人が最高の転職先を選ぶ助けになります」と言ってレビューをお願いor強制

f. 負の社会性動機(Negative Prosocial)
他の人が最悪な転職先を選ばない助けになります」と言ってレビューをお願いor強制

そして、このうち何も動機を与えられずにレビューを強制されたグループ(以下<強制 × 動機付けなし>)の回答が最も真実に近いという仮定のもと、そのグループと比較して、他グループの結果がどのように立ち現れるかが調べられました。

主な結果

実験結果のうち主なものを以下に示します。

実験結果(簡単に抜粋)

(1)<選択 × インセンティブなし>グループ(=純粋にレビューしたくてした人々)
→<強制 × 動機付けなし>に比べて評価が低くなった
(5段階評価平均が4.02→2.30

(2)抽象的社会的動機または高額金銭を与えられたグループ(選択・強制問わず)
→<強制 × 動機付けなし>に回答の分布が近いまま、回答率が上昇
(<強制 × 動機付けなし>の66.7%に対して、
社会的動機では81.5%、高額金銭では83.9%の人がレビューを書いた)

(3)低額金銭正ないし負の社会性動機を与えられたグループ(選択・強制問わず)
→<強制 × 動機付けなし>に比べて回答率は上昇せず。しかし回答の分布は近似

このように、動機の与え方によって効果は様々でしたが、いずれにせよ動機を与えることによってレビュー全体の精度を高めることができるということがわかりました。

ちなみに、筆者らが行っていたもう一つの実験では、自主的に回答したグループでは評価は高評価に偏るのではなく、極端な高評価と極端な低評価に二極化(polarized)していました。両実験で現れた結果の違いについても本文では考察されていますが、ここでは省略します。

本文のすごいところ:実用性

この論文のすごいところは何と言っても実用性(practicality)だと思います!つまり、この論文を読んだ企業や政府などが、レビューの取り方をどのように改善すればよいかを具体的に知ることができるということです。

実際、上記に抜粋した結果からは、以下のような極めて実用的な示唆(implication)を得ることができます。

<オンラインレビューの問題点>

自主的に書かれているレビューは回答率が限られており、評価が偏っている可能性が高い。

<回答率をあげる方法>

・回答した人にお金をたくさんあげる

・「他のお客様の為ですので」と言って良心にうったえる

<回答率は上がらないが偏りを小さくする方法>

・ちょっとでもお金をあげる

・「最高の商品が売れるようにするため」もしくは「最悪な商品が売れないようにするため」と言って良心にうったえる

筆者も言及していますが、「お金をたくさんあげる」と言ってもどれくらいのお金が十分なのかは状況によって変わってしまいますので、実践するのは難しいかもしれません(予算的にも)。しかし、「良心にうったえる」だけで回答の精度をあげることができるという結論は、企業にとってはかなり実用的なアドバイスのとなっていることがおわかりいただけるでしょう。

レビューの内容についてはどうだろう?

ここからは本文に言及のないことです。

筆者らは、オンラインレビューにおける数値評価(いわゆる”星いくつ”)にフォーカスして実験をしていましたが、”レビューの内容“についてはいかがでしょうか。

本文中では、金銭的動機付けのみでなく、社会的動機付け(良心にうったえる)でもレビューの精度をあげることが示唆されました。

そして、レビューの数値評価ではなく、レビューの内容に関しては、おそらく社会的インセンティブの方が効果的だと考えられます。

論拠として別の研究を引っ張ってきましょう。

時間のある方はこちらのTEDtalkをご覧ください。モチベーションを研究しているダニエル・ピンク氏は、「ある仕事それ自体に喜びを覚えるという内的動機付け(intrinsic motivation)は、金銭報酬などの外的動機付け(extrinsic motivation)よりも創造性を生み出し、高い結果をもたらす」という趣旨の主張をしています。

そしてこの内的動機付けの一種としてピンク氏があげているのが、目的(purpose)です。

Purpose: the yarning to do what we do in the service of something larger than ourselves.

目的は私たち自身よりも大きな何かのためにやりたいという切望です。

出典:英日いずれもダニエル・ピンク: やる気に関する驚きの科学 | TED Talk

これは、本研究で実験された社会的動機(prosocial incentive)にほかなりません。レビューを書いたらお金をもらえるという自分自身に対する利益よりも、レビューを書くことで「不特定多数の他人」という「私たち自身よりも大きな何か」に利益があるという認識の方が、レビューの質が高まるということが考えられます。

本文では、「レビューの内容(書かれた文章)」については言及がほとんどありませんでしたが、もし、利他的な動機がピンク氏のいうようにより高いパフォーマンスをもたらすのであれば、「他の人が転職先を選ぶ助けになりますので」という一声によって、より詳細で、真実を捉えたレビューが書かれ、オンラインレビューシステムが労働市場における需給の一致に一層貢献するものになるということがいえるのではないでしょうか。


【追記】(3月28日)

論文の利用報告のため、本記事のリンクを提供元のIZAにお送りしたところ、スタッフさんから以下のようなコメントをいただきました(親切すぎる)。

以下、メールの送り主の方に許可を得て掲載しております。

Nice article. The qualitative aspect would certainly make sense. But perhaps one should first look at it from the other side: How does buyer behavior change depending on “star” or “written” reviews? This certainly depends on the product and the seller, but e.g. on Amazon you can “sort by Avg. Customer Review”, where stars matter but not the text.

管理人訳:良い記事です。質的側面(管理人注:レビューの文章)の研究は確かに有意義でしょう。ですが、それよりも優先して研究すべき別の側面がある気がします。すなわち、購買者の行動は、”星”あるいは”レビューに書かれた文章”によって、どのように変化するか?これは間違いなく商品や売り手によってケースバイケースではありますけれども、例えばamazonで商品を検索する時には、「レビューの評価順」に検索結果を表示することができます。その場合文章ではなく星が重要になりますよね。
おっしゃる通りですね。「レビューのバイアスが減ることはわかった。じゃあそれが購買者の行動に実際どのような影響を与えるのか?」ここまで調査されることで、より実際的貢献のある研究に近づいていくことでしょう。
非常に今後の進展が楽しみなテーマですので、新しい研究を見つけ次第また記事にしたいと思います!

最後までお読みいただきありがとうございました!記事の更新等はTwitterでお知らせしていますので、よろしければフォローお願いします!→ @academicocktail

スポンサーリンク

シェアする

フォローする

スポンサーリンク