「ダメな科学」を見分けるためのおおまかな指針-訳文できました - うさうさメモより
1.扇情的な見出し
記事の見出しは往々にして、読者に「クリックしたい」「読みたい」と思わせるように作られています。研究結果が単純化されすぎているのはまだマシな方で、ひどい場合には、内容が誇張されていたり、歪められていたりします。
2.結果の曲解
意図的かどうかはともかく、ニュース記事では、「よくできた話」にするために、研究結果をねじ曲げたり、曲解したりしていることがあります。記事を鵜呑みにせず、できれば、研究内容の原典を読んでみましょう。
3.利益相反
多くの企業が、研究や論文発表のために科学者を雇っています。そういった研究が必ずしも無効であるとはいえませんが、分析する際にはそのことを念頭に置く必要があります。また、個人的または金銭的な利益のために、研究内容が偽って伝えられることもあります。
4.相関関係と因果関係の混同
相関関係と因果関係を混同しないように注意しましょう。「二つの変数が相関関係ある」ことは、必ずしも「一方が他方の原因である」ことを示しません。地球温暖化は1800年代から進行しており、同時に海賊の数も減少していますが、海賊不足は地球温暖化の原因ではありません。
5.推測表現
研究結果からの推測は、まさに、単なる推測でしかありません。「～だろう」「～かもしれない」「～の可能性がある」等の言葉には警戒しましょう。このような表現が用いられている場合、その結論の確かな証拠が研究によって得られているとは考えにくいからです。
6.小さすぎるサンプルサイズ
試験では、サンプルサイズが小さくなるほど、得られる結果の信頼性が低くなります。サンプルサイズが小さくなるのを避けられない場合もありますが、そこから導き出された結論については、上記のことを念頭に置いて検討するべきです。サンプルサイズを大きくすることが可能なのにそれを避けている場合には、疑念を抱く理由になるかもしれません。
7.代表的でないサンプル
ヒトを対象とした試験において、研究者は、母集団を代表するような個人を抽出するように努めています。もしサンプルが母集団全体と異なるものであれば、試験の結論もたぶん異なってしまうでしょう。
8.対照群がない
臨床試験においては、試験の対象となる物質を投与した「実験群」と、投与しない「対照群」の結果を比較しなければなりません。また、実験群と対照群は、無作為に割り付けなければなりません。一般的な実験では、変数をすべて統制したものを対照実験とします。
9.盲検試験が行われていない
バイアスを排除するために、自分が実験群なのか対照群なのかを被験者に知らせてはいけません。二重盲検試験では、研究者でさえも、試験終了までは、どの被験者がどちらの群かを知りません。（注意）盲検試験が必ずしも実現可能、あるいは倫理的でないことがあります。
10.結果のいいとこ取り
データの中から、結論を支持するようなものを採用し、そうでないものを無視するやりかたです。すべての結果ではなく、選択した結果から結論を導いている研究論文は、「いいとこ取り」をしているかもしれません。
11.結果に再現性がない
結果は独立した研究によって再現されなければなりません。また、一般性を保証するためには、（可能な範囲で）様々な条件で確認されなければなりません。途方もない主張には、それ相応の証拠が求められます－つまり、１つの研究だけでは、まったく不十分です！
12.ジャーナルと引用数
主要なジャーナル（専門誌）に発表された研究は、査読の過程を経たものですが、それでもまだ不備がある可能性はありますから、このガイドラインに書かれている注意点を念頭に置いて評価しなければなりません。同様に、その研究の引用数が多いからといって、必ずしも高く評価されているとは言えないこともあります。
原文