Cormac Bryce，Michael Dowling和Brian Lucey认为，用学术期刊的排名来判断发表在其杂志的论文质量这种方法不能真正鉴别一名研究人员学术水平高低或他们的研究是否有价值。
近年来，大家对人文社科类研究人员的学术评估越来越依赖他们发表文章的期刊排名。
《学术期刊指南》(Academic Journal Guide-AJG)等商业和管理学科类一流期刊的排名指南，加剧了这种趋势，导致商学院的工作量、晋升和招聘都是使用AJG的研究质量计算器来度量。
由于各个大学商学院对AJG的（错误）滥用，对科研人员施加的胡萝卜加大棒的奖惩机制，在学术界引起了激烈的争论。Research England特地表示，《研究卓越框架(2021)》(简称REF2021)将不会使用AJG来评估商业和管理研究领域论文的质量。
一方面，来自校外的研究基金拨款不会由AJG排名系统直接决定，而另一方面，校内基金的申请评估和去向根据上述指示，都提交给REF评委会来评判。
这让人们质疑AJG作为研究质量衡量工具的完整性，尤其是在一项针对英国商业和管理学领域的全国性调查中，42％的排名与新发布的2018年AJG科学委员会的排名不一致。
这项全国性调查包括了AJG列出的来自英国商业和管理学领域523位受访者总计19,997份对期刊的排名。鉴于它被用作衡量这些学校研究质量和员工价值的标准，因此如何更好地理解这种差异的驱动因素至关重要。
众所周知AJG也被商业和管理学学术领域广泛使用:它使研究人员仿佛能越过花园篱笆查看隔壁邻居的学科，以决定往哪里投稿，这对于发表跨学科研究特别有用。
对于一些人来说，它还允许他们在部门的咖啡机前摆出一副姿态，就像麦当劳员工翻领上的星星一样，因为他们更了解AJG的排名——而无需真正阅读和比较研究。
这项研究结果表明，业界存在明显的期刊排名偏差，因为他们高估了自己的工作，并与AJG产生了期刊质量认知差距，使这种装模作样成为一种目光短浅的选美比赛。
然而，这种与AJG排名的差异也可能是因为: 业界几乎没有收到关于期刊排名的调查或AJG内部排名更改的数据。
由于科学委员会与业界缺乏有效沟通，进一步加剧了信息真空——一个指南时隔六年才发布和更新，意味着指南无法及时了解快速发展的出版格局。
所有这一切导致了一种情况，即业界认为自己在过渡时期凭借主观意愿判断期刊质量，因为他们的实际经验比AJG更靠谱。
考虑到在整个学术共同体（从经济学到应用科学）的其他期刊指标（如影响因子）的全球使用时，很明显，商界和管理界研究质量并不会完全受制于某一指标的影响。
诸如《科学评价的旧金山宣言》(San Francisco Declaration on Research Assessment-DORA) 等全球性倡议，以及2015年的Hefce Metric Tide等独立评估，都旨在寻求评估研究质量时能负责任地使用指标。尽管如此，我们的研究强调，商业和管理界学术研究的多个利益相关者应该做更多的工作。
要真正评价一篇论文的学术质量，唯一的方法就是首先花时间和精力去从头阅读，而不管这篇文章涉及的学科或研究对象是什么。