应用语言学复制性研究的现实挑战与对策
时间：2022-12-07 13:05:04 来源：柠檬阅读网 本文已影响 人 
徐宏亮，韦青婷，王慧敏
□语言学研究
应用语言学复制性研究的现实挑战与对策
徐宏亮，韦青婷，王慧敏
（阜阳师范大学 外国语学院, 安徽 阜阳 236037）
复制性研究是学科发展与个人学术成长的重要手段，其学术价值曾一度受到忽视。为厘清有关复制性研究的认知偏见，发挥其应有作用，本文追溯应用语言学领域中复制性研究的兴起与发展状况，区分它的不同类型及特点，分析当前复制性研究面临的主要挑战，并且针对性地提出对策建议。
复制；
原创性；
发表偏倚；
开放科学；
数据透明
复制（replication）是自然科学中一种常见的研究方法，利用某项研究的数据和计算机程序代码，重复其研究全过程，对研究结论进行校验、纠正或强化，以提高研究结论的可推广性和外部效度[1-3]。在应用语言学和一般社会科学领域开展复制性研究，必须考虑环境、受试、研究工具、任务等变量的可复制性问题。长期以来，对复制性研究存在误解，导致复制性研究的成果很少。近年来，应用语言学领域产生了一些新变化，研究者在看重成果的原创性、严谨性和重要性的同时，逐渐意识到复制性研究对学科发展和个人学术成长的独特作用，复制性研究成果日渐增多。本文旨在回顾应用语言学领域中复制性研究的兴起与进展情况，区分它们的不同类型，详细分析当前面临的现实挑战，并就如何迎接挑战、促进未来可持续发展提出对策建议。
在应用语言学短暂的发展历程中，学术界优先考虑的是研究的创新性。这极大地拓展了学科研究的深度和广度，促进了学科的发展。早期Santos[4]、Valdman[5]、Polio 和 Gass[6]等人呼吁加强复制性研究，但在应用语言学中复制性研究仍很罕见。Polio发现1990-2009年间6种应用语言学期刊只刊登了24篇复制性研究[7]。Language and Linguistic Behavior Abstracts数据库在1973至2013年间也只发表了40项复制性研究[8]。McManus[9]8调查发现，56.5%的二语研究者认为实证研究被复制的比例非常低，不到10%。原因是多方面的。复制性研究与原研究的结果如果一致，那么就被认为毫无价值，不能产生学术贡献；
研究结果如果不一致，人们就会怀疑是否是复制性研究的研究方法存在缺陷。这就使得研究者主观上不愿意开展复制性研究，而把有限的时间、精力和资源投入到他们认为最有回报的原创研究中去。另外，由于版面限制，论文作者无法交代研究方法细节，这在一定程度上也导致可复制的研究较少，复制性研究的稿源不足；
学术期刊编辑就算是意识到了复制性研究的意义，也会为了吸引更多读者，转而倾向于选择发表原创性的研究论文，使得很多复制性研究不能见刊。
近年来，应用语言学复制性研究不断受到重视。2007年，国际学术期刊《语言教学》（）开辟专栏讨论复制性研究，成为应用语言学领域中的首创；
该刊主编Graeme Porte于2009年组织了一次研讨会，涵盖了复制性研究的操作方法、结果解释和技能教学等议题，并于2012年出版了第一本关于复制性研究的长篇著作。从此以后，人们对复制性研究的关注与日俱增。究其原因，主要包括两个方面：一是应用语言学日趋成熟。年轻的研究领域往往看重新的发现，但对于日趋成熟的领域而言，结果的校验也同样重要[10]。应用语言学研究越来越成熟地使用统计数据，提升了人们对复制性研究的兴趣。二是社会科学（如心理学）目前面临可复制性危机。学术界出现了一些学术欺诈和有问题的研究实践[11-13]。主要问题包括：不提及所有的因变量；
选择性地报告具有统计学意义的结果（并省略那些不具有统计学意义的结果）；
歪曲P值（例如，报告P≥0.05，而实际上P≤0.05）；
声称意外的发现从一开始就已被预测到；
在获得希望的结果时就停止数据收集；
为了获得希望的结果而排除某些数据；
伪造数据等。在John等人[14]524所调查的2000多名心理学家中，大多数人承认有过一种或多种上述做法，“这些做法可能已成为事实上的科学规范”。有些研究者不相信发表的研究成果，认为大多数是虚假的[15]。在社会科学中有一个“文件抽屉”问题[16]638，即有统计学意义的结果比没有统计学意义的结果更有可能被发表。如果具有统计学意义的研究结果发表的可能性更大，并且如果职业发展（如留任、任期、晋升）与论文发表挂起钩来，那么就不难理解上面提到的这些学术不端做法了。为此，研究人员普遍呼吁使用复制作为保障机制，鼓励更多的复制性研究，这客观上促进了复制性研究的蓬勃发展。
复制性研究可分为两大类：内部复制和外部复制。内部复制（internal replication）是对原研究的“再回访”、再分析和检验，使用卡方检验、T检验、相关性检验或方差齐性检验等方式，来考察研究结果能否充分满足研究假设以及研究结果的效应值问题，采用交叉验证、刀切法或自助法来验证原研究的结果是否具有可复制意义[17,18]，但不进行新的实验。外部复制（external replication）是对原研究的进一步拓展，主要分为三类：精确复制（exact replication）、近似复制（close/approximate replication）和概念性复制（conceptual replication）[19-23]。这三种类型是一个连续体，从最忠实于原研究，到最不忠实于原研究，存在程度上的差异。
精确复制也叫直接复制（direct replication）或字面复制（literal replication），它需要全面准确地复制原研究的整个程序与环节，如使用相同的任务、相同的环境、相同类型的参与者、相同的研究问题与数据分析方法等，以校验原研究的发现。很显然，这是最难实现的了，因为就算是尽一切努力来忠实于原研究，仍会有一些小的变化是不可避免的，如时间上的差距等[24]1-11。所以说，精确复制只能是应用语言学研究的一种理想状态，是一项不能完成的目标[17]92。Nosek 和 Errington[25]3甚至认为根本就不存在所谓精确复制，因为复制研究与原研究之间总是存在差异。他们认为在应用语言学领域，唯一可能存在的精确复制是，使用原研究同样的语料库数据，且其他方面完全一致，没有任何改变。
比精确复制更常见的是近似复制，也叫系统复制（systematic replication），不改变原研究的总体方法，只改变一两个不太重要的变量，如改变被试人数、水平、语言背景、年龄组或任务等，以确定原研究结果的可推广性。也就是说，为了校验原研究的结果在新的受试、环境、语言等方面是否成立，而有意地加以变化。这样的例子不少，如Booth[26]关于词汇知识、Johnson 和 Nicodemus[27]关于临界值的近似复制性研究。近似复制考察的是故意改变1-2个变量后对研究结果的影响情况，这是增进学科知识、提高认识水平的最为明了直接的途径。
最不忠实于原研究的是概念性复制，也叫构念复制（constructive replication），它检验原研究的假设和结论，但采用的是全新的研究设计，如改变自变量和/或因变量，或者对实验环境或受试予以控制，使用相关但不同的数据采集方法，如用观察法替代自我陈述、在原研究使用的定量方法基础上增加定性方法等。也就是说，概念性复制提出与原研究一样的研究问题或检验与原研究相同的假设，但使用的是不同的研究设计（如样本不同、方法不同、分析不同）。它的目的有两种：要么是检验在一个更大的模型中新的变量关系是否具有普遍性，要么是确定原研究的结果在多大程度上是其自身方法的产物。概念性复制与原研究之间的不同之处更多，研究结果比较起来也更加困难。但这并不是说概念性复制就不重要，只是它的目的是不同的，它不是通过系统地操控研究方法来验证或巩固原研究的主张或发现，而是努力构建一些新的理论主张和概念，两个研究之间的可比性是有限的。从这个意义上说，概念性复制更像是拓展研究（extension studies），提出的是与原研究一样的问题，但使用不同方法来开展研究、回答问题。这样的实例有Leow[28]关于二语习得中的注意与意识、Lim 和 Godfiroid[29]关于句法加工自动化的概念性复制研究等。
与原研究的结论是否一致，这不是复制性研究的关键。复制性研究所关注的是两个研究结论之间是否存在可比性[6]502。
开展复制性研究，学界需要面对各种挑战，需要解决如何消除对复制性研究的偏见，如何对研究结果进行解释，如何报告研究结果和解决数据共享问题，以及探索定性研究的复制可能性问题等。
（一）如何消除对复制性研究的偏见
复制性研究在学界一直以来声望较低，不受推崇，被认为是缺乏创造性，甚至与对抗性人格联系在一起[30]532-542。Makel和Plucker[31]158曾明确指出：“复制性研究对本领域有好处，但对研究者个人却未必有好处”。主客观上存在的编辑偏见、基金资助问题和对职业发展的担忧，有可能会浇灭研究人员开展复制性研究的热情[24,32,33]。有无统计学意义是衡量研究结果可推广性的重要依据，任何研究结果都需要通过外部复制来验证它的可推广性[34]。期刊编辑倾向于发表有统计意义的研究成果，如果研究的结果没有统计意义，论文就被搁置在“抽屉”里而不能见刊。最近在心理学领域里，有复制性研究的作者在社交媒体上受到了原作者的攻击和威胁，这也表明复制他人的研究具有一定的风险[35]。学术界要正确认识复制性研究的本质，正视它的学术价值和对学科发展的贡献，消除现有偏见，提高复制性研究的数量和质量。已有一些学术期刊为此作出了努力，如《第二语言习得研究》（）在积极呼吁学界开展复制性研究，《语言教学》甚至还发表文章，就哪些文章应该被复制以及如何复制提出建议和指导[36-38]。目前对复制性研究重要性的认知已有改观，Mu和Matsuda[39]在对二语写作研究者进行调查时，没有发现对复制性研究的偏见，这似乎表明情况正在好转。但如果说，复制性研究和原创研究已处于平等地位，似乎还为时过早。
（二）如何解释复制性研究的结果
开展复制性研究，最常见的问题是如何对结果进行解释。根据是否报告了与原研究相同的结果，复制性研究常被划分为“成功”的或“失败”的研究。如果是“成功”的精确复制，研究者可以对原研究的内部效度和外部效度有更大的信心。但也有人认为，这样的研究结果缺乏新意，只是证明了已经知道的东西[32]71-81。另一方面，如果是“失败”的精确复制，人们会认为原研究的结果可能本身就是错误的，需要被推翻。其实，复制“失败”的可能原因有很多，如存在未发现的调节变量，存在人为的错误，或者是复制中的统计功效偏低等[31][40]。复制性研究应该是信息性的，而不是结论性的[24]1-11。没有哪一项复制性研究可以证实或证伪原研究。如果一项精确复制得到了与原研究相同的发现，它应该被看作是一份额外的证据，证明原研究是有效的；
如果没有得到相同的发现，说明有必要进行再研究[41]93-99，而不是说它是一个失败的复制性研究。因此，我们认为把“成功的”和“失败的”这两个词更换成“支持性的”和“非支持性的”更为合适。支持性的近似复制性研究表明原研究的结果可以被推广，如推广到某种新的语言、新的人群或环境；
非支持性的近似复制表明原研究结果不能被推广，需要对该主题进一步加以研究。支持性的概念性复制研究可以证明某个发现不是原研究方法的产物，而非支持性的概念性复制研究则表明还有进一步研究的必要。例如，我们可以进一步考察，非支持性研究的结果是不是因为方法上的差异，有没有未被发现的调节变量，如果有的话，它们是什么。解决这些问题，就有可能带来理论上的进步[41]93-99。
（三）如何报告研究方法和解决数据共享问题
多年来，人们呼吁作者在研究中详细全面地报告研究方法的细节，以方便日后的复制[6]499-508。打算进行精确复制的研究者需要这些细节，以使复制尽可能忠实于原研究；
近似或概念性复制的研究者也需要这些信息，来解释自己的研究与原研究之间可能存在的差异。由于期刊的版面限制，作者往往将拟发表论文的方法论信息简化或删除，这对复制性研究带来极大的挑战。随着网络的发展，在线补充材料和建立庞大的数据平台已成为现实，版面限制问题已不成其为障碍。人们已开始为方便作者提供完整的方法论信息和数据作出努力，如《语言学习》（）杂志明确要求“方法部分必须足够详细，以便于研究的复制”，《语言学习》、第二语言研究工具库IRIS（http://www.iris- database.org）要求作者将论文使用的材料或补充材料发到期刊网站，存入在线大型资料库，供研究者查阅使用[42]1-21。人们还建议作者在数据分析方面增加透明度。定量研究者在报告描述性统计（平均值、标准差）、置信区间、效应大小和统计功效时，要更加一致[43-45]；
定性研究者要提供更多关于其编码过程和分析决定的信息[46-47]。这些做法不仅有助于解释研究结果，也有助于不同研究之间的比较，这对复制性研究和元分析都很重要。
在分享数据方面，也存在一定的困难。有些作者可能主观上不愿意分享他们的原始资料和数据，导致研究不能进行复制[48]232-244。也有些研究在数据存储失败的情况下，无法分享数据和资料。其实，除非因为隐私问题，应鼓励作者公开自己的研究数据，为复制性研究提供根本性的支持条件。
（四）能否对定性研究进行复制
学界争论的另一个焦点问题是：对定性研究进行复制是否可能，是否可行？[49-51]。传统观点认为，想验证定性研究的结果是徒劳的，另一个研究者不可能在相同的环境中，使用相同的方法研究相同的参与者（甚至相同类型的参与者），并得出相同的结果。
这种对定性研究结果的验证所表示的担忧，以及一些定性研究者对复制性研究的反感，往往是因为他们将复制与精确复制混为一谈[52]。由于定性研究具有解释性和情境性的特征，研究者对精确复制的担忧并非没有道理。但这并不意味着要放弃对所有的定性研究的复制，也不意味着定性研究的精确复制是不可能的。例如，我们假设对一小群英语作为第二语言（ESL）的写作者进行工具性个案研究，确定他们在大学期间对书面纠正性反馈的看法。假设研究者充分使用了合理的定性研究手段，如丰富的描述、三角测量、观摩跟踪、编码检查、成员检查、长期观察等，读者可以确定所提供的任何信息是否适用于他们自己的研究语境。但是另一位研究者可以使用相同的方法，考察略有不同的人群，如英语为外语的写作者，看看会产生什么样的研究发现，以及不同的语言背景会不会影响学生对书面纠正性反馈的看法。支持性的近似复制性研究会表明，语言背景在学生对书面纠正性反馈的态度中作用很小；
非支持性的近似复制性研究会发现语言背景确实起着作用，这在理论上和教学上都非常有意义。同样，对ESL作者的概念性复制研究可以对研究方法适当加以改变，如用同伴引导的访谈取代研究者引导的访谈，或者用日记数据补充访谈数据。这时，支持性的概念性复制研究会表明，研究方法对学生的回答没有不适当的影响，而非支持性的概念性复制研究则表明方法的改变会影响学生的反应。如果定性研究者在相同的环境中，使用相同的方法来调查相同类型的参与者，这时支持性的精确复制将证明，研究者和参与者的特殊性不是主要影响因素；
非支持性的精确复制将证明，这些因素确实可能发挥重要作用。未来的研究就可以努力确定这些因素到底发挥了多大的作用，以及在什么条件下它们会产生影响。如果我们不用“成功”和“失败”这两个术语来描述复制性研究，认识到复制某些类型的定性研究（如工具性个案研究）可以提供有价值的信息，那么关于定性研究复制问题的争论就可能消除。
基于学者们围绕复制性研究的学术讨论和科研实践，可以从如下几个方面着手，充分发挥复制性研究在学科发展与个人学术成长中的应有作用。
一是消除误解，明确复制性研究的重要价值。应该系统探究复制性研究发表率低的原因，洞察应用语言学领域复制性研究发表偏倚的根源，大幅度增加复制性研究的数量，提升复制性研究产出的速度。McManus[9]8调查了354名二语研究者对于复制性研究的态度以及他们的研究实践，发现他们普遍认为复制性研究对于二语研究是有价值的，不认为复制性研究就是缺乏创新的研究，大多数人提倡复制性研究，支持博士研究生进行复制研究，认为本学科里复制性研究的数量应该增加。Marsden等人[53]321-391发现复制性研究被引用率很高，且常常发表在影响因子高的权威期刊上。研究者在引用原研究时，应同时引用该研究的直接复制或近似复制性研究，以提高复制性研究在学术界的地位和影响。复制性研究虽然在原创性方面不及原研究，但它们在重要性和严谨性方面并不逊色。各级各类研究基金在评审时应适当兼顾复制性研究，学术组织与团体应将复制性研究纳入会议分组议程，等同看待复制性研究的学术贡献和重要价值。建议学术期刊在作者指南或投稿指南中明确说明接受和鼓励复制性研究的政策，承诺发表针对本刊已发表论文的复制性研究，对未能得出与原研究一样具有统计意义结果的复制性研究持欢迎与接受的态度。
二是注重总结，把握可复制研究的典型特征。值得复制的研究往往具备一些典型特征，如引用率高、学界关注度高、对现有理论提出挑战等[54]。在应用语言学研究中，应重点关注如下六类研究，一是引用率高的研究。如果某项研究被引用了100次还没有被他人进行复制，则是令人惊讶的事[30]532-542。二是学界公认的重要研究。寻找或判断某项研究是否重要，可以查看《语言学习》论文作者对自己研究的复制倡议，了解网络平台中公众对值得复制的研究的投票（如PsychFileDrawer），阅读期刊编辑对特定研究开展复制研究的征稿（如)，或者查看复制性研究的作者在文中对理论或方法论的说明。三是结果出乎意料的研究。譬如说，如果原分析发现效应值较小但实际却很大时，这样的研究就可以进行复制。四是研究结果没有统计意义或p值仅略微小于0.05的研究[55]。在对Open Science Collaboration项目中的三个结果无统计意义的研究进行复制时，Morgan-Short等人[56]发现有两个研究结果为无统计意义，一个研究结果却具有统计意义。对研究结果没有统计意义的研究进行复制，在二语研究中尤其重要[48]232-244。有无统计意义不能作为评判研究是否值得复制的可靠的标准。五是研究设计相对简单的研究。在二语研究中，历时研究、一对一测量、使用昂贵仪器（如眼动仪）及研究对象背景特殊的研究一般难以进行复制。六是透明度高的研究。是否详尽汇报研究方法、是否提供原始数据材料，是复制性研究开展的前提条件。
三是规范表达，使用复制性研究的特定术语。增强复制性研究在学界的影响，需要提高它们的显示度。方法之一就是在标题或者摘要中明示该研究为复制性研究。Marsden 等人发现只有21%的论文在标题中使用了“复制”的字眼[53]321-391。McManus[9]8指出只有50%的复制性研究在标题或者摘要中明确标明是复制性研究。为了提高显示度和被检索率，建议复制性研究使用明确的表示“复制”的词语，如replicat*、exten*或revisit*等，在标题或摘要部分明确说明复制的具体分类，以直接复制（验证原研究的发现）、近似复制（改变1-2个变量来考察研究结果的可推广性）或者概念性复制（改变多个变量来拓展原研究）等规范表述亮明研究的身份特征，为检索和阅读提供便利。刻意回避使用这些词语，复制性研究在学科领域里的显示度和潜在影响力就会受到影响，这不利于文献检索和建立学术联系，不利于揭示复制性研究与原研究在研究程序和数据方面的差异，也不利于开展元分析或综合研究（research synthesis）来考察研究结果的可靠性、普遍性以及不同研究之间的可比性。
四是倡导开源，提高数据共享程度与方法透明度。研究方法透明，能够促进研究的复制，提高复制的质量与可靠性[42]1-21。自从2015年《促进透明公开指南》（TOP Guidelines）发布以来，学界更加关注研究设计、数据材料的透明与共享。复制性研究经常在实验对象、工具、测试手段等方面不同于原研究。在复制性研究中应说明原研究中的材料是如何获得的，是部分采用还是整体采用了原研究的材料[17]。如果不能获得原研究的数据和材料，复制性研究与原研究之间的差异就不能确定。研究发现，获得的原研究的材料越多，复制性研究的结果则更可能支持原研究的结果，对该研究的复制性研究也会越多[53]321-391。研究材料的透明与期刊引用率之间甚至存在正相关关系[57]。建议期刊在官网上明确标出哪些研究是复制性研究，同时给出所复制的原研究的超链接，以提高复制性研究的“曝光率”。自《语言学习》期刊采用“开放科学徽章”（Open Science Badges）机制以来，越来越多的期刊开始重视数据的开放工作，IRIS现在拥有12套二语数据以及大约3600个数据与分析方案文档，《第二语言习得研究》要求获得徽章的论文在IRIS，OSF或www.re3data.org等平台共享研究资料和资料收集工具，并对资料在研究中的使用情况进行详细描述和说明，这有利于读者全面了解该研究的具体情况，有利于开展高质量的复制性研究。研究者在自己发表的论文中，应该系统地给出对该研究进行复制研究的可能途径或方法，同时尽可能分享研究数据，提高研究方法的透明度。
五是创新发表程序，鼓励期刊接受“注册报告”类文章。学界应大力提倡期刊发表“注册报告”类文章。注册报告（registered reports）是一种新型的投稿格式，由开放科学中心（Center for Open Science）发起。在做实验之前，研究者就向期刊提交拟研究的问题和实验设计（研究目的、数据收集方法、分析方案等）供同行评议。通过评议的报告就可以被“原则上接受”，研究者只需依照已经“注册”过的实验步骤来开展研究。研究完成后，研究者提交最终稿件进行再审核，在第二轮同行评议后论文就会被发表。这种投稿方式重视科学研究的原始推动力，鼓励最佳的研究实践，重点关注的不是实验的结果，而是研究的问题和解决问题的方法，能够最大限度地降低期刊有意无意的发表偏倚[58]。在开始收集数据前，研究者就能获得编辑和审稿人提供的建设性意见和帮助，弥补研究设计和方法上的不足，避免实验统计结果的低效、对实验结果有选择性地报告等问题，提高研究的可重复性，为科学的透明化、可重复化和开放共享做出贡献。
六是加强研究方法培训，提高学者复制性研究能力。研究者不熟悉复制的方法设计及呈现形式，缺乏写作经验与科研训练，也是导致复制性论文发表较少的原因之一。因为复制性研究总量较少，研究者对于复制性研究与原研究在功能、结构及呈现模式等方面缺少认知，不懂得如何向期刊编辑、审稿人及读者展示复制性研究的独特价值和魅力，他们需要额外的帮助来学习和提高复制性研究的能力。建议在硕士、博士阶段加强复制研究方法的系统训练，或开办一些针对复制性研究的科研讲座、集训营，提高研究者的理论水平和实践能力。通过使用原研究的现有数据，让复制研究者深入了解原研究在变量选择、概念操作化、模型设置及样本处理时的具体做法；
通过复制校验，发现原研究的瑕疵与问题，培养复制研究者敏锐的学术观察力和判断力。当前，与元分析相比，帮助研究者进行复制性研究的设计、实施与研究结果汇报的指导手册或文章十分少见[17]。建议根据学科领域特点，开发一些复制性研究的指导书籍或指南，从研究设计、结果呈现、成果分享等各方面对研究者加以指导。
复制性研究在各学术领域发挥着越来越重要的作用。使用相同的研究方法和材料，可以验证原研究结果的可靠程度；
改变具体的方法或研究对象特征，则可考察在不同条件下原研究结论的可推广性。复制性研究的兴起，是学科发展到成熟阶段的必然产物。围绕复制性研究的纷争必将随着学科的发展而趋向统一。观念偏见、发表偏倚等在学界各方努力下将会得以纠正。定量分析技术、互联网及走向透明与开放的学术文化将为复制性研究带来巨大的发展空间。国内外学者积极开展复制性研究，有利于个人学术进步，有利于学科长远发展。拥有高质量的复制性研究是一个学科健康发展的前提，应用语言学的学科特征和学术伦理呼唤复制性研究。作为对已有研究进行校验与反思的一种研究范式，复制性研究必将成为深化学科理论、推动学科知识发展、丰富科学研究视角、拓展科研训练方法的重要途径。
[1]Hendrick C. Replications, strict replications, and conceptual replications: Are they important? [J]. Journal of Social Behavior & Personality, 1990(4):41-49.
[2]陈云松，吴晓刚.走向开源的社会学：定量分析中的复制性研究[J].社会，2012(3):1-23.
[3]刘润清.《应用语言学中的复制性研究》述评[J].中国外语教育，2015(3):95-99.
[4]Santos, T. Replication in applied linguistics research [J]. TESOL Quarterly, 1989,(4): 699–702.
[5]Valdman, A. Replication study [J]. Studies in Second Language Acquisition, 1993(4): 505.
[6]Polio, C., & Gass, S. Replication and reporting: A commentary [J]. Studies in Second Language Acquisition, 1997(4).
[7]Polio, C. Replication in published applied linguistics research: An historical perspective [M]. In G. Porte (Ed.), Replication research in applied linguistics (pp. 47–91). Cambridge: Cambridge University Press, 2012.
[8]Marsden, E., & Mackey, A. IRIS and replication[R]. Paper presented at the 9th International Symposium on Bilingua- lism, Singapore, 2013, June.
[9]McManus K. Replication and Open Science in Applied Linguistics Research[M]. In L. Plonsky (Ed.), Open Science in Applied Linguistics. John Benjamins, 2021.
[10]Sakaluk J. K. Exploring Small, Confirming Big: An alternative system to The New Statistics for advancing cumulative and replicable psychological research [J]. Journal of Experimental Social Psychology, 2016, 66:47-54.
[11]King, K., & Mackey, A. Research methodology in second language studies:Trends, concerns, and new directions [J]. Modern Language Journal, 2016(s1): 209–227.
[12]Pashler, H., & Wagenmakers, E.J. Editors’ introduction to the special section on replicability in psychological science: A crisis of confidence? [J]. Perspectives on Psychological Science, 2012(6): 528–530.
[13]Simmons, J., Nelson, L., & Simonsohn, U. False-positive psychology undisclosed flexibility in data collection and analysis allows presenting anything as significant [J]. Psychological Science, 2011(11): 1359–1366.
[14]John, L., Loewenstein, G., & Prelec, D. Measuring the prevalence of questionable research practices with incentives for truth telling [J]. Psychological Science, 2012(5).
[15]Pashler, H., & Harris, C. Is the replicability crisis overblown? Three arguments examined [J]. Perspectives on Psychological Science, 2012(6): 531–536.
[16]Rosenthal, R. The file drawer problem and tolerance for null results [J]. Psychological Bulletin[M].New York.1979 (3).
[17]Porte, G. K., & McManus, K. Doing replication research in applied linguistics. Routledge[M].New York,2019.
[18]尹洪山，李玉佳.《复制性研究在应用语言学中的实践》评介[J].天津外国语大学学报，2020(4):153-157.
[19]Abbuhl, R. Practical methods for teaching replication to applied linguistics studies [M]. In G. Porte (Ed.), Replication research in applied linguistics (pp. 135–150).Cambridge: Cambridge University Press, 2012a.
[20]Abbuhl, R. When, when, and how to replicate research [M]. In A. Mackey & S. Gass (Eds.), Research methods in second language acquisition (pp. 296–312). Oxford: Wiley-Blackwell, 2012b.
[21]Abbuhl, R. Research Replication[M]. In A. Phakiti et al. (Eds.). The Palgrave Handbook of Applied Linguistics Research Methodology, 2018.
[22]Porte, G. Replication research in applied linguistics [M]. Cambridge: Cambridge University Press,2012.
[23]潘不寒，张再红.《应用语言学中的复制性研究》述介[J].当代语言学，2016(3):470-473.
[24]Earp, B., & Trafimow, D. Replication, falsification, and the crisis of confidence in social psychology [J]. Frontiers in Psychology, 2015,(621).
[25]Nosek, B. A., & Errington, T. M. What is replication? [J]. PLOS Biology, 2020(3).
[26]Booth, P. Vocabulary knowledge in relation to memory and analysis: An approximate replication of Milton’s (2007) study on lexical profiles and learning style [J]. Language Teaching, 2013(3): 335–354.
[27]Johnson, M., & Nicodemus, C. Testing a threshold: An approximate replication of Johnson, Mercado & Acevedo 2012[J]. Language Teaching, 2015(2): 251–274.
[28]Leow, R. The roles of attention and (un)awareness in SLA: Conceptual replication of N.C. Ellis & Sagarra (2010) and Leung & Williams (2012) [J]. Language Teaching, 2015(1): 117–129.
[29]Lim, H., & Godfroid, A. Automatization in second language sentence processing: A partial, conceptual replication of Hulstijn, Van Gelderen, and Schoonen’s 2009 study [J]. Applied Psycholinguistics, 2015(5): 1247–1282.
[30]Makel, M., Plucker, J., & Hegarty, B. Replications in psychology research: How often do they really occur? [J]. Perspectives on Psychological Science, 2012(6).
[31]Makel, M., & Plucker, J. An introduction to replication research in gifted education: Shiny and new is not the same as useful [J]. Gifted Child Quarterly, 2015(3): 157–164.
[32]Bronstein, R. Publication politics, experimenter bias and the replication process in social science research [J]. Journal of Social Behavior and Personality,1990(4).
[33]Neuliep, J., & Crandall, R. Editorial bias against replication research [J]. Journal of Social Behavior and Personality, 1990(4): 85–90.
[34]Nassaji, H. Significance tests and generalizability of research results: A case for replication [M]. In G. Porte (Ed.), Replication research in applied linguistics (pp. 92–115). Cambridge: Cambridge University Press, 2012.
[35]LeBel, E. A new replication norm for psychology [J]. Collabra, 2015(1): 1–13.
[36]Bitchener, J., & Knoch, U. Written corrective feedback studies: Approximate replication of Bitchener & Knoch (2010) and Van Beuningen, De Jong & Kuiken (2012) [J]. Language Teaching, 2015(3): 405–414.
[37]Gass, S., & Valmori, L. Replication in interaction and working memory research: Révész (2012) and Goo (2012) [J]. Language Teaching, 2015(4): 545–555.
[38]Schmitt, N., Cobb, T., Horst, M., & Schmitt, D. How much vocabulary is needed to use English? Replication of van Zeeland & Schmitt (2012), Nation (2006) and Cobb (2007) [J]. Language Teaching, 2017(2): 212–226.
[39]Mu, C., & Matsuda, P. Replication in L2 writing research: Journal of second language writing authors’ perceptions [J]. TESOL Quarterly, 2016(1): 201–219.
[40]Maxwell, S., Lau, M., & Howard, G.Is psychology suffering from a replication crisis? What does “failure to replicate”really mean?[J].American Psychologist, 2015(6).
[41]Crandall, C., & Sherman, J. On the scientific superiority of conceptual replications for scientific progress[J]. Journal of Experimental Social Psychology, 2016, 66.
[42]Marsden, E., Mackey, A., & Plonsky, L.The IRIS repository: Advancing research practice and methodology [M]. In A. Mackey & E. Marsden (Eds.), Advancing methodology and practice: The IRIS repository for research into second languages. New York: Routledge, 2016.
[43]Larson-Hall, J., & Plonsky, L. Reporting and interpreting quantitative research findings: What gets reported and recommendations for the field [J]. Language Learning, 2015(S1): 127–159.
[44]Liu, Q., & Brown, D. Methodological synthesis of research on the effectiveness of corrective feedback in L2 writing [J]. Journal of Second Language Writing, 2015, 30: 66–81.
[45]Plonsky, L. Study quality in SLA: An assessment of designs, analyses, and reporting practices in quantitative L2 research [J]. Studies in Second Language Acquisition, 2013(4): 655–687.
[46]Moravcsik, A. Transparency: The revolution in qualitative research [J]. PS: Political Science & Politics, 2014(1): 48–53.
[47]Richards, K.Trends in qualitative research in language teaching since 2000[J]. Language Teaching, 2009(2): 147–180.
[48]Plonsky, L. Quantitative considerations for improving replicability in CALL and applied linguistics [J]. CALICO Journal, 2015(2).
[49]Casanave, Pearson C. Heading in the wrong direction? A response to Porte and Richards[J]. Journal of Second Language Writing, 2012(3): 296-297.
[50]Matsuda, P. On the nature of second language writing: Replication in a postmodern field [J]. Journal of Second Language Writing, 2012(3): 300–302.
[51]Sasaki, M. An alternative approach to replication studies in second language writing: An ecological perspective [J]. Journal of Second Language Writing, 2012(3): 303–305.
[52]Porte, G. K., & Richards, K. Replication in second language writing research [J]. Journal ofSecond Language Writing, 2012(3): 284–293.
[53]Marsden, E. et. al, Relication in Second Language Research: Narrative and Systematic Reviews and Recommendations for the Field[J]. Language Learning, 2018(2).
[54]Nosek, B.A., & Lakens, D. Call for proposals: Special issue of Social Psychology on “Replications of important results in social psychology” [J]. Social Psychology, 2013(1):59-60.
[55]Lindsay, S. Replication in psychological science [J]. Psychological Science, 2015(12): 1827–1832.
[56]Morgan-Short K., Marsden E.,Heil J., et al. Multi-site replication in SLA research: attention to form during listening and reading comprehension[J]. Language Learning, 2018.
[57]Plonsky, L., Egbert, J., & Laflair, G. Bootstrapping in applied linguistics: Assessing its potential using shared data [J]. Applied Linguistics, 2015(5): 591–610.
[58]Plonsky, L. Open Science in Applied Linguistics[M]. John Benjamins, 2021.
Replication Studies in Applied Linguistics: Challenges and Resolutions
XU Hong-liang, WEI Qing-ting, WANG Hui-min
(School of Foreign Languages, Fuyang Normal University, Fuyang 236037, Anhui)
To replicate studies is an essential way of promoting disciplinary development and personal academic progress, which has been neglected for quite a long time. In order to clarify existing epistemic biases and bring its due functions into play, the paper traced the rise of replication research in the field of applied linguistics, pinpointed its different types and respective features, analyzed the main challenges it faces, and concluded with current recommendations to facilitate replication research in applied linguistics.
replication; originality; publication bias; open science; data transparency
10.14096/j.cnki.cn34-1333/c.2022.03.09
H08
A
2096-9333（2022）03-0057-08
2022-01-14
阜阳师范大学2019年基础教育研究成果培育专项重点项目（2019JCJY04）。
徐宏亮（1971- ），男，安徽宿松人，教授，博士，硕士生导师，研究方向：外国语言学及应用语言学研究；
韦青婷（1999- ），女，重庆南川人，在读硕士研究生，研究方向：英语教学研究；
王慧敏（1997- ），女，广东韶关人，在读硕士研究生，研究方向：英语教学研究。
