6.7: La evaluación de propuestas de ponencias de conferencia en lingüística
- Page ID
- 98665
Françoise Boch, Fanny Rinck y Aurélie Nardy
Université Grenoble, CNRS/Université Paris Ouest Nanterre La Défense, y Université Grenoble
Este capítulo entra dentro del ámbito de los trabajos sobre escritura científica. 1 A partir de la década de 1980, muchos estudios se han centrado en describir las características del discurso científico según el género, la disciplina o el lenguaje. 2 Géneros estudiados incluyen artículos y tesis doctorales, pero también, en menor grado, propuestas para ponencias de conferencia. En este capítulo, nos enfocamos indirectamente en este último, analizando su evaluación por paneles de revisión por pares de conferencias. El género de la evaluación de la propuesta —en la medida en que puede calificarse de género— es, de hecho, objeto de muy poco estudio. Sin embargo, en nuestra opinión, presenta características que lo convierten en un tipo de escritura particularmente rico. De hecho, el análisis de este género puede proporcionar información valiosa tanto sobre las prácticas lingüísticas de los investigadores evaluados como sobre los criterios retenidos por quienes realizan esta evaluación. 3
En primer lugar, es interesante examinar las prácticas de los investigadores que constituyen la comunidad de expertos desde un punto de vista lingüístico. Nos referimos aquí a un hilo en el análisis del discurso que se centra en las funciones lingüísticas de la escritura científica para resaltar las especificidades de la comunidad científica, 4 o, en otras palabras, sus manières de faire (“formas de hacer” las cosas) (Maingueneau, 1992). Examinaremos la retórica de la evaluación en un corpus de evaluaciones. Estrictamente hablando, estos últimos no son escritos científicos sino que, sin embargo, reflejan las formas de hacer las cosas de los investigadores. Veremos en particular cómo se dirige el revisor al autor y si estas formas de dirección varían según el veredicto pronunciado sobre la propuesta.
Segundo, el estudio de tal género puede proporcionar información sobre las normas vigentes dentro de una disciplina determinada. ¿Qué criterios se conservan hoy para considerar aceptable o no una propuesta? ¿Existe consenso respecto a estos criterios dentro de un grupo de expertos o estos criterios son heterogéneos y están vinculados a percepciones subjetivas de lo que constituye una propuesta “buena” o “mala”? Consideraremos hasta qué punto el discurso evaluativo de las evaluaciones nos permite captar los requerimientos institucionales y expectativas de propuestas. Estudios recientes (cf. en particular Fløttum, 2007) han destacado diferencias sustanciales dentro del campo de las humanidades. Por lo tanto, nos centraremos específicamente en una disciplina —la lingüística— al tiempo que nos mantendremos conscientes de las variaciones que existen dentro de los diferentes dominios de este campo (como la psicolingüística, la sociolingüística o la didáctica del lenguaje).
Aspectos Metodológicos
El corpus estudiado está compuesto por 284 evaluaciones realizadas por revisores en lingüística que examinan propuestas presentadas a una conferencia para “jóvenes investigadores” (es decir, estudiantes de doctorado o médicos recientes) en ciencias del lenguaje. Esta conferencia tuvo lugar en Francia en julio de 2006.
Cada propuesta (142 en total) fue evaluada por dos revisores anónimos que proporcionaron tanto un comentario evaluando la propuesta como un veredicto: aceptado, rechazado o para ser revisado.
El desglose de los veredictos fue el siguiente: 60% aceptado, 30% a revisar y 10% rechazado. 5
Después de obtener el consentimiento de cada uno de los revisores, se procesó todo el corpus y se colocó en una plataforma en línea disponible públicamente (scientext. msh-alpes.fr) creada para tal efecto. La plataforma incluyó funciones de búsqueda lingüística 6 y estas herramientas nos permitieron examinar el corpus utilizando, en parte, búsquedas automáticas (ver detalle a continuación). Los resultados se verificaron manualmente con miras a la desambiguación. Finalmente, se realizó un análisis cualitativo con base en la observación del fenómeno resaltado por los datos brutos.
Resultados
Retórica del discurso evaluativo en las evaluaciones de propuestas
Marcadores del Revisor y Direcciones al Autor
El objetivo de este análisis inicial fue identificar los marcadores que indican tanto la presencia del revisor como sus direcciones al autor. K. Fløttum & al. (2006) desarrollaron una tipología de los roles del autor en la escritura científica (más específicamente, en el artículo de investigación). Esta tipología se basó en un amplio estudio de todos los marcadores pronominales del autor, y los verbos asociados y otros ítems léxicos. Este equipo noruego identificó así tres roles asumidos por los autores: el escritor (en esta sección, voy a presentar...), el investigador (el estudio que realizamos) y el arguer (defendería la idea de que). Aquí sólo nos centraremos en el “yo” del arguer porque se refiere explícitamente al revisor y a la forma en que se posiciona personalmente en su evaluación de la propuesta, planteando así una serie de preguntas interesantes. ¿La presencia de este “yo” varía según el veredicto dado sobre la propuesta? ¿Se hace valer más el revisor o, por el contrario, adopta una posición autoborrosa a la hora de dar una evaluación negativa? De igual manera, ¿cómo se dirige al autor de la propuesta? ¿El revisor usa “usted” (la forma de dirección más directa posible) de la misma manera dependiendo de si está aceptando o rechazando la propuesta o no?
Tomamos el número de textos 7 incluyendo revisor-arguer “I” s y “usted” s refiriéndose al autor de la propuesta y los interrogamos con el veredicto dado sobre este último, distinguiendo tres posibilidades: propuesta aceptada, para ser revisada o rechazada. La Figura 1 proporciona una síntesis de los resultados obtenidos.
Como ilustra la Figura 1, el uso de pronombres personales permanece relativamente bajo en este tipo de corpus de evaluación: “I” aparece en promedio en 8.3% de los textos y “usted” en 25.4%, todos los cuerpos incluidos. En general, el revisor tiende a no llamar la atención sobre sí mismo como alguien que plantea un argumento, y, en menor grado, tiende a dar preferencia a las expresiones despersonalizadas al dirigirse al autor (encontramos más enunciados como “los aspectos metodológicos deben ser examinados con más profundidad” como opuesto a “se deben desarrollar más los aspectos metodológicos”). De acuerdo con los cánones de uso vigentes en la comunidad científica, existe un esfuerzo por mantener el debate centrado en el objeto en cuestión —la propuesta— y no en las personas en cuestión.
No obstante, en las evaluaciones donde sí aparecen estos pronombres, su uso difiere dependiendo del veredicto. Si bien los “ustedes” y los “yo” s aparecen de manera equilibrada a lo largo del corpus “propuesta aceptada”, la brecha es mucho mayor en el corpus “por revisar”, y se vuelve bastante sustancial en el corpus de “propuesta rechazada”, donde el “yo” tiende a desaparecer (solo está presente en el 3% de los textos). Para que el autor lo entienda, parecería que el acto bastante poderoso de rechazar una propuesta debe ir de la mano con un argumento objetivo, fundamentado en hechos. Y tal argumento, al parecer, no permite la marcada presencia lingüística del revisor, lo que daría un tono subjetivo a la evaluación.
No obstante, esta progresiva desaparición del “yo” en las decisiones negativas da paso a la presencia cada vez más marcada del “tú”. Esto plantea la siguiente pregunta: si aceptamos la hipótesis de que los investigadores desean que sus evaluaciones sean objetivas, ¿no deberíamos esperar que las evaluaciones negativas se caractericen por declaraciones impersonales tanto del revisor como del autor? La observación de los contextos en los que aparecen estos pronombres nos ayudará a afinar esta hipótesis.
De hecho podemos señalar que en las propuestas aceptadas (donde el “yo” está más presente y el “tú” el más ausente), el “yo” del revisor se utiliza de manera recurrente en actos lingüísticos del tipo “consejo enmascarado” (ejemplo 1) o crítica indirecta (ejemplo 2).
Ejemplo 1: En biblio j'aurais rajouté P. Charaudeau, Grammaire du sens et de l'expression et Riegel, Pellat et Rioul, Grammaire méthodique du français (A169)
[En la bibliografía, habría añadido P. Charaudeau, Grammaire du sens de l'expression y Riégel, Pellat & Rioul, Grammaire méthodique du français]
Ejemplo 2: Je me demande si le concept de Vion d'histoire interactionnelle est vraiment intéressant dans ce cadre (A155)
[Me pregunto si el concepto de historia interaccional de Vion es realmente interesante en este contexto]
En estos casos, los intercambios no parecen particularmente jerárquicos. El revisor se está dirigiendo a un par e indicando posibles mejoras a la propuesta en forma de sugerencias personales (del tipo “esto es lo que haría en tu lugar, compañero investigador”). Por el contrario, en el corpus de propuestas rechazadas (donde el “tú” es dominante y el “yo” desaparece) el tono ya no es el de un intercambio entre pares: la presencia de “tú” se encuentra con mayor frecuencia en correlación con una crítica explícita y apenas modalizada (ejemplo 3) o con el resaltado de deficiencias (ejemplo 4).
Ejemplo 3: le concept de “faute” que vous semblez utiliser sans distance mériterait d'être précisé (Rj173)
[valdría la pena aclarar el concepto de “error” que pareces estar usando sin distancia alguna]
Ejemplo 4: vous ne dites pas clairement quelles sont vos données, comment vous les avez recueillies et traitées (Rj123)
[no declaras claramente cuáles son tus datos ni cómo los recopilaste y procesaste.]
Así, si bien la mayoría de los revisores utilizan pocas formas personales, cuando el “tú” sí aparece, es principalmente en el contexto de evaluaciones negativas. En estos casos, la mayoría de las veces sirve para poner al autor en el asiento caliente al resaltar sus errores o debilidades, permitiendo así que el revisor —asumiendo una posición superior, dominante ,— autorjustifique su veredicto.
Sin embargo, en la mayoría de los casos, según nuestras observaciones, la evaluación cualitativa de los revisores se modifica lingüísticamente mostrando un deseo común de permitir al autor salvar la cara.
Permitir que el autor guarde la cara
La tendencia de los revisores a tratar de ser discretos y no ofender a los autores es evidente en su uso de negación y adjetivos evaluativos.
Uso de la Negación. La Figura 2 muestra que los marcadores que expresan negación (nepas en francés) están gradualmente más presentes cuando la evaluación es mixta (propuestas a revisar) o definitivas (propuestas rechazadas). En este último caso, los marcadores de negación están presentes en casi tres de cada cuatro evaluaciones del corpus, y sin embargo apenas superan un tercio en las evaluaciones positivas (propuestas aceptadas).
En muchos casos, la negación se refiere a adjetivos, adverbios o verbos positivos de evaluación. Los ejemplos 5 (propuesta rechazada) y 6 (propuesta a revisar) son representativos de esta tendencia.
Ejemplo 5: Il n'est pas vrai (cf. votre punto 3) que l'on ne peut pas distinguer deux verbes... (Rj63)
[No es cierto (cf. su punto 3) que no se puede distinguir entre dos verbos...]
Ejemplo 6: Votre proposición mériterait cependant d'être remaniée car en l'état la problématique n'est pas sufragio claire. (Rs193)
[No obstante, su propuesta se beneficiaría de ser reelaborada como en su estado actual, la cuestión clave de investigación no está suficientemente clara. ]
La observación cualitativa de las expresiones que incluyeron negaciones que enmarcan adjetivos muestra que estos son patrones característicos. Estos, por lo tanto, indican una retórica ritualizada: al igual que con los ejemplos 5 y 6, la crítica se expresa a través de la negación de un término positivo más que el primer plano de una debilidad. Los revisores prefieren calificar un aspecto diciéndolo “n'est pas développé” [no está desarrollado] o es “pas clair” [no está claro] en lugar de afirmar que es “flou” [vago] o “lacunaire” [faltante]
Es decir, en lugar de expresar cómo la propuesta es “mala”, los revisores indican cómo “no es buena”. Podríamos, pues, plantear la hipótesis de que se trata de una manera de suavizar la crítica dirigida al autor, sin dejar de brindar formas de mejorar la propuesta incluso en los casos en que haya sido rechazada.
Adjetivos evaluativos. Esta hipótesis se ve reforzada por otro resultado, que podría parecer algo sorprendente si no se tuviera en cuenta la presencia de marcadores de negación: el análisis de adjetivos evaluativos en el corpus muestra que los cinco adjetivos más citados en los tres subcuerpos son adjetivos positivos, interesantes, claros , original, bueno, relevante.
Como podemos ver, el número de estos adjetivos positivos está sujeto a relativamente poca variación dependiendo del subcorpus. Podríamos haber esperado una distribución diferente, con mayor uso de adjetivos positivos en las propuestas aceptadas que en las rechazadas. El hecho de que estos adjetivos a veces estén enmarcados por la negación 8 puede explicar esta tendencia en parte. Solo en parte, sin embargo, para esta tendencia hacia la modalización, y más generalmente hacia suavizar la crítica con miras a permitir al autor salvar la cara, también se puede observar a lo largo del corpus mediante el uso de otro proceso lingüístico característico de la escritura argumentativa: la dinámica de concesión /refutación. Esto consiste en otorgar el valor de algo en el punto de vista defendido por el autor (aprobación) y luego resaltar una debilidad (desaprobación) con un contraargumento.
Proceso de Concesión/Refutación
Este proceso se puede examinar a través del ejemplo del adjetivo más utilizado en el corpus, el adjetivo “interesante”. La Figura 3 muestra que este adjetivo se utiliza en proporciones relativamente similares en los tres subcuerpos: aproximadamente 38% para el corpus de “propuestas aceptadas” y 28% si combinamos los cuerpos “a revisar” y “propuesta rechazada”.
El interés de un estudio es, por lo tanto, la calidad más sujeta a evaluación en nuestro corpus. Además, una propuesta que sea “interesante” no es incompatible con su rechazo. El análisis cualitativo del contexto en el que aparece “interesante” muestra que siempre se usa positivamente: en contraste con todos los demás adjetivos evaluativos, no hay ocurrencias de “no interesante”, o “no muy interesante”, ni siquiera en las propuestas rechazadas o las sujetas a un tanto reticente juicio. Es como si fuera imposible indicarle oficialmente a un investigador que su estudio carece de interés, sin duda porque este tipo de juicio —que es altamente subjetivo— no cae dentro del ámbito del juicio académico. Podemos suponer, por el contrario, que en el ámbito de la investigación, cualquier tema puede considerarse de interés potencial, como afirma Bourdieu (1993, p. 911), “Todo es interesante, siempre que lo mires lo suficiente”. Entonces, si bien es claro que no se puede resaltar la ausencia de interés de un estudio, es, por el contrario, muy común subrayar su interés. En nuestro corpus de propuestas rechazadas o por revisar, si bien esta cualidad en sí misma parece estar fuera de los límites de la crítica, no obstante puede ofrecer un trampolín para estas últimas. A menudo precedido por “Certes” —un marcador de concesión arquetípico en francés (que mejor podría traducirse como “ciertamente” o “sin duda” dependiendo del contexto) y seguido a menudo de “pero” (ejemplo 7) —el interés de la investigación a veces se reduce a ciertos aspectos (ejemplo 8) o disminuye por especificaciones como “de prime abord” [a primera vista] (ejemplo 9).
Ejemplo 7: Ce texte présente un cierto nombre de principes pédagogiques, certes intéressants mais qui ne sont ni questionnés ni inscrits dans une recherche de terrain. [RJ-191]
[Este texto presenta una cierta cantidad de principios pedagógicos que sin duda son interesantes (certes intéressants) pero que no se cuestionan ni se sitúan dentro de ningún trabajo de campo.]
Ejemplo 8: Certains concepts présentés par l'auteur sont intéressants et aptes à apporter une contribution efficace à la recherche en didactique des langues (Rs182)
[Ciertos conceptos presentados por el autor son interesantes y podrían hacer una contribución eficiente a la investigación en la didáctica del lenguaje]
Ejemplo 9: Le thème de cette proposition de communication est de prime abord intéressant: en effet, on dispose de peu d'information sur l'intégration du parler de jeunes urbains (Rs126)
[El tema de esta propuesta parece a primera vista interesante: efectivamente, se dispone de relativamente poca información sobre la integración del discurso de los jóvenes urbanos.]
Esta dinámica de concesión y luego refutación, que es muy visible a través del uso recurrente de la pareja “interesante” - “pero” 9, es, por tanto, uno de los procesos sutiles puestos en juego en nuestro corpus por los revisores para expresar su crítica con tacto a los autores y llevar a un veredicto negativo. 10 Pero más allá de esta función argumentativa, el uso rutinario de este patrón lingüístico también parece jugar un papel pragmático simple de iniciación para el revisor —en la línea de un tic verbal de escritura argumentativa— que simplemente le ayuda a conducir a su discurso evaluativo, en particular cuando es crítico. En efecto, el contexto de ciertas expresiones muestra que este adjetivo puede ir seguido de un comentario muy duro contra el autor; ¿todavía es posible hablar de “permitir que el autor salve la cara” en los siguientes ejemplos, sobre una propuesta rechazada (ejemplo 10) y que se revise (ejemplo 11)?
Ejemplo 10: L'idée d'une telle étude en sémantique est intéressante mais le cadre théorique est inexistente et la problématique reste trop vague (RJ-114)
[La idea de tal estudio en semántica es interesante pero el marco teórico es inexistente y la cuestión de investigación sigue siendo demasiado vaga.]
Ejemplo 11: Recherche intéressante mais qui en l'état n'apporte rien de bien nouveau dans le champ. (Rs-283)
[La investigación es interesante pero en su estado actual no aporta nada nuevo al campo.]
En conclusión a esta parte inicial de este trabajo, podemos señalar que la retórica de la evaluación varía dependiendo del veredicto dirigido al autor. A nuestro juicio, el punto más destacado, que ahora vamos a desarrollar más, se refiere a la diferencia entre el tono adoptado por el revisor cuando acepta o rechaza una propuesta. En el corpus de “propuestas aceptadas”, los revisores tienden a subrayar los puntos positivos de la propuesta y a sugerir mejoras al autor sobre la modalidad de intercambio entre pares. En el corpus de “propuesta rechazada”, sin embargo, los intercambios son lingüísticamente más jerárquicos, y si bien hay una tendencia a intentar que el autor salve la cara —en particular mediante el uso de la concesiona/refutación y a través de la negación—, el discurso evaluativo a menudo parece estar limitado en su pedagogía alcance. La siguiente parte de este estudio, centrada en identificar los criterios de éxito en las propuestas, ofrecerá algunos detalles que respalden esta observación.
Normas en vigor: Los criterios para una propuesta exitosa de ponencia de conferencia
Para abordar esta cuestión de los criterios para las propuestas exitosas, primero se calculó el grado de concordancia entre los dos revisores encargados de evaluar la propuesta: En el Cuadro 1 se resumen los resultados obtenidos mediante la comparación cruzada del veredicto de los dos revisores.
El grado de acuerdo (la suma de las cifras en negrita) apenas supera la mitad de todos los casos (52.6% en total) y se refiere principalmente a las propuestas aceptadas. Al mismo tiempo, un número no insignificante de propuestas (13.5%, o 19 propuestas, y 38 evaluaciones) fueron aceptadas por un revisor y rechazadas por el otro. Por lo tanto, el grado de homogeneidad entre las evaluaciones es relativamente débil y la naturaleza subjetiva de la evaluación es claramente evidente. Para respaldar esta observación, se realizó un análisis más detallado de estos casos donde las evaluaciones diferían mucho (propuesta aceptada VS rechazada) cuestionando el tipo de criterios cualitativos convocados por cada revisor. Aparecen dos posibles explicaciones, relativas, por un lado, al bajo nivel de convergencia entre los criterios retenidos y, por otro lado, a la diferente ponderación que se le da a los criterios comunes.
Bajo nivel de convergencia entre criterios retenidos. El análisis del corpus de 38 evaluaciones altamente divergentes consistió en identificar los criterios cualitativos resaltados por cada uno de los 19 pares de revisores para determinar qué difería entre las dos evaluaciones (podríamos imaginar, por ejemplo, que se podría considerar la propuesta como original y el otro no). No obstante, son muy pocos los casos en los que este análisis sea posible. La mayoría de las veces, los dos revisores no basan su veredicto en criterios comunes. Es decir, cada revisor pone en primer plano distintos criterios para justificar su veredicto. Los siguientes dos ejemplos relativos a una misma propuesta ofrecen una ilustración de esto:
Ejemplo 12: une problématique claire et bien circonscrita (prop. aceptado)
[una pregunta de investigación clara y bien definida]
Ejemplo 13: l'exposé ne dit rien de l'arrière plan théorique de ce travail (prop. rechazado)
[la presentación no dice nada de los antecedentes teóricos de este trabajo]
En la primera evaluación, no se hace referencia a los antecedentes teóricos identificados como carentes por el segundo revisor. De igual manera, este segundo revisor no menciona la pregunta de investigación, la cual fue subrayada como “clara y bien definida” por el primer revisor. Este tipo de enfoque en diferentes criterios en cada evaluación sin duda puede explicarse de muchas maneras. En este caso, como la pregunta de investigación es esencialmente producto de un profundo conocimiento de los antecedentes teóricos, podría imaginarse que el revisor 1 (quien dio una evaluación muy positiva de la propuesta) esté familiarizado con este trasfondo, cuya naturaleza implícita podría, por el contrario, plantear un problema para el revisor 2, que quizás no sea especialista en el dominio del autor. Sin embargo, cualesquiera que sean las razones de la discrepancia, uno podría preguntarse cómo es probable que el joven investigador interprete estas diferentes visiones de su obra y cómo le serán de utilidad para progresar. Quizás sea necesario cuestionar la práctica sacrosanta de la revisión “ciega”, que está tan extendida (al menos en el contexto de las humanidades en Francia). ¿No podríamos imaginar que cada revisor, después de haber escrito una versión inicial de su evaluación, debería entonces ser informado de la evaluación escrita por su homólogo? Entonces tendría la opción de repensar su propio filtro de selección y alterar su evaluación (o incluso su veredicto) si fuera necesario antes de que sea enviado al autor. Esta etapa adicional en el proceso bien podría beneficiar tanto la homogeneidad de las dos evaluaciones como la conciencia consciente de las prácticas.
Cabe señalar, sin embargo, que uno de los criterios es evaluado en términos opuestos por ambos revisores: la claridad. Así, en los ejemplos 14 y 15, la claridad de la propuesta es considerada como una de sus fortalezas por el primer revisor cuyo veredicto es positivo (“exposé clair quoiqu'un peu abstrait” [el esquema es claro, si algo abstracto]) mientras que es cuestionado por el segundo (“propos confus” [argumento poco claro.]
Ejemplo 14: L'outil que vous décrivez répond à un besoin réel... L'exposé de l'architecture globale de la plateforme est clair quoiqu'un peu abstrait (prop. aceptado).
[La herramienta que describas corresponde a una necesidad real.... El esquema de la arquitectura general de la plataforma es claro, aunque algo abstracto.]
Ejemplo 15: Cette proposition est difficile à lire. Elle comporte trop de faiblesses aussi bien du point de vue du fond que du point de vue de la forme. Le propos est confus dans son organisation générale.... (prop. rechazado)
[Esta propuesta es difícil de leer. Tiene demasiadas debilidades tanto en términos de contenido como de forma. El argumento no está claro en su organización general.]
Otros tres pares de evaluaciones revelan puntos de vista contradictorios sobre este criterio. Y sin embargo, la claridad es un requisito omnipresente en el discurso pedagógico francés ya sea en palabras de maestros o en las de escribir manuales, donde la instrucción “¡sea clara!” abunda. ¿Estamos seguros de que realmente sabemos lo que significa la “claridad” de un texto? ¿Esta noción corresponde a la misma realidad para todos, ya sea revisor o autor? Nuestras observaciones nos llevan a dudar de que así sea. El análisis de nuestro corpus destaca la naturaleza relativa del discernimiento en el trabajo cuando evaluamos la producción científica de nuestros pares. Así, argumentaríamos a favor de evaluaciones múltiples o cruzadas del trabajo, producidas de tal manera que cuestionaran y redujeran así el sesgo introducido por nuestros filtros individuales de juicio.
Diferente Ponderación Dada a los Mismos Criterios. El análisis cualitativo del corpus de diferentes evaluaciones resaltó un criterio para el cual hubo consenso entre los revisores que lo mencionan. No obstante, no parece llevar el mismo peso para cada uno de ellos. El criterio en cuestión es el de los aspectos metodológicos. En nuestro corpus, la metodología siempre se plantea en términos de carecer, ya sea que la propuesta sea aceptada o rechazada, como en los ejemplos 16 y 17.
Ejemplo 16: il reste à apporter des précisions de nature méthodologique (qu'est ce qui caractérise les deux version du récit, comment les gestes sont-ils caractérisés, y a-t-il un traitement quantitatif des données) (prop. aceptado)
[quedan por dar detalles metodológicos (lo que caracteriza a las dos versiones de la narrativa; cómo se caracterizan los gestos, hay procesamiento cuantitativo de los datos)]
Ejemplo 17: des précisions seraient nécessaires concernant la méthodologie. Quels sont les facteurs situationnels considérés? Les analysis ont-elles porté sur deux récits différents ou sur un même conte dans deux situaciones différentes? Comentar le récit a-t-il été analysé? Comentar les facteurs situationnels et internes ontils été intégrés dans l'analyse de la gestualité? S'agit-il d'analysis qualitatives ou quantitatives? ... (prop. rechazado)
[serían necesarios más detalles sobre la metodología. ¿Cuáles son los factores situacionales considerados? ¿Los análisis se centraron en dos narrativas diferentes o en el mismo cuento en dos situaciones diferentes? ¿Cómo se analizó la narrativa? ... ¿Estos análisis son cuantitativos o cualitativos? ...]
Por lo tanto, la importancia que se le da a un criterio es diferente dependiendo del revisor, cuya posición (en términos de veredicto) influye claramente en la forma en que se formulan las preguntas. Las primeras preguntas (ejemplo 16) están destinadas a permitir que el joven investigador avance y son claramente pedagógicas: hay una impresión de que el revisor cree en el potencial de mejora de la propuesta. Las segundas preguntas, por otro lado (ejemplo 17), caen más dentro del ámbito de la autojustificación que de la pedagogía, y se podría suponer que su longitud y número producirían un efecto bastante desalentador para su lector. En suma, este tipo de evaluación parece estar dirigida más hacia el comité organizador que hacia el autor.
Estos breves análisis plantean la cuestión del alcance didáctico del comentario evaluativo, que a veces puede parecer limitado para un joven investigador que aún no está familiarizado con el funcionamiento de la escritura científica y apenas descubre las expectativas institucionales del dominio. Cabe señalar que, dada la especificidad del grupo de autores en cuestión, el comité organizador había solicitado explícitamente que los revisores aportaran comentarios constructivos para ayudar a los jóvenes investigadores a mejorar su práctica. Cuando se aceptó la propuesta, en particular, hubo una tendencia a respetar esta instrucción: como hemos visto aquí, el revisor expresó elogios e hizo sugerencias al autor para mejoras. Por el contrario, cuando se rechazó la propuesta, esta solicitud no siempre se promulgó: es decir, es cuando las propuestas muestran más debilidades y cuando los jóvenes investigadores se beneficiarían más de comentarios constructivos que tienen menos probabilidades de recibirlos. Es cierto que las propuestas a veces están muy lejos de cumplir con las expectativas, lo que podría servir para desalentar al revisor en su intención de comentar amablemente y llevarlo a simplemente justificar su decisión de rechazar la propuesta con un comentario expresando un juicio definitivo e irrevocable. Esto plantea la cuestión de la supervisión del doctorando. En efecto, nos parece importante brindar apoyo a los doctorandos no sólo en la redacción de su tesis doctoral sino igualmente en la necesaria difusión de su trabajo; es decir, mediante la presentación de artículos y ponencias de conferencias. De manera más general, necesitamos hacer el esfuerzo (lo que llevaría tiempo pero sin duda sería muy beneficioso para la formación de jóvenes investigadores) para producir comentarios precisos y constructivos cuando nos encontramos en la posición de evaluar las propuestas de jóvenes investigadores para ponencias o artículos de conferencia
Conclusión y perspectivas adicionales
Como se mencionó en la introducción, los estudios centrados en la evaluación de propuestas de ponencias de conferencia apenas están comenzando. Por lo tanto, este capítulo puede considerarse como una incursión inicial en el campo, con miras a abrir vías para futuros análisis. La primera conclusión a extraer de este estudio es metodológica: un corpus más amplio permitiría realizar observaciones más interesantes. El corpus en cuestión aquí es demasiado limitado para permitir que algunas de nuestras hipótesis sean validadas o para proporcionar evidencia suficiente para ciertas comparaciones, que sin embargo parecen prometedoras. En particular, nuestro análisis de adjetivos evaluativos justifica un mayor desarrollo. El adjetivo “clair” (claro) parece ser usado mucho más con negación que con “original” o “interesante”; sería útil realizar un análisis similar para los otros tres adjetivos más prevalentes en nuestro corpus, es decir, “pertinente” (relevante), “importante” (importante) y “bon” (bueno).
De igual manera, en cuanto a las rutinas lingüísticas utilizadas por los investigadores, sería interesante examinar más a fondo las diferencias según el veredicto dado sobre la propuesta. El número de casos aquí es demasiado limitado para permitir que se observen tendencias confiables.
Hemos visto que el uso de los pronombres personales “yo” y “tú” dependía en gran medida del punto de vista del revisor sobre la propuesta en cuestión. Un elevado número de “ustedes” dirigidos al autor parecieron correlacionarse con una evaluación negativa de la propuesta, permitiendo al revisor justificar su rechazo resaltando las debilidades y deficiencias del autor. Por el contrario, un alto número de “I” s parece correlacionarse con evaluaciones positivas: parece que el revisor quiere ofrecer consejos al autor desde un punto de vista personal. Sin embargo, dado que los pronombres personales estaban ausentes en la mayoría de los textos de nuestro corpus, esta hipótesis tendría que ser refinada y probada sobre un corpus más amplio. Esto permitiría un mayor análisis de las diferencias entre los subcuerpos “a revisar” y “rechazados”, desde el punto de vista de indicadores de intención didáctica. Se podría pensar que la mayor cantidad de consejos y críticas constructivas se encontraría en el subcorpus sobre propuestas “a revisar” con miras a que el autor pueda continuar para lograr una evaluación positiva. Esta hipótesis podría probarse contando el número de verbos condicionales que conducen a una sugerencia presente en ambos cuerpos (por ejemplo, “il faudrait développer...”/“... debería desarrollarse;” “il vaudrait mieux préciser...”/“sería mejor especificar...”; “il serait judicieux de...”/“sería prudente...”). Otra posibilidad sería analizar con más detalle los tipos de preguntas que hacen los revisores. En efecto, algunos son de hecho de carácter consultivo (del tipo “pourquoi ne pas...”/“por qué no...”) mientras que otros son de hecho simplemente críticos (del tipo “où sont les données?” “¿dónde están los datos?”). En cualquier caso, el análisis estadístico por sí solo obviamente no sería suficiente y habría que complementarlo con un análisis cualitativo.
Argumentaríamos a favor de la puesta en común de recursos de una gran variedad de cuerpos de evaluación. Esto allanaría el camino para más estudios, más ambiciosos, que busquen comparaciones entre disciplinas o lenguajes de la misma manera que los estudios existentes sobre otros tipos de escritura científica. Los estudios también podrían considerar diferencias en función del estatus del autor del texto evaluado (investigador joven o experimentado) y del contexto institucional de la evaluación (evaluación de una ponencia de conferencia, un artículo o una propuesta de financiamiento).
La comparación entre lenguas nos parece una vía particularmente prometedora. Se ha demostrado que la cultura lingüística nativa del investigador tiene una influencia limitada en el caso de los artículos de investigación (cf. Fløttum et al., 2006), pero ¿es este también el caso de las evaluaciones? Más específicamente, sería interesante determinar en qué medida los fenómenos en cuestión son específicamente franceses. ¿Se pueden hacer observaciones similares sobre el inglés, por ejemplo? Para llevar esto aún más lejos, vale la pena considerar las posibles variaciones vinculadas al uso no nativo del inglés dado que este es ahora el idioma dominante para la difusión de la investigación científica. ¿Los hablantes no nativos del inglés aportan sus propias especificidades culturales sobre el uso de su idioma, o el idioma mismo da forma al uso en este campo?
En resumen, aunque este estudio sigue siendo meramente exploratorio, en nuestra opinión abre una gran cantidad de posibles vías para su posterior análisis. Las herramientas metodológicas que ofrece la plataforma Scientext (que es de libre acceso para todos), adaptadas para los fines de este estudio al tipo de corpus en cuestión, pueden permitir el análisis lingüístico de cuerpos sustanciales. 11 Estos futuros estudios, de los cuales esperamos que sean muchos, nos permitirán comprender mejor nuestro propio habitus en términos de evaluación. También pueden permitirnos tomar más conciencia de las rutinas lingüísticas específicas de nuestras comunidades científicas y tomar una visión más crítica de los criterios (más o menos explícitos) que aportamos sobre nuestras evaluaciones de nuestros pares.
Notas
- Por el término “escritura científica”, nos referimos a las piezas de escritura producidas por investigadores (doctorandos o investigadores profesionales) que tienen como objetivo la construcción y difusión del conocimiento científico. En el contexto francófono, contrario al anglófono, la etiqueta “escritura científica” no sólo abarca las ciencias físicas y naturales, sino igualmente las ciencias sociales y las humanidades.
- Para dos resúmenes del estado del arte en este campo, ver Hyland & Bondi (2006) en inglés, y Rinck (2010) en francés.
- Esta contribución forma parte de un proyecto de investigación titulado Écrits Universitaires: Inventaires, Pratiques, Modèles (2007-2010), y financiado por la Agence Nationale de la Recherche en Francia.
- Estos estudios (cf. por ejemplo Hyland, 2002; Harwood, 2005; Grossmann & Rink, 2004; Boch & Rink, 2010) han demostrado que lejos de ser neutral y objetiva, la escritura científica incluye una forma de subjetividad y un objetivo persuasivo, y que esta dimensión varía según el contexto: al estudiar artículos de investigación en medicina, lingüística y economía en tres idiomas (inglés, francés y noruego), Fløttum (2007) demostraron que el parámetro disciplinario era de hecho más decisivo que la cultura nacional (la lengua) del investigador.
- Este desglose se refiere al veredicto dado por los revisores y no a la decisión final, la cual se redujo al comité organizador cuando hubo desacuerdo entre los revisores.
- Esta plataforma fue creada como parte de Scientext, otro proyecto del laboratoire LIDILEM (dirección: scientext.msh-alpes.fr, dirigido por F. Grossmann y A. Tutin), que incluye tres grandes corpus que se pueden consultar en línea:
- Un corpus pluridisciplinario de escritura científica en francés que representa una variedad de géneros y que contiene poco menos de cinco millones de palabras.
- Un corpus de inglés de los alumnos que incluye largos trabajos de estudiantes que estudian inglés como lengua extranjera (1.1 millones de palabras).
- Un corpus inglés de escritura científica, tomado del corpus BMC, principalmente en los campos de la biología y la medicina, que se acerca a 13 millones de palabras y es objeto de estudio lexicológico (Williams & Million, en prensa).
- Todos nuestros cálculos toman en cuenta el número de textos en los que aparece el término estudiado y no el número de ocurrencias del término. Esto nos permite neutralizar cualquier sesgo causado por el estilo personal del revisor, que podría usar “usted” o “yo” excesivamente y así sesgar los promedios.
- Debido a la falta de ocurrencias de adjetivos precedidos de negaciones (ninguno para “interesante” y 11 para “claro”) no fue posible realizar un análisis comparativo de los tres subcuerpos.
- Este análisis también se aplica al adjetivo “original”, más presente en los cuerpos “a revisar” y “rechazar” que en el corpus “propuesta aceptada” (véase Figura 3). Si bien se pueden encontrar enunciados del tipo “le sujet est peu original” [el tema no es muy original], este adjetivo se suele utilizar de manera positiva en forma de concesión seguida de un “pero” introduciendo un elemento que requiere más trabajo (“thématique originale mais aspects théoriques insufisamment développés” [el tema es original pero los aspectos teóricos están insuficientemente desarrollados]). Para un análisis detallado de los adjetivos evaluativos en el discurso científico, véase Tutin (2010).
- Sobre este tema, cabe señalar que en el corpus de “propuestas aceptadas”, “interesante” nunca va seguido de “pero” o cualquier otro marcador de refutación. Parecería que el adjetivo adquiere nuevamente su pleno significado, alejándose del recurrente papel argumentativo que juega en el caso de las propuestas rechazadas/por revisar.
- Dado que hoy en día las propuestas de ponencias de conferencia se evalúan con mayor frecuencia utilizando herramientas electrónicas en línea, la recolección de evaluaciones parece mucho más factible que antes. La mayor dificultad radica en obtener permiso de los revisores para utilizar estas evaluaciones.
Referencias
Boch, F., & Rinck, F. (Eds.). (2010). Enonciation et rhétorique dans l'écrit scientifique. Lidil, 41. Recuperado a partir de http://lidil.revues.org/index3001.html
Bourdieu, P. (1993). La misère du monde. París: Seuil.
Fløttum, K. (2007). Perspectivas del lenguaje y la disciplina en el discurso académico. Cambridge, Reino Unido: Cambridge Scholars.
Fløttum, K., Dahl, T., & Kinn, T. (Eds.). (2006). Voces académicas. A través de idiomas y disciplinas. Ámsterdam/Filadelfia: John Benjamins.
Grossmann, F., & Rinck, F. (2004). La surénonciation comme norme du genre: L'exemple de l'article de recherche et du dictionnaire en linguistique. Langages. 156, 34-50.
Harwood, N. (2005). No parece que tengamos una teoría.... La teoría que presento aquí intenta llenar este vacío: Pronombres inclusivos y exclusivos en la escritura académica. Lingüística Aplicada, 26 (3), 343-375.
Hyland, K. (2002). Autoridad e invisibilidad: Identidad autoral en la escritura académica, Revista de Pragmática. 34, 1091-1112.
Hyland, K., & Bondi, M. (Eds.). (2006). Discurso académico a través de disciplinas. Perspectivas lingüísticas, 42. Berna: Peter Lang.
Maingueneau, D. (1992). Le tour etnolinguistique de l'analyse du discours. Langages, 26 (105), 114-125.
Rinck, F. (2010). L'analyse linguistique des enjeux de connaissance dans le discours scientifique: Un état des lieux. Revue d'anthropologie des connaissances, 3 (4), 427-450. Recuperado a partir de www.cairn.info/revue-anthropo... 3-page-427.htm
Tutin, A. (2010). Adjetivos evaluativos en la escritura académica en humanidades y ciencias sociales. En R. Lores-Sanz, P. Mur-Dueñas, & E. Lafuente-Millan (Eds.), Construyendo interpersonalidad: múltiples perspectivas sobre géneros académicos escritos (pp. 219-240). Cambridge, Reino Unido: Cambridge Scholars.
Williams, G., & Million, C. (2009). Lo general y lo específico: Resonancia collocacional del lenguaje científico. En M. Mahlberg, V. Conzalez-Díaz, & C. Smith (Eds.), Proceedings Corpus Linguistics 2009. Liverpool: Universidad de Liverpool. Recuperado de http://ucrel.lancs.ac.uk/publication... _FullPaper.doc.