Let's keep referees

Continuons avec des arbitres

Introduction

To get time on first-class international overseas telescopes, astronomers write a proposal listing the Principal Investigator (PI) and co-workers, and including the science to be done, the rationale, etc.

If you submit a telescope proposal for JCMT, CFHT, Gemini N or Gemini S, your proposal will be extracted from the appropriate black box and routed to one of two Canadian Panels (but not to both Panels). Within TAC, there are only two small Panels (the galactic Panel of and the extragalactic Panel), and each Panel has only half a dozen members.

All telescope time proposals get ranked (via a grade thus 1=low and 6=excellent) by the appropriate Panel within TAC.

The huge diversity of research fields can not be covered by the few members of each Panel.

Introduction

Pour obtenir du temps sur un grand télescope international outremer, un astronome canadien doit écrire une demande de temps, énumérant le chercheur principal (PI) et les co-équipiers, les arguments scientifiques, etc.

Lorsque vous soumettez une demande de temps pour un télescope (TCFH, TJCM, Gemini N ou Gemini S), votre demande est extraite de la boite noire appropriée et dirigée vers un des deux Panels canadiens (et non pas aux deux Panels). TAC est constitué de deux petits Panels (le Panel galactique et le Panel extragalactique), et chaque Panel est composé d'environ une demi-douzaine de membres.

Toutes ces demandes de temps seront placées en rang (via un grade genre 1=faible et 6=excellent) par le Panel approprié du TAC.

La grande diversité de champs de recherches ne peut pas être couverte par les quelques membres de chaque Panel.

TAC Process

In today's limited funding environment, TAC must insure that grades are as reliable as they can be, and that TAC has the maximal amount of useful information on which to base its grades.

As read elsewhere [see Appendix], "the benefits of an open, competitive & scientific quality-based review process reach far beyond the observers immediately benefitting from approved proposals, since it produces the best possible scientific results, on which outside researchers build."

Every other year, there is some interesting discussions at the meeting (with pros and cons) for the role of external referees in proposal evaluations.

Processus TAC

Dans le monde d'aujourd'hui avec un financement limité le TAC doit s'assurer que les grades sont objectifs et que TAC utilise le maximum d'information utile sur laquelle se baser pour ses grades.

Comme on peut le lire ailleurs [voir Annexe], "les bénéfices d'un processus d'évaluation ouvert, compétitif et basé sur la qualité scientifique s'étendent au-delà des observateurs qui bénéficient d'une approbation de leurs demandes, parce que le processus produit les meilleurs résultats scientifiques que les autres chercheurs d'ailleurs peuvent utiliser."

A presque tous les 2 ans, il y a des discussions intéressantes au CAT (avec les pros et cons) sur la participation d'arbitres externes dans le processus d'évaluation des demandes.

A closed TAC (no expert external referees)

Some often heard remarks are as follows:

1) TAC should make it "easy" on its members and collaborators:
- It takes some work for a TAC member to align potential referees, and some work for a TAC member to read the referee reports after receiving them.
- Why go outside when we can process this more quickly among us?
- It takes some work for referees to write their reports; thus it takes some toll on the canadian community to serve as referees.

2) TAC should make it "tough" on referees:
- Proposal ideas are sometimes great and could be stolen by expert referees; most proposal ideas are often incremental, resulting in a waste of a refere's time.
- Some rare referees could be biased and their reports should be deleted; some few referees have weaknesses, and this may not be spotted by TAC members.
- If there is only 1 referee report for a proposal, delete it (patently unfair when most proposals have 2 referee reports).

3) TAC should not check outside:
- TAC has enough knowledge already among its members.
- A few TAC members are rapid learners; they can evaluate the whole of astronomical researches.
- The referees provide un-normalised reports, creating an arbitrariness.
- Accuracy comes with comparing a proposal to all others, all being relative.

All remarks above point to some subjective issues for some people. Our suggested responses concern the proper choice of TAC members and an appropriate selection of referees.

Un TAC fermé (pas d'arbitres externes experts)

Voici quelques remarques souvent entendues:

1) TAC doit rendre la tâche "facile" à ses membres & collaborateurs:
- Cela demande du temps à un membre du TAC pour aligner des arbitres potentiels, et aussi du temps à un membre du TAC de lire les rapports reçus des arbitres.
- Cela ira plus vite si nous ne cherchons pas ailleurs que dans le comité.
- Cela prend du temps aux arbitres pour écrire des rapports; ainsi cela demande du service de la communauté pour servir comme arbitre.

2) TAC doit rendre la vie "difficile" aux arbitres:
- Quelques idées dans les demandes sont souvent bonnes et peuvent être volées par des arbitres; la plupart des idées dans les demandes sont souvent incrémentales et résultent en une perte de temps pour les arbitres.
- De rares arbitres sont biaisés et il faut jeter leurs rapports; quelques arbitres ont des points faibles, mais le TAC ne verra pas toujours cela.
- Si une demande ne reçoit qu'un seul rapport d'arbitre, alors le jeter (c'est l'évidence même lorsque des demandes reçoivent 2 rapports d'arbitre).

3) TAC ne doit pas aller vérifier ailleurs:
- Le TAC a un minimum de connaissances dans tout.
- Quelques membres du TAC sont rapides pour apprendre; ils peuvent évaluer tous les champs de recherches.
- Les rapports d'arbitres ne sont pas normalisés, ce qui met un arbitraire.
- La précision des grades arrive en comparant les demandes entre elles, puisque tout est relatif.

Toutes ces remarques penchent vers la subjectivité de certains individus. Nos suggestions de réponses concernent le bon choix des membres du TAC, et une bonne sélection des arbitres.

An open TAC (with the use of expert external referees)

Basic reasons to keep external referees are:

1) Protect young people, and those without a strong network:
- Good ideas in a proposal are harder to set aside by some querulous TAC members, especially when referees applaud them in their reports.
- Bad ideas in a proposal by a TAC member's chum cannot be papered over by an apologetic TAC member, especially when referees point out un-scientific aspects in their reports.
- Avoid the friendly mind-set of an "old boy's club", with most of the time awarded to friends of the boys in the club, and avoid the appearance thereof.

2) Protect the integrity & ethics of the TAC process:
- Set up a buffer around an imposing TAC member; other members can employ the referee reports as a shield.
- Specialist referees will find real errors. These cannot be denied by any TAC member. Their reports act as an objective fact.
- As in other areas, science works best with the peer review process. There are plenty of studies to confirm this in the literature.

3) Protect the openness of the TAC process:
- To ensure a good return for Canada's money, TAC must get as much relevant info per proposal as possible.
- Small Panels cannot pool within themselves all the expertise needed to evaluate dozens of different research areas.
- There already is a short list of don'ts for TAC members and referees, to take care of the very few excesses encountered in any human endeavours.
- It is easier to eradicate insider "horse-trading" on non-scientific grounds (see Appendix) when other TAC members can point to objective reports by outside referees.

Un TAC ouvert (avec l'aide d'arbitres experts externes)

Des raisons majeures pour utiliser des arbitres externes:

1) Protéger les jeunes chercheurs, et ceux qui ne sont pas dans un réseau:
- Les bonnes idées dans une demande de temps peuvent difficilement être mises de côté par un membre plaintif du TAC, surtout lorsque les arbitres applaudissent ces idées dans leurs rapports.
- Les mauvaises idées dans une demande de temps par un ami d'un membre du TAC ne peuvent être amenuisées par ce membre du TAC, surtout si les arbitres ont noté les aspects non-scientifiques.
- Eloigner l'attitude cloîtrée mais amicale d'un "club de vieux amis", où la plupart du temps d'observation irait aux amis des amis, et éloigner l'apparence de cela.

2) Protéger l'intégrité et l'éthique du processus TAC:
- Etablir un tampon autour d'un membre imposant du TAC; les autres membres du TAC peuvent employer les rapports des arbitres comme "bouclier".
- Les arbitres spécialistes vont trouver les vrais erreurs, s'il y en a. Alors aucun membre du TAC ne peut plus les nier. Ce sont des faits objectifs.
- Comme dans d'autres champs, la science fonctionne bien mieux avec l'évaluation par les pairs. On peut lire plein d'études qui confirment cela.

3) Protéger l'ouverture du processus TAC:
- Pour s'assurer un bon retour des investissements canadiens, le TAC doit composer avec le plus d'info pertinente possible pour chaque demande de temps.
- Les petits Panels ne peuvent pas avoir, en eux-mêmes, toute l'expertise nécessaire pour évaluer des douzaines de champs de recherches divers,
- Pour éliminer les rares excès déjà rencontrés dans toute activité humaine, on a déjà établi une courte liste de quoi pas faire pour les membres du TAC et pour les arbitres.
- C'est plus facile d'éliminer des négotiation "à l'arraché" à l'intérieur du TAC (voir Annexe) lorsque d'autres membres du TAC peuvent pointer des rapports objectifs par des arbitres externes.

Concluding discussion

A quality-based TAC process must reach beyond the observers to produce the best possible scientific results on which outside researchers build.

TAC must get the maximal amount of useful information on which to base its grades. To that end, objective referee reports are needed, given the smallness of TAC's pooled expertise.

The referee reports are read by the appropriate Panel, and assessed as to their usefulness and impartiality; TAC does not accept them blindly.

To smooth excesses, TAC is mindful of past behaviour of TAC members and referees, and TAC offers to PIs to blacklist referees that the applicants thinks is out to get them. About 3% of PIs takes this offer upon some justification.

The TAC follows the 3 major recommandations of the Boden report:
-there is no practical alternative to external peer review;
-the TAC sends to each PI its own feedback letter;
-the TAC sends to each PI its external referee reports.

Suggested reading: the Boden Report (analysed in Nature, 1991, vol.349, p.272; also in New Scientist, 1991 Jan.26, p.18).

Discussion et conclusion

Un processus d'évaluation basé sur la qualité scientifique doit s'étendre au-delà des observateurs et doit produire les meilleurs résultats scientifiques que les autres chercheurs d'ailleurs peuvent utiliser.

TAC doit obtenir le maximum d'info utile pour baser ses grades. À cet effet, des rapports d'arbitres externes sont nécesaires pour combler la petitesse de l'expertise combinée des membres du TAC.

Les rapports des arbitres sont lus par le Panel approprié, et évalué quant à leur importance et impartialité; TAC n'accepte pas "en aveugle" ces rapports externes.

Pour diminuer les excès, TAC se rappelle des actions passées des membres du TAC et des arbitres, et TAC offre aux PIs de mettre de côté des arbitres que quelqu'un pense est méchant. Environ 3% des PIs utilisent cette offre, avec quelque justification.

Le TAC met en pratique les 3 recommendations majeures du Rapport Boden:
-il n'y a pas d'alternative pratique à l'évaluation par des pairs externes;
-le TAC envoie à chaque PI sa propre lettre de rétro-action;
-le TAC envoie à chaque PI les rapports des arbitres externes.

Lecture suggérée: le Rapport Boden (analysé dans Nature, 1991, vol.349,p.272; aussi dans New Scientist, 1991 Jan.26, p.18).

 

=== APPENDIX - SHORT EDITED EXTRACTS / ANNEXE - PETITS EXTRAITS EDITES ===

From: Redman, Russell
Subject: CTAC [evaluations]
[...] problems with referees pirating observing proposals and running them on 
other telescopes. I have never heard of this happening to a JCMT proposal, 
if only because the capabilities of the JCMT are nearly unique so there are 
very few places that a pirate could try to run a stolen JCMT proposal.  

Within CTAG, we have found external referees to be extremely valuable.  
It is impossible to have expertise on every subject within the committee, and 
merging the committees will mostly add depth on the topics we could already 
handle rather than covering specialized topics that very few people do. 
For example, nobody on CTAG is an expert on interstellar chemistry as an 
indicator of molecular cloud ages, and merging with CTAC will not help.

There is also a philosophical issue here, in that committees that rely on 
internal refereeing will have greater temptations to become an "old-boys club" 
that favours their own fields to the exclusion of other subjects, 
to engage in horse-trading to promote particular projects on non-scientific 
grounds, or to be dominated by one or two forceful members.  
These have all been problems raised by people with experience on other time 
allocation committees.  Even when these problems do not occur, 
the perception that they could - would - should be avoided.  
[External] referee reports from the wider community can be useful tool to 
discourage these practices.  [...]


From: [...]
Subject: CTAC evaluations
[...] The benefits of an open, competitive and scientific quality-based review 
process reach far beyond the observers immediately benefitting from proposals, 
since it produces the best possible scientific results, on which outside 
researchers build. [...] 

You always have the relevant expertise in the room -- being  
careful to have assembled the relevant expertise in advance.  And, by  
introducing an [outside] evaluation which is un-normalized relative to  
the entire group of proposals you read, this introduces arbitrariness  
to the evaluation process. [...] 

Moreover, every evaluation contains strengths and weaknesses -- and they can 
easily be misread by CTAC members in the room by over-focussing on a minor 
strength (or weakness), or by not noting the extremely great weight a strength 
(or weakness) holds in the mind of the (absent) reviewer. [...]

Dr. Jacques P. Vallée
NRC HIA Technical Secretary for Telescope Time Allocations  

Dr. Vallée is at HIA in Victoria, where his research concentrates on astrophysics & astromagnetism, cosmophysics & cosmomagnetism.

Dr. Jacques P. Vallée
Secrétaire Technique de l'IHA du CNRC pour l'Allocation de Temps aux télescopes

Dr. Vallée est à l'IHA à Victoria. Ses recherches touchent la physique et le magnétisme des astres et du cosmos.

Dr. Rachid Ouyed
Associate Professor, University of Calgary

Dr. Ouyed's research is in Computational and High-Energy astrophysics, primarily working on Magneto-Hydrodynamic Jets and the physics of Compact stars! Issues related to jet launching mechanisms, collimation and stability are among the current research investigations carried out by Ouyed and his group. Ouyed is currently working on model of GRB inner engines involving explosive transition from neutron star to quark stars and the subsequent launch of an ultra-relativistic jet.

Dr. Rachid Ouyed
Professeur Associé, Université de Calgary

Dr. Ouyed conduit des recherches en astrophysique numérique et aux Hautes Energies, incluant les Jets MHD et la physique des étoiles compactes! Les enquêtes présentes du Dr. Ouyed et de son groupe concernent les mécanismes de lancement d'un jet, leur collimation et leur stabilité. Ouyed travaille aussi sur la modélisation des engins des sursauts aux rayons gamma incluant une transition explosive d'une étoile à neutrons vers une étoile à quarks et le lancement d'un jet ultrarelativiste par après.