Direitos e deveres de Amaya...

Há alguns factos que, sendo conhecidos, não me deixam de surpreender. Um é o facto de mentiras repetidas pelo menos três vezes ganharem o estatuto de verdade. Outro, é o facto da maior parte das pessoas só serem capazes de admitir aquilo que coincide com as suas crenças de partida. 

Vem isto a propósito da polémica gerada em torno de um artigo de opinião na revista Nature publicado por Amaya Moro-Martín. O artigo diz uma série de verdades com as quais poucas pessoas  discordarão. Por exemplo, que o investimento na ciência está a diminuir na Europa e que isso é um problema com repercussões sobre as gerações futuras. 

Não obstante, para dar músculo à narrativa a Amaya escorrega num argumento de fraca substância: que metade dos centros de investigação em Portugal poderia fechar em virtude de uma avaliação defeituosa por parte da ESF (European Science Foundation).  

Teve azar. Nos países Ibéricos é normal as pessoas esgrimirem argumentos roçando a difamação. Faz parte da retórica política e é uma prática tão difundida que ninguém leva a sério. Mas a Europa é diversa e não é assim por todo o lado. O Diretor da ESF, Jean-Claude Worms, exigiu que ela se retratasse e no caso de não o fazer ameaçou levantar-lhe um processo judicial por difamação. A Amaya em vez de explicar os fundamentos da sua afirmação resolveu fazer disto mais uma batalha política... Desta vez em nome da liberdade de expressão. E, claro, quem é contra a liberdade de expressão? Ninguém. E o coro dos indignados levantou-se mais uma vez.

O problema é que o conceito de liberdade, seja de expressão ou de outro tipo, implica, inevitavelmente, responsabilidade. Caso contrário tudo seria permitido. Incluindo as mais infames difamações sobre pessoas inocentes. Porque vivemos em democracia, a Amaya pode dizer o que lhe apetece. Mas pelas mesmas razões, o Diretor da ESF tem o direito de exigir a reposição da verdade. Afinal está em causa o seu nome, o prestígio da ESF e a credibilidade de 650 de investigadores de 46 países envolvidos no processo de avaliação. 

Mas porque digo eu que ela escorregou num argumento de fraca substância? 

Primeiro, as contas estão mal feitas. 50% dos centros que se candidataram a financiamento poderiam eventualmente não ser financiados mas nestes números incluem-se centros estabelecidos que perdem financiamento e centros novos que não chegam a ganhá-los. Nas últimas condições estão 62% das 90 propostas que foram apresentadas para criar novos centros. Portanto é incorreto falar em 50% de centros Portugueses a fechar. 

Segundo, não é inevitável que os centros que não passem na segunda fase da avaliação fechem. A decisão de fechar um centro não é da FCT. Se houve injustiça na avaliação e há centros excelentes que não são financiados, certamente terão outras fontes de financiamento (para não falar dos 6 milhões de euros que a FCT disponibilizou para apoiar a reestruturação de centros com avaliações abaixo mas próximas do ponto de corte). Mas será grave que nem todos os centros sejam bem avaliados? Não: Faz parte da lógica da avaliação científica. Que >50% das candidaturas passe à segunda fase é francamente mais generoso do que se observa em outros países onde semelhante tipo de fundos é distribuído por centros de excelência. 

Terceiro, é óbvio que se há uma proporção de centros que não obtém financiamento estrutural da FCT (um facto que sempre ocorreu nas avaliações anteriores) isso não se deve a uma avaliação defeituosa mas ao facto de haver uma decisão política de concentrar recursos em centros melhores deixando cair centros piores. Qualquer que fosse a avaliação que tivesse como objetivo descriminar para decidir sobre a distribuição de fundos teria este resultado. Como qualquer opção política esta decisão é passível de discussão. Mas seria bom discutir a opção política em vez de espalhar areia pelo ar acusando a ESF de não saber conduzir avaliações. Ninguém ganha com a tentativa de descredibilização dos processos de avaliação entre pares e todos temos a ganhar com a clarificação do debate das opções políticas. Uma questão que esmiucei em outro artigo neste blog. 

Enfim. Eu simpatizo com a Amaya. Tanto ela como eu fomos forçados a emigrar em virtude da incompetência dos governantes dos nossos países. Mas se ela acha que tem razão, que aproveite para demonstrar em sede judicial que a afirmação que fez é correta. Se vier a descobrir que afinal se enganou, que se retrate que a assunção do erro não faz mal a ninguém. Pelo contrário. É demonstração de virtude de caráter.

Posição da FCT sobre a avaliação das unidades de investigação em Portugal

O texto abaixo terá passado desapercebido de muitos colegas pelo que nunca é demais dar-lhe a visibilidade que 

merece:

"No último mês, desde a divulgação dos resultados da primeira fase, têm vindo a público diversas notícias dando conta do descontentamento de algumas unidades de investigação, investigadores e associações com os resultados da avaliação feita pela FCT em colaboração com a European Science Foundation (ESF).

Os resultados de qualquer avaliação científica produzem desapontamento junto daqueles cuja classificação ficou aquém das suas expectativas. Esta avaliação não é exceção. No entanto, não podemos aceitar que subsistam dúvidas ou equívocos relativamente à robustez, rigor e isenção do processo de avaliação, que foi cuidadosamente desenhado e implementado, de forma profissional e no cumprimento das melhores práticas internacionais.

Várias declarações e posições, repetidas e amplificadas por diversos meios, são pouco rigorosas, parciais, descontextualizadas e correspondem a interpretações mais ou menos especulativas, raramente sustentadas por factos. Queremos com este texto dirigido aos investigadores apresentar o que é e não é verdade sobre esta avaliação. Assim:

Não é verdade que esta avaliação esteja a conduzir à destruição do sistema de instituições de I&D em Portugal.Vejamos os dados sobre investigadores (que são a força motriz das instituições): 66% dos investigadores a concurso (7 em cada 10) estão em unidades que passaram à segunda fase, 21% (2 em cada 10) estão em unidades classificadas como Bom e apenas 12% (1 em cada 10 investigadores) estão em unidades que não vão ter qualquer financiamento. Os dados da Direção-Geral das Estatísticas em Ensino e Ciência indicam que os docentes apresentam uma distribuição percentual análoga entre os grupos acima descritos (todos estes dados são ainda preliminares, pois decorre o período de Audiência Prévia). Além disso, até ao momento, a percentagem de unidades não elegível para financiamento é de 22% - um valor muito semelhante ao da avaliação de 2007-08, em que de 17% das unidades não obtiveram financiamento.

É verdade que tal como acontece em exercícios regulares de avaliação, há subidas e descidas. Das unidades que concorreram com a mesma estrutura, 67% mantiveram ou subiram a sua classificação, enquanto que 33% desceram. Há as que se apresentaram com novos modelos de organização, 77% das quais passaram à segunda fase. Finalmente, das 90 novas unidades que se submeteram pela primeira vez a avaliação, 38% passaram à segunda fase.

É verdade que a FCT se disponibilizou para apoiar as unidades que não passaram à segunda fase a encontrar soluções para o desenvolvimento da sua estratégia futura. Esta intenção será concretizada através de um fundo de apoio à re-estruturação estratégica das unidades, a ser aplicado através do Programa Incentivo 2015, num valor estimado em 6 milhões de euros.

É verdade que os pedidos de Audiência Prévia recebidos serão todos analisados pelos painéis de avaliação. Nesta análise, a FCT vai alertar os painéis para aspetos cuja importância tem sido realçada pela comunidade científica.

Não é verdade que o contrato assinado entre a FCT e a European Science Foundation (ESF) exclua automatic amente metade das unidades da segunda fase da avaliação. O conteúdo do contrato reflete estimativas que marcam o ponto de partida para estabelecer os valores do contrato em função das despesas previstas e do trabalho envolvido em cada etapa. As estimativas descritas no contrato com a ESF têm em conta o cenário atual para as unidades (cerca de 30% com classificação Bom) e o que aconteceu no concurso de 2007 (em que cerca de 20% ficaram abaixo de Bom). Esta estimativa não significa que, na hipótese de se vir a registar uma desproporção entre essas estimativas e o volume de unidades a passar à segunda fase, não seriam revistos os custos e as condições do contrato. De facto, algumas estimativas feitas não se concretizaram e estamos a preparar adendas ao contrato com revisão e ajustamento dos valores relevantes.

Não é verdade que a FCT tenha imposto restrições para qualquer área científica ou região geográfica. O mérito científico das propostas apresentadas foi o único critério à luz do qual os avaliadores e painéis decidiram livremente as suas classificações. Todas as áreas do conhecimento estão representadas entre as unidades que passaram à segunda fase: Humanidades - 21%; Ciências sociais - 20%; Engenharias - 15%; Exatas - 14%; Multidisciplinares - 14%; Vida e Saúde - 8%; Naturais e Ambiente - 8%.

Não é verdade que esta avaliação esteja a deixar sem trabalho ou a forçar à emigração milhares de investigadores. Como referido acima, 7 em cada 10 investigadores a concurso estão em unidades que, por terem passado à segunda fase, podem aumentar significativamente o seu financiamento. Acrescente-se que cerca de 85% dos 5 000 investigadores que trabalham nas unidades que não passaram à segunda fase têm vínculos contratuais (tipicamente professores ou investigadores de carreira), pelo que os seus empregos não são afetados por esta avaliação. Além disso, a larga maioria dos restantes não depende contratualmente do financiamento deste concurso sendo apoiados por outros instrumentos da FCT ou outras entidades financiadoras, de forma independente da classificação da unidade (por exemplo, no concurso de bolsas individuais, a classificação do centro de investigação deixou de ser um critério de avaliação).

Não é verdade que esta avaliação tenha como objetivo concentrar o financiamento num menor número de unidades. Salientamos o desequilíbrio da situação atual: das 318 unidades de I&D atualmente financiadas pela FCT, 24 (7,5%) capturaram (Laboratórios Associados), ao longo dos últimos anos, cerca de 60% do financiamento anual da FCT para instituições de I&D. Em resultado da avaliação em curso, espera-se uma distribuição mais equitativa entre as unidades consideradas de topo, com capacidade demonstrada para competir a nível internacional.

É verdade que este é o primeiro exercício de avaliação em que todas as unidades de I&D são avaliadas de forma competitiva, com igualdade de critérios e de oportunidades de financiamento, independentemente da sua dimensão ou estatuto jurídico.

Não é verdade que as unidades não tenham sido avaliadas por especialistas na sua área científica. Cada unidade foi avaliada inicialmente por três avaliadores independentes, dos quais no mínimo dois são especialistas na área de investigação da un idade. Numa fase seguinte, e depois de ouvidas as unidades, cada candidatura foi avaliada por um painel coletivo no domínio científico da unidade composto por cientistas com experiência de gestão e de avaliação de Unidades. O resultado final da avaliação corresponde a uma decisão colegial e tomada por consenso.

É verdade que pela primeira vez num concurso FCT, os candidatos (unidades) tiveram oportunidade de contraditar os pareceres dos revisores remotos (especialistas) e que estes comentários assim como os pareceres individuais de todos os revisores remotos foram considerados pelos painéis nas suas reuniões de consenso;

Não é verdade que as unidades tenham sido avaliadas por um júri secreto. A composição dos painéis de avaliação foi divulgada no site da FCT terminada a avaliação, tal como previsto nos regulamentos do concurso e em obediência às boas práticas internacionais. O júri reúne cientistas internacionalmente reconhecidos, com experiência de avaliação e de gestão de unidades ou centros de investigação.

Não é verdade que a ESF esteja em graves dificuldades, não tenha experiência em processos de avaliação ou esteja a transferir as suas competências para a Science Europe. A ESF publicou informação suficiente para refutar esta afirmação e atestar as suas competências e mérito em exercícios de avaliação nos últimos 40 anos.

Este esclarecimento surge da convicção do Conselho Diretivo da FCT de que é crucial todos conhecerem como decorreu e continua a decorrer este exercício de avaliação, para que se possa prosseguir com as unidades e toda a comunidade científica uma discussão informada, serena e objetiva, que conduza a soluções construtivas para o desenvolvimento sustentável do nosso sistema científico.

O Conselho Diretivo da FCT,
Miguel Seabra
Pedro Carneiro
Paulo Pereira
João Nuno Ferreira"

L"ik

Ciência em Portugal: dar nozes a quem tem dentes

Muito ruído tem sido feito em torno do processo de avaliação em curso, das unidades de investigação científica Portuguesas, encomendado pela Fundação para a Ciência e Tecnologia (FCT) à “European Science Foundation” (ESF). O tom geral é de queixume: que metade das unidades perde financiamento; que as regras de avaliação não são claras; que os avaliadores não são competentes. A situação da ciência em Portugal não é fácil mas convém não perder o norte, sob pena de abalarmos os alicerces de política científica nacional que tantos anos levaram a construir.

Em primeiro lugar, devo dizer que me parece inadequado politizar um processo eminentemente técnico e científico. O processos de avaliação científica entre pares têm imperfeições, como qualquer sistema de avaliação, mas não se espera que melhorem quando são usados como arma de arremesso político ou quando grupos de interesse os procuram torpedear se os resultados não os beneficiam. Por definição, qualquer processo de avaliação científica gera descontentamento. Não pretendem eles discriminar? Quando se discrimina, há quem perde e há quem ganha. A solução para os que perdem nunca passou, nos países que nos servem de referência, por falar grosso nos jornais buscando auxílio de quem não tem informação nem conhecimentos para saber se as avaliações são, ou não são, justas. A solução envolve, por parte de quem avalia, a criação de mecanismos que asseguram a isenção e a transparência do processo (que estiveram assegurados nesta avaliação). Da parte de quem é (mal) avaliado, mais trabalho, contínua capacidade de renovação e muita persistência. A avaliação por pares, num ambiente de forte competitividade, é o dia-a-dia dos investigadores profissionais. Um dos ensinamentos que procuro incutir aos meus alunos é a necessidade de serem capazes de gerir a frustração ao verem negados os seus trabalhos, alguns deles de grande qualidade, por avaliadores independentes. Eu sei que não é para todos, que fere o ego, que por vezes se cometem injustiças nas avaliações, mas é indispensável para quem quer vingar nesta profissão.

Em segundo lugar, surpreende-me o alarido em redor da alegada existência de quotas predefinidas para financiamento das unidades. De acordo com a FCT, essas quotas nunca terão existido pelo que o alarido seria injustificado. A informação de que disponho é que terá havido uma tentativa de calibrar as avaliações de acordo com parâmetros Europeus e harmonizar graus de exigência entre painéis, o que levou algumas unidades a ter oscilações na avaliação antes da publicação dos primeiros resultados. Como não participei neste processo de avaliação, abstenho-me de fazer mais comentários específicos. No entanto, a sugestão de que a avaliação deveria ter considerado o mérito absoluto das unidades é ingénua. Todos os processos de avaliação competitiva que conheço são baseados no conceito de mérito relativo. É assim no desporto e na ciência. Porquê? Porque existe um orçamento limitado e pretendem-se canalizar recursos suficientes para os investigadores (ou unidades) que mais capacidade demonstraram ter para fazer diferença. Quer isto dizer que as unidades não financiadas não poderiam fazer bom uso das verbas? Não. Quer dizer que quando os recursos são escassos, é necessário fazerem-se escolhas, que ainda não foi inventado um sistema melhor do que a avaliação independente por pares e que a tendência internacional é de alocar o financiamento para a investigação, rigorosamente, em função destes processos de avaliação. Por exemplo, o Conselho Europeu de Investigação (ERC na sua sigla Inglesa) financia cerca de 12% dos projetos que lhe são apresentados e o número de projetos financiados é determinado pelo orçamento.  É o que fazem, igualmente, num outro âmbito, as revistas científicas que procuram publicar um número limitado de artigos por ano. A revista científica de que sou Editor-chefe, Ecography, rejeita 80% dos artigos enviados com base em critérios de mérito relativo.

Em terceiro lugar, não entendo como se acusa a FCT ou a ESF de falta de preparação em processos de avaliação. A ESF tem larga experiência de avaliação da ciência. Não ter nunca realizado um exercício idêntico não é uma crítica válida, pois os princípios da avaliação científica são genéricos e uma entidade habituada a gerir processos de avaliação de equipas internacionais, organizadas no âmbito de projetos, está perfeitamente capacitada para avaliar equipas organizadas no âmbito de unidades de investigação. Por seu lado, a FCT (e a sua antecessora JNICT) foram as entidades que trouxeram alguma objetividade nos processos de avaliação científica realizados neste País. Nenhum processo de avaliação é perfeito, não fora este conduzido por pessoas. Mas os processos de avaliação promovidos pela FCT não têm rival em Portugal. As universidades, salvo exceções, não se têm destacado por protagonizarem avaliações exemplares, por exemplo, na contração de docentes em concursos abertos, amarradas que estão à endogamia e à influência de grupos de interesse.

A crítica que se poderia fazer a este governo—em rigor a todos os que se sucederam a extinção do INIC—, foi terem sido incapazes de reformar as universidades no sentido de as tornarem mais orientadas para a investigação científica. Ao invés, criaram estruturas paralelas (os centros de investigação e laboratórios associados), esperando que estes se tornassem âncoras de excelência que contagiassem as universidades. Isso não aconteceu, pois nunca houve pressão para que estas “ilhas” de excelência se transformassem em “âncoras”. A investigação nestas unidades acabou por ser realizada, em grande parte, por bolseiros, muitos deles com elevada qualidade, que nem sequer direito a reforma condigna terão quando atingirem a idade. A solução passaria por criar mecanismos de financiamento para as universidades, indexados à produtividade científica, de forma a incentivá-las a atrair os melhores investigadores e dando-lhes, simultaneamente, instrumentos flexíveis de gestão dos recursos humanos e financeiros.

Que o financiamento para a ciência e educação em Portugal é limitado, estamos todos de acordo. Que seria desejável aumentar esse financiamento, é óbvio. Mas que a gestão dos recursos escassos deva ser feita relaxando a exigência dos processos de avaliação não é defensável. A política do “café para todos”, ou seja, repartir recursos de forma mais ou menos equitativa por todas as unidades científicas e investigadores, é defensável em estádios mais primitivos de desenvolvimento científico. Depois de décadas de investimento em formação de recursos humanos, depois de verificarmos que muitos dos melhores investigadores optaram por deixar o País em busca de reconhecimento, carreiras e recursos que não encontraram por cá, a prioridade deve ser dar nozes a quem tem dentes. Ser exigente, apostar em núcleos de excelência, integrá-los nas universidades e reforçar ou reduzir o financiamento em função de resultados.