Qualis Capes – 10 coisas que você deveria saber sobre o Qualis Capes

Qualis Capes – 10 coisas que você deveria saber sobre o Qualis Capes (Rita de Cássia Barradas Barata)

BRUNO FALCÓN SILVEIRA ¹

RESUMO

Este trabalho visa sintetizar dez pontos essenciais para se compreender o Qualis Periódicos buscando diminuir as dúvidas apresentadas aos coordenadores de área por editores científicos, docentes e alunos de programas de pós-graduação.

1 PRIMEIRO PONTO: O QUE É O QUALIS PERIÓDICOS?

O Qualis-periódicos é um sistema utilizado para a classificação da produção cientifica dos programas de pós-graduação referente a artigos publicados em periódicos científicos. Este sistema foi instituído pela Coordenação de Aperfeiçoamento de Pessoal do Ensino Superior (Capes) em 1977 e, inicialmente, era feita a avaliação com base nos seguintes conceitos: A (muito bom), B (bom), C (regular), D (fraco) e E (insuficiente).

Em 1990 estes conceitos foram substituídos por notas de 1 a 5, além da inclusão no processo de avaliação alguns indicadores quantitativos. Em 1998 houve outra mudança no processo, com a padronização da ficha de avaliação constando 7 quesitos: a proposta do programa, o corpo docente, as atividades de pesquisa, as atividades de formação, o corpo discente, as teses e dissertações e a produção intelectual. Em meio a estas mudanças, surgiu a necessidade de qualificar a produção dos programas, não apenas fazer a contabilização dos artigos como era até então. Mas como o número de artigos era bem expressivo, avaliar a qualidade de cada um se tornava uma tarefa inviável. Então, para contornar este problema, optou-se por classificar os veículos de divulgação da produção cientifica, assumindo que a aceitação de um artigo por periódico indexado garantia de certo modo sua qualidade. Além disso, considerou-se que periódicos com circulação internacional e maior impacto na comunidade acadêmica teriam processos de seleção mais competitivos, conferindo a este, sua qualidade.

Nas grandes áreas de Ciências Exatas (a qual estamos inseridos), Ciências Biológicas, Ciências Agrárias e Ciências da Saúde, a tendência predominante foi a de construir a classificação considerando as bases de indexação e as medidas de impacto bibliométrico.

O Conselho Técnico-Científico da Educação Superior (CTC-ES) aprovou a nova classificação contendo sete estratos: A1, A2, B1, B2, B3, B4 e B5. Existe ainda um estrato C, destinado a publicações que não constituem periódicos científicos ou não atendem aos critérios mínimos estabelecidos em cada área para ser classificado. Segundo a autora:

“O Qualis Periódicos, portanto, é uma das ferramentas utilizadas para a avaliação dos programas de pós-graduação no Brasil. Sua função é auxiliar os comitês de avaliação no processo de análise e de qualificação da produção bibliográfica dos docentes e discentes dos programas de pós-graduação credenciados pela Capes.”

2 SEGUNDO PONTO: O QUE O QUALIS PERIÓDICOS NÃO É?

O Qualis não é uma base de indexação de periódicos. Para estar na lista do Qualis basta apenas que algum aluno ou professor participante dos programas credenciados publiquem artigos em periódicos. O Qualis também não é uma base bibliométrica, não permitindo o calculo de medidas de impacto dos periódicos que estão relacionados nele. Deve ser considerado como uma forma adequada de avaliação apenas dos programas de pós-graduação.

Como a classificação só é realizada referente ao mês anterior (como será detalhado melhor posteriormente), não é recomendável utilizar o Qualis como uma lista de referencia para escolher em quais periódicos submeter os artigos. A escolha de tal periódico deverá levar em conta outros aspectos mais importantes, como o público-alvo do próprio artigo, o escopo dos diversos periódicos em um mesmo campo científico, a credibilidade, a rapidez no processo de julgamento e de publicação, a competitividade expressa pela taxa de rejeição, a circulação que os periódicos têm na comunidade de interesse e seu prestígio, o que pode ser indiretamente avaliado por diferentes medidas de impacto.

3 TERCEIRO PONTO: A GERAÇÃO DA LISTA

Todo ano é gerada uma listagem de periódicos a partir dos dados de produção cientifica publicada na forma de artigo que foram informados pelos programas de pós-graduação. Atualmente, esse envio de informações é realizado através da plataforma Sucupira, que permite que os dados possam ser permanentemente incluídos durante o desenvolvimento das atividades dos programas. Por este motivo que a listagem se refere aos anos anteriores, já que os dados necessitam estar todos presentes para a realização da classificação, conforme trecho do artigo fonte “Assim, por exemplo, a classificação de 2014 divulgada em 2015 se refere aos artigos publicados em 2014”.

Há também dois tipos de preocupações que não procedem: (1) Não encontrar na listagem do Qualis o artigo que acaba de ser publicado. O que não faz sentido após saber que esta listagem corresponde ao ano anterior. Caso o artigo for informado na plataforma sucupira, no ano seguinte ele irá aparecer na listagem. (2) A segunda preocupação decorre a partir da primeira, que seria achar que essa produção não será considerada para efeito de avaliação. Mesmo que haja falha de processamento dos dados, as comissões procederão à sua classificação manual, utilizando exatamente os mesmos critérios usados para os demais periódicos.

4 QUARTO PONTO: CLASSIFICAÇÃO EXAUSTIVA

Alguns programas de pós-graduação informam como produção produtos que não se qualificam como artigos científicos, como matérias ou entrevistas em jornais destinados a publico leigo, entre outros. Para estes casos, existem uma classificação especifica C, que separa estes dos demais artigos científicos produzidos pelo programa. Este tipo de material pode ser informado na plataforma como produção técnica. Algumas áreas de avaliação utilizam o estrato C para desconsiderar os artigos científicos publicados em periódicos não indexados ou que não atendam aos critérios mínimos.

Existe um problema com esta classificação de periódicos no estrato C, já que revistas bem classificadas em determinadas áreas podem acabar sendo colocadas em outras áreas como C, sugerindo que esta não possui um cunho cientifico. Para evitar tais problemas, não é recomendado classificar como C publicações que são consideradas cientificas independentemente da área de conhecimento.

5 QUINTO PONTO: REGRAS COMUNS A TODAS AS ÁREAS DE AVALIAÇÃO

A avaliação realizada pelo Qualis está sempre buscando uma base comum para avaliar os programas independentemente da área do conhecimento e suas especificidades. Analisando esta situação do ponto de vista de cada programa, não haveria problema algum quanto os diferentes critérios avaliativos já que o processo é comparativo, portanto dentro de uma determinada área os mesmos critérios seriam aplicados. No entanto, os programas existem em unidades acadêmicas dentro de faculdades, centros universitários ou universidades onde avaliações muito discrepantes podem gerar dificuldades e problemas.

Visando esta base comum, são utilizados três mecanismos: as portarias e resoluções da Presidência, do Conselho Superior, da Diretoria de Avaliação ou do Conselho Técnico-Científico da Educação Superior; a padronização da ficha de avaliação e as regras de construção do Qualis Periódicos e da classificação de livros:

“As portarias, resoluções e outros atos normativos visam estabelecer diretrizes que devem ser seguidas em todo o sistema nacional de pós-graduação (SNPG), conferindo-lhe unidade e organicidade. A padronização da ficha de avaliação visou estabelecer os quesitos e os itens indispensáveis e comuns a todas as áreas no processo de avaliação.”

A ficha de avaliação é composta por 5 quesitos: proposta do programa, corpo docente, corpo discente, produção intelectual e inserção social; e 17 itens comuns distribuídos entre esses quesitos. Além disso, as áreas podem propor itens adicionais e definir os indicadores e critérios que serão utilizados na avaliação de cada item. O terceiro mecanismo:

“Com relação ao Qualis Periódicos, as regras comuns a todas as áreas são três, além daquela já apresentada da obrigatoriedade de classificar todos os títulos da listagem da área.”

A primeira regra define que apenas 50% dos títulos de cada lista podem estar classificados nos níveis mais elevados: A1, A2 ou B1. A segunda define que apenas 25% dos títulos em cada listagem podem ser considerados como de excelência, ou seja, classificados nos estratos A. Como terceira regra, tem-se que o número de títulos classificados como A1 deve ser menor que o número de classificados como A2.

6 SEXTO PONTO: CRITÉRIOS CLASSIFICATÓRIOS

Quanto aos critérios classificatórios, cada área pode estabelecer do modo que preferir, contanto que as regras comuns de construção do Qualis sejam cumpridas. A grande maioria das áreas utilizam critérios que combinam aspectos da circulação, avaliada por meio das bases de indexação às quais os periódicos pertencem, e aspectos relativos aos impactos bibliométricos, avaliados por intermédio de um ou mais indicadores obtidos em uma ou mais fontes de informação. Quanto as fontes para estudos bibliométricos, tem-se:

“As fontes de dados bibliométricos mais utilizadas são: JCR (Journal Current Report), Scopus e SciELO. A base mais ampla é a Scopus, portanto, os indicadores calculados por ela tendem a ser mais altos do que nas outras duas. A menor é a SciELO, e os fatores de impacto medidos nessa base serão todos menores do que nas outras duas. O JCR possui uma base um pouco menor que a da Scopus e, além disso, adota uma definição pouco clara e polêmica do que considera documentos citáveis, podendo assim subestimar ou superestimar o fator de impacto.”

Para análise dos dados, os indicadores mais utilizados são o fator de impacto, o número de citações por documento e o índice “h”. O índice h, ou h-index, é uma proposta para quantificar a produtividade e o impacto de pesquisas individuais ou em grupos baseando-se nos artigos mais citados. Por exemplo, um pesquisador com h=5 tem 5 artigos publicados que receberam 5 ou mais citações.

7 SÉTIMO PONTO: ATUALIZAÇÃO DA CLASSIFICAÇÃO

A atualização da listagem do Qualis é realizada anualmente como já comentado anteriormente, um ou dois meses após a validação dos dados enviados pelos programas. A área interdisciplinar realiza sua atualização em um momento distinto, já que precisa das classificações das áreas disciplinares para fazer o cálculo corretamente.

Uma vez que é completada a atualização e validada, só é possível realizar correções no ano seguinte, quando o sistema abre novamente para alterações. Isto pode ser um problema quando os pesquisadores identificam supostos erros ou utilização de dados desatualizados.

8 OITAVO PONTO: POR QUE UMA MESMA REVISTA POSSUIU CLASSIFICAÇÃO TÃO VARIADA ENTRE AS ÁREAS?

Já que cada área possui um determinado conjunto de critérios para avaliação e precisam classificar os periódicos que constam na sua lista, a mesma revista pode ocupar diferentes classificações entre as áreas de avaliação. A autora afirma que:

A única maneira de solucionar essa contradição entre diferentes classificações para as mesmas revistas seria a adoção de uma lista única, na qual cada periódico fosse classificado apenas pela área ou pelas áreas de conhecimento incluídas em seu escopo de publicação.

Além disso, a partir disso periódicos que abrangessem mais de uma área de avaliação poderiam ser classificados de acordo com as áreas envolvidas desejarem. Isso contribuiria para uma listagem livre de contradições desde que cada área adotasse regras em comuns.

9 NONO PONTO: COMENSURABILIDADE ENTRE AS ÁREAS DE AVALIAÇÃO

A autora inicia este item como um questionamento:

Apesar da padronização dos instrumentos de avaliação, será que um PPG nota 5, 6 ou 7 em uma dada área de avaliação é comparável com outro PPG nota 5, 6 ou 7 em outra área de avaliação? Esta pergunta não tem, evidentemente, uma resposta simples. [...] os programas são avaliados em cada uma das áreas, e as notas são atribuídas não a partir de características essenciais, mas, antes, pela posição relativa daquele programa no conjunto dos programas da área. Desse modo, pode-se dizer que a comparação entre programas com a mesma nota em áreas de avaliação diferentes indicaria apenas que eles ocupam a mesma posição relativa nos PPGs da área sem, contudo, significar que têm qualidade equivalente quanto aos quesitos avaliados.

Para que as classificações utilizadas sejam capazes de expressar grandezas diferentes, mas com o mesmo significado relativo dentro de cada campo, seria necessário, por exemplo, a adoção de percentis preestabelecidos para cada estrato:

[...] se todas as áreas adotassem como ponto de corte para o estrato A1 o percentil 95 da distribuição de um determinado indicador ou conjunto de indicadores de impacto, seria imediatamente comparável a produção qualificada nesse estrato para as diferentes áreas do conhecimento, visto que os periódicos aí classificados corresponderiam aos 5% superiores, isto é, aos 5% com maior impacto em cada uma das áreas.

Deste modo, seria possível realizar a comparação entre as áreas e a produção dos PPGs poderia ser avaliada com base na proporção de artigos em cada estrato, pois eles teriam todos o mesmo sentido. Para quem não utiliza as medidas de impacto, seria preciso criar politicas de incentivo aos periódicos nacionais buscarem a indexação nas bases bibliométricas. Somente dessa forma, será possível dar maior visibilidade à produção científica do país e incentivar a publicação de pesquisas de qualidade em todas as áreas do conhecimento

10 DÉCIMO PONTO: USOS INDEVIDOS DO QUALIS PERIÓDICOS

Existem alguns usos indevidos do Qualis, desconsiderando aqueles referentes a avaliação dos programas. Neste estudo, foram destacados três: (1) pelos editores científicos; (2) pelos comitês de assessoramento do CNPq (3) pelas próprias universidades ou institutos de pesquisa na avaliação de docentes e pesquisadores.

A utilização da classificação fornecida pelo Qualis por parte dos editores científicos para obtenção de fomentos e pelas agências para aprová-los é bastante discutível em se tratando da competição entre periódicos dos diferentes campos científicos, na medida em que as classificações são incomensuráveis, como anteriormente demonstrado:

Um periódico pode ter qualidade e atender a todos os critérios formais desejáveis, mas, por ser publicado em português e receber poucas citações nas bases internacionais, estar classificado em um estrato como B3 ou B4. Isso não significa que não deva receber o fomento adequado, inclusive para superar essa situação, podendo, por exemplo, traduzir
todos os artigos para o inglês e, assim, aumentar sua probabilidade de receber citações. Nas avaliações dos pesquisadores feitas pelos comitês assessores do CNPq para a concessão de bolsas de produtividade, de auxílios diversos ou de fomento à pesquisa, o uso do Qualis para avaliar a produção científica individual é bastante incorreto e inadequado.

Em termos de qualidade do artigo, os quatro primeiros estratos não se diferenciam tanto, mas sim o valor do indicador de impacto do mesmo. Na maioria dos casos, essa diferença tem mais a ver com o tema da pesquisa do que com a qualidade. Do ponto de vista da qualidade para a área de Saúde Coletiva, por exemplo, faria mais sentido separar os artigos usando apenas três estratos do Qualis, e não sete. Os artigos publicados em periódicos classificados nos estratos B2 a A1 formariam um grupo, aqueles publicados em periódicos dos estratos B3 e B4 formariam outro grupo, e o terceiro seria formado pelos artigos publicados em periódicos do estrato B5. A autora afirma que:

Como todo instrumento de classificação utilizado em processos avaliativos, o Qualis Periódicos apresenta uma série de vantagens, mas traz também uma série de dificuldades e problemas. [...] Em primeiro lugar, é preciso compreender os motivos e os pressupostos por trás do instrumento. Em segundo lugar, é essencial ter clareza sobre os princípios classificatórios adotados. Em seguida, é necessário combinar diferentes fontes de informação e indicadores de impacto, buscando minimizar as limitações inerentes a cada um, e, finalmente, é importante desenvolver um sistema que permita a comparação entre diferentes áreas e elimine as contradições atualmente existentes no sistema.