JCR, CITESCORE, SNIP, SJR, E COMO É CALCULADO

1.    Introdução: por que existem métricas para avaliação de periódicos?

Atualmente, a transmissão e divulgação do conhecimento é potencializada pelos mecanismos da internet. Em meio a isso, pesquisadores têm a oportunidade de se exporem a um volume maior de ideias e de casos para estudo, ao questionamento, à colaboração entre pares, e a novas perspectivas na sua área de pesquisa. Aliado a isso, a ciência se tornou elemento-chave no desenvolvimento regional e nacional, ao ser instrumento para o contínuo avanço tecnológico e social.

Por essa perspectiva, empresas, universidades e grupos de pesquisa procuram saber: a) Quais trabalhos são relevantes para meus processos e apresentam soluções viáveis para esses problemas?  b) Que outros grupos estão produzindo trabalhos relevantes? c) Que veículos na mídia digital esses trabalhos se apresentam? d) Onde seria estratégico veicular os resultados da minha pesquisa? Claramente, algum parâmetro comparativo entre os trabalhos ou entre periódicos pode indicar respostas acerca do potencial do material que se lê, ainda que estas sejam diferentes para diferentes áreas do conhecimento.

Atualmente, os maiores acervos bibliográficos estão disponíveis na internet, o que permite que o filtro e o acesso de seus documentos sejam feitos individualmente. Ainda assim, a necessidade de entender o “valor de impacto” de cada material se mantém entre os leitores. Por isso, a comunidade científica utiliza indicadores bibliométricos fornecido por estas bases para dar atribuir potencial de impacto, de divulgação e de financiamento às suas pesquisas, como também para manter seus trabalhos a par do que há de mais novo na sua área do conhecimento.

O primeiro desses indicadores bibliométricos, como também o mais conhecido até hoje, é o produzido pela Clarivate Analytics^TM, antiga Thomson Reuters^TM e veiculado pela Journal Citation Reports^©. A métrica de avaliação desse e de outros indicadores importantes é a quantidade de citações atribuídas a cada periódico dentro de um período determinado. A ideia dessas medidas é capturar o quanto que as publicações de um dado periódico conseguem influenciar outros trabalhos que sucedam sua publicação. Em tese, quanto maior a quantidade de citação recebida pelo periódico, maior é a relevância do conteúdo publicado nele, pelo fato de contribuir para diversos outros trabalhos posteriores. Desse modo, estabelece-se uma relação que se: quanto mais citações, maior é o impacto da revista no meio científico.

A seguir, será possível entender melhor sobre as métricas utilizadas por alguns indicadores disponíveis no mercado, como o Fator de Impacto, Citescore^©, SNIP e SJR.

2.    Fator de Impacto da Journal Citation Reports

A Thomson Reuters^TM foi a primeira editora a disponibilizar uma publicação específica para a avaliação de impacto de períodos no meio acadêmico. A primeira edição da Journal Citation Reports (JCR) foi publicada em 1975, e trazia uma hierarquia entre períodos disponíveis em seu acervo por um indicador bibliométrico. Para tanto, a empresa desenvolveu uma forma de medir o desempenho de uma revista dentro de sua área de influência científica, para que então a comparação revista a revista fosse compatível quanto à sua probabilidade de impactar futuras publicações (COURTNEY, 2017). A partir disso, o Fator de Impacto (JIF) para periódicos foi definido como na Figura 1.

Figura 1 – Definição da métrica do Fator de Impacto (JIF)

 

Em que o numerador corresponde as todas as citações que a edição de um periódico recebeu até 2 anos após a sua publicação, enquanto o denominador representa a quantidade de periódico que estariam dentro de uma área de alcance para impacto. Em outras palavras, é determinado uma quantidade de revistas que compartilham áreas de conhecimento comuns e que poderiam ser potencialmente influenciadas pelas publicações da revista científica avaliada pelo Fator de Impacto, o que é na Figura 1 denominado como “potencial para citação”. Um aspecto importante a ser observado nesse conceito é que, periódicos de uma grande área do conhecimento, como Ciências Sociais ou Engenharia, podem ter quantidades diferentes de “potencial para citação”, dado que peculiaridades de seus editoriais podem expandir ou restringir sua área de influência. Ainda assim, é possível comparar o IF de períodos de uma mesma área, sendo não recomendado a comparação de desempenho entre periódicos de áreas distintas (HUBBARD E MCVEIGH, 2011).

Apesar de conceitualmente coerente, por muitos anos periódicos e grupos da comunidade científica questionaram o método em que a empresa delimitava a quantidade de periódicos que pertenceriam ao “potencial de citação”. Muitos desses debates inclusive geraram publicações que tentavam clarificar o modo como essa seleção era realizada e diminuir suspeições de enviesamento (COURTNEY, 2017). Hubbard e McVeigh (2011), por exemplo, como editores-chefe da Journal Citation Reports, explicam que o método para determinar com maior acurácia o “potencial de citação” de um periódico utiliza um extenso trabalho de indexação e de revisão bibliográfica iterativa. Ainda assim, justamente pela complexidade e extensão das etapas, esse processo ainda não é absolutamente claro.

Atualmente, a empresa responsável pelo cálculo do Fator de Impacto é a Clarivate Analytics, que avalia o impacto dos periódicos presente na sua base Web of Science^©, a qual possui cerca de 11.000 periódicos. A publicação da JCR ocorre todos os anos, sendo portando o IF revisado anualmente (GARFIELD, 2019).

3.    Citescore

O indicador bibliométrico Citescore foi lançado ao mercado em 2016 por outra empresa do mercado editorial científico: a Elsevier^TM. A Elsevier gerencia um acervo digital bibliográfico denominado ScienceDirect^© e um buscador bibliográfico denominado Scopus^©, que indexa não só publicações de periódicos, mas também de anais de congressos, relatórios técnicos, livros, ou quaisquer outros documentos de cunho científico. Por conta disso, a Scopus lista cerca de 22.220 documentos em toda a sua base (ZIJLSTRA; MCCULLOUGH, 2016).

No momento que o Citescore foi disponibilizado pela Elsevier, outros indicadores bibliométricos já estavam presentes no mercado junto ao JIF, como o SNIP e o SJR, mas estes últimos com diferentes perspectivas na avaliação do impacto dos periódicos. No entanto, o Citescore é uma métrica que foi anunciada como um contraponto ao Fator de Impacto, dado que o primeiro também se propõe a fornecer uma referência para a comparação do impacto de periódicos dentro de uma mesma área do conhecimento (COURTNEY, 2017).

Entretanto, as diferenças entre o Citescore e o Fator de Impacto estão no cálculo desses indicadores. A fórmula do Citescore é dada como na Figura 2.

Figura 2 – Definição da métrica utilizada pelo Citescore

 

      Como se pode observar, o Citescore aumenta o período de observação considerado para a contabilização do volume tanto de citações recebidas como de publicações totais. A diferença de 2 para 3 anos entre o JIF e o Citescore, respectivamente, foi justificado pelas diferenças de velocidade de publicações entre áreas do conhecimento. Argumentou-se que algumas áreas da Ciência conseguem ter uma quantidade maior de periódicos publicados por ano, seja pela natureza das pesquisas (experimentais ou de reflexão teórica), seja pela tecnologia disponível para realização das pesquisas, ou seja complexidade dos métodos científicos (experimentos curtos ou longos). Por essas razões, um período de 3 anos conseguiria incorporar essas discrepâncias no cálculo dos indicadores (ZIJLSTRA; MCCULLOUGH, 2016).

Além disso, o Citescore considera em seu denominador a quantidade total de documentos publicados à época, o que eliminaria qualquer suspeição de enviesamento do método utilizado na métrica. Segundo Elsevier (2017), a quantidade total de publicações dentro dos anos considerados no denominador é acessível a qualquer usuário do Scopus, tal como é a quantidade de citações que um periódico recebeu nesse mesmo intervalo de tempo. Essas características da base e da equação do indicador tornam o Citescore reproduzível. Por último, um último fator de diferenciação importante entre este indicador e o JIF é a seguinte: as citações de todos os documentos recebidas pelo periódico avaliado são contabilizadas no numerador, e não somente aquelas provenientes de outros periódicos. A Tabela 1 a seguir resume algumas dessas considerações.

Tabela  1 – Comparação entre as formulações do JIF e do Citescore

PRINCIPAIS DIFERENÇAS	JOURNAL IMPACTO FACTOR	CITESCORE
Acervo utilizado	Web of Science	Scopus
Período considerado na avaliação	2 anos anteriores	3 anos anteriores
Método para seleção de dados de entrada	Subjetivo, pela definição de “potencial de citação”	Reproduzível

4.    SNIP

Outro indicador bibliométrico utilizado para avaliar o fator de impacto dos periódicos científicos é o SNIP (Source Normalized Indicator per Paper), que segundo a CWTS Journal Indicators, possibilita a avaliação comparativa do impacto de periódicos de diferentes áreas do conhecimento, baseado no acervo bibliográfico Scopus da Elsevier. O SNIP é publicado anualmente e de responsabilidade do Centro de Estudos de Ciência e Tecnologia da Universidade de Leiden.

A métrica utilizada pelo SNIP determina um fator de normalização para cada periódico, o qual deverá refletir as características de periodicidade de publicação e volume de produção. Esse fator se baseia na ideia que: cada periódico tem um impacto contextual em sua área de conhecimento, pois cada área possui diferentes condicionantes para condução da pesquisa que, consequentemente, refletem-se na velocidade de produção científica. Essas condicionantes podem ser: tecnologia disponível, conhecimento acumulado na área, tipo de método de pesquisa comumente aplicada (experimental ou de reflexão teórica), tempo necessário para produzir resultados, e assim por diante. Com efeito, variáveis como essas irão influenciar na quantidade de publicações em um ano, por exemplo (MOED, 2010).

Sob essa perspectiva, o termo normalizador do SNIP para diferentes periódicos é calculado a partir do tamanho médio das listas de referência de seus artigos, haja vista que volume de publicações tomadas por referência para um trabalho é reflexo das características de pesquisa de cada área. E que, a certo ponto, essas condicionantes impactam a probabilidade de os artigos um periódico serem citados por outras publicações em sua área de influência (MOED, 2010). Assim, define-se um potencial de citação para cada periódico que é utilizado para normalizar o fator de impacto (Citescore) do periódico (Figura 3).

Figura 3 - Definição da métrica utilizada pelo Source Normalized Indicator per Paper

 

            Valores de SNIP próximos a 1 indicam que o periódico teve um impacto esperado para o contexto de produção da sua área de conhecimento, enquanto valores maiores que 1 apontam que os trabalhos publicados em determinado periódico têm repercussão maior que seu potencial. Dessa forma, o SNIP destaca periódicos de prestígio para a comunidade científica (LIBRARY AND INFORMATION SERVICES JCU, 2019).

5.    SJR

O indicador SJR, criado pelo grupo de pesquisa SCImargo da Universidade de Granada, também permite comparar o impacto de periódicos de diferentes áreas do conhecimento. No entanto, a sua métrica não é baseada no contexto de produção, mas sim no contexto de divulgação científica, isto é, de prestígio na ciência (GONZÁLEZ-PEREIRA; GUERRERO-BOTE; MOYA-ANEGÓN, 2010).

Para a concepção desse indicador, entendeu-se que periódicos com maior prestígio na sua área de conhecimento irão ser mais frequentemente citados por outros trabalhos em produção. Portanto, para que outras revistas científicas sejam citadas, a qualidade de seu editorial deverá ser superior ao prestígio de outros periódicos mais comumente procurados para leitura. E, se, por exemplo, publicações em periódico de prestígio se valem de artigos provenientes de uma revista científica de menor repercussão científica, essa citação tem maior peso para a última, que o contrário. Em outras palavras, o SJR atribui um valor ponderado às citações, de modo que a citação óbvia vale menos que a citação não-óbvia (GONZÁLEZ-PEREIRA; GUERRERO-BOTE; MOYA-ANEGÓN, 2010).

Por último, o SJR também se vale do impacto contextual dos periódicos, como o SNIP, para normalizar seu indicador. De modo que as citações recebidas por um periódico são divididas pelo seu potencial de citação, relativo ao tamanho médio da lista de referência de sua área do conhecimento..

A formulação do SJR é mais complexa que a dos outros indicadores supracitados, porque o seu método de cálculo é iterativo, para que haja correções contínuas até convergirem a um valor de ponderação, relacionado ao prestígio da citação recebida. Na Figura 4, é possível observar as diferenças entre quantidade de citações, volume de produção da área e alguns dos indicadores que utilizam o acervo do Scopus para cálculo (SCIMAGO JOURNAL RANK, 2007).

Tabela  2 – Comparação entre indicadores bibliométricos

PERIÓDICOS	SNIP	CITEScore	Quantidade de Citações	Número de documentos na área
Reviews of Modern Physics	15.292	34.49	4.242	123
New England Journal of  Medicine	13.405	14.75	77.809	5.274
Materials Science and  Engineering: R: Reports	12.162	31.32	1.190	38
Psychological Science in the  Public Interest, Supplement	12.093	16.32	310	19
Chemical Reviews	11.97	51.08	44.389	869

6.    Considerações Finais

Dado que por vezes o financiamento e suporte da pesquisa, inovação e extensão ainda são contraditoriamente limitados para centros e grupos de pesquisa, aumentar o potencial de visibilidade dos trabalhos é uma das razões pela qual cientistas estão tão preocupados com os questionamentos apresentados anteriormente.  Aliado a isso, a necessidade intrínseca à pesquisa de permanecer atualizada exige que pesquisadores estejam constantemente em busca por novas influências e referências.

Porém, já é perceptível que a produtividade científica começa a se tornar preocupação constante na carreira dos pesquisadores. Nesse contexto, a qualidade do que é produzido começa a ser associada a indicadores de frequência de citação. Assim, indicadores bibliométricos, ainda que relacionados aos periódicos, também podem sugerir status de “material qualidade” às suas publicações. O que parece evidente, no final das contas, é que o uso indiscriminado desses indicadores bibliométricos deve ser evitado. Afinal, os indicadores bibliométricos são ferramentas importantes no entendimento quanto à importância de resultados de determinadas pesquisas, identificação tanto de potenciais colaboradores em uma linha de pesquisa, como de veículos de maior visibilidade para divulgação científica, tornando-se assim instrumentos para determinar estratégias para exposição de pesquisas.

Por esta perspectiva, é crucial que os objetivos e a métricas utilizada por cada indicador bibliométrico estejam claros para o leitor, para que suas potencialidades de uso e limitações gerem uma relação determinística entre qualidade do periódico e de seus artigos componentes, bem como entre valor das produções científicas e o periódico em que estes foram publicados. 

REFERÊNCIAS

BEATTY, Susannah. Journal Metrics in Scopus: Source Normalized Impact per Paper (SNIP). Disponível em:  https://blog.scopus.com/posts/journal-metrics-in-scopus-source-normalized-impact-per- . Acesso em: 15 de abril de 2019.

COURTNEY, NANCY. CiteScore vs. Impact Factor: How Do We Rate Journal Quality?. [S. l.], 12 jun. 2017. Disponível em: https://library.osu.edu/researchcommons/2017/06/12/citescore-vs-impact-factor. Acesso em: 17 abr. 2019.

CWTS JOURNAL INDICATORS. Methodology. Disponível em: http://www.journalindicators.com/methodology . Acesso em: 15 de abril de 2019.

EYNDE, Jean Vanden. Pharmaceuticals: Impact Factor or CiteScore™. Pharmaceuticals, [s.l.], v. 10, n. 4, p.61-62, 6 jul. 2017. MDPI AG. Dispon[ivel em: http://dx.doi.org/10.3390/ph10030061

ELSEVIER. Elsevier releases 2017 CiteScore™ values. Disponível em: https://www.elsevier.com/about/press-releases/science-and-technology/elsevier-releases-2017-citescore-values. Acesso em: 15 de abril de 2019.

ELSEVIER. Measuring a journal’s impact. Disponível em: https://www.elsevier.com/authors/journal-authors/measuring-a-journals-impact. Acesso em: 15 de abril de 2019.

HUBBARD, Stephen C.; MCVEIGH, Marie E.. Casting a wide net: the Journal Impact Factor numerator. Learned Publishing, [s.l.], v. 24, n. 2, p.133-137, abr. 2011. Wiley. http://dx.doi.org/10.1087/20110208.

HUGGET, Sarah. Changes to SNIP & SJR metrics. Disponível em: https://www.elsevier.com/editors-update/story/journal-metrics/changes-to-snip-And-sjr-metrics. Acesso em: 15 de abril de 2019.

GARFIELD, Eugene. The Clarivate Analytics Impact Factor. [S. l.], 12 jun. 2019. Disponível em: https://clarivate.com/essays/impact-factor/. Acesso em: 15 abr. 2019.

GONZÁLEZ-PEREIRA, Borja; GUERRERO-BOTE, Vicente P.; MOYA-ANEGÓN, Félix. A new approach to the metric of journals’ scientific prestige: The SJR indicator. Journal Of Informetrics, [s.l.], v. 4, n. 3, p.379-391, jul. 2010. Elsevier BV. http://dx.doi.org/10.1016/j.joi.2010.03.002.

LIBRARY AND INFORMATION SERVICES JCU. Using Research Indicators. Australia, 14 maio 2019. Disponível em: https://libguides.jcu.edu.au/research-indicators/snip-and-sjr. Acesso em: 12 jun. 2019.

MOED, Henk F.. Measuring contextual citation impact of scientific journals. Journal Of Informetrics, [s.l.], v. 4, n. 3, p.265-277, jul. 2010. Elsevier BV. http://dx.doi.org/10.1016/j.joi.2010.01.002.

PORTAL DE PERIÓDICOS CAPES/MEC. Journal Citation Reports ganha nova plataforma. Disponível em: https://www.periodicos.capes.gov.br/?option=com_pnews&component=NewsShow&view=pnewsnewsshow&cid=630&mn=0. Acesso em: 17 de abril de 2019.

RESEARCH INTELLIGENCE. Citescore metrics FAQs. S.i: Elsevier, 2018. 28 p.

SCIMAGO JOURNAL RANK. Description of SCImago Journal Rank Indicator. [S. l.], 2007. Disponível em: https://www.scimagojr.com/aboutus.php. Acesso em: 15 abr. 2019.

UNIVERSITY LIBRARY UIC. Measuring Your Impact: Impact Factor, Citation Analysis, and other Metrics: Journal Impact Factor (IF). Disponível em: https://researchguides.uic.edu/if/impact. Acesso em: 15 de abril de 2019.

ZIJLSTRA, Hans; MCCULLOUGH, Rachel. CiteScore: a new metric to help you track journal performance and make decisions. ELSEVIER, 2016. Disponível em:  https://www.elsevier.com/editors-update/story/journal-metrics/citescore-a-new-metric-to-help-you-choose-the-right-journal. Acesso em: 15 de abril de 2019.