Fontes de Dados Cripto de IA: Como Cada Resposta da IA do CMC é Atribuída

Principais Conclusões

• Uma fonte é identificada por sua URL, que também é sua chave de identidade, portanto, a lista é deduplicada na URL normalizada em vez de em um título.
• A concentração de fontes é alta e varia drasticamente por tipo de pergunta. Na pergunta de discussão, 84% das fontes vinculadas eram postagens no x.com. Medido em quatro tipos de perguntas, o x.com representa 51%.
• Esses 206 links resolveram para apenas 13 hostnames distintos, portanto, a base de fontes é concentrada em vez de ampla.
• A API retorna sources_count, o total real por trás de uma resposta, ao lado de um array sources[] limitado e uma flag sources_truncated.
• Solicitar sources_limit=0 ainda retorna sources_count, permitindo que uma contagem de citações seja exibida sem transferir o array.

O Que é uma Fonte

O objeto da fonte é deliberadamente enxuto. Seu único campo obrigatório é a URL canônica da página de onde veio uma afirmação e, como essa URL é o único campo, ela também é a identidade usada para deduplicar. Duas entradas que apontam para o mesmo artigo, chegando com diferentes query strings, são a mesma fonte e se fundem em uma.

Isso coloca peso na normalização da URL, que a documentação descreve como forçar https, remover parâmetros de rastreamento e renderização, remover www., normalizar twitter.com para x.com e remover fragmentos antes que o array seja deduplicado. Nas 206 fontes publicadas medidas, cada uma usava https e nenhuma carregava uma query string, portanto, tanto a imposição do esquema quanto a remoção de parâmetros se mantêm na superfície renderizada.