Quasi 800 siti visti da un'AI, e un metro cambiato tre volte

Il primo luglio abbiamo aperto Pharos, lo strumento che misura quanto un sito è leggibile e raggiungibile da un'AI (cos'è e perché conta l'abbiamo raccontato in Se un'AI non riesce a leggerti, non ti cita). In quattro giorni ci sono passati quasi 800 siti veri, tutti diversi. Questo articolo racconta cosa hanno visto, ma anche una cosa che non avevamo programmato: in tre di quei quattro giorni abbiamo cambiato il metro di misura tre volte. E questa, alla fine, è la parte più interessante.

Perché il voto medio di quei siti è salito in tre giorni senza che il web migliorasse: a cambiare è stato il modo di misurarlo. Un report che nasconde i movimenti del proprio strumento mente per omissione. Questo li mette in prima pagina.

Il metro che si sposta

Pharos dà a ogni sito un voto da 0 a 100. Ma non tutti i siti sono stati misurati con lo stesso righello, perché lo abbiamo ricalibrato mentre lo usavamo. Tre versioni in tre giorni, ognuna col suo voto medio:

• Versione 1.0.0 (1 luglio): 571 siti, voto medio 83. Un sito su quattro 'Excellent'.
• Versione 1.0.1 (2 luglio): stessa impalcatura, verdetti corretti. Voto medio 87.
• Versione 1.1.0 (3 luglio): sette controlli nuovi, pesi ridati. Voto medio 90, quasi tre siti su quattro 'Excellent'.

Stesso web, tre metri diversi, sette punti di differenza. La media secca farebbe pensare a siti migliorati; a migliorare è stato solo il nostro modo di misurarli. Per capire cosa dicono davvero questi numeri bisogna separare quello che è cambiato con lo strumento da quello che è rimasto fermo.

Cosa non è cambiato: la porta è aperta

Partiamo da dove ogni versione è d'accordo, perché è la parte di cui fidarsi di più: se un dato sopravvive a tre ricalibrazioni, non è un artefatto del metro. La paura ricorrente ('le AI mi bloccheranno', 'devo difendermi dai crawler') non trova riscontro in nessuna delle tre.

• Circa il 93% dei siti lascia passare i crawler AI nel robots.txt. Su 1.0.0, 1.0.1 e 1.1.0 il numero non si muove.
• Circa il 90% ha già il contenuto nell'HTML servito dal server: un'AI che non esegue il JavaScript trova comunque il testo.
• Circa il 94% è raggiungibile da CCBot, il crawler di Common Crawl, la fonte da cui molte AI attingono.

Aprire la porta, insomma, è quasi gratis, e quasi tutti l'hanno fatto. Spesso senza nemmeno deciderlo: è l'impostazione di default della maggior parte dei siti. Chi teme di essere tagliato fuori dalle AI, nella grande maggioranza dei casi, non lo è. È il risultato più solido di tutto il report, proprio perché ha resistito a ogni versione dello strumento.

Cosa è cambiato: la 'casa in disordine' era il metro

Nella prima versione un dato saltava all'occhio: un sito su due aveva la semantica HTML 'critica'. La semantica è il modo in cui il codice dice a una macchina cosa è un titolo, cosa un articolo, cosa un menu, invece di lasciarglielo indovinare da un muro di div anonimi. Sembrava il difetto più diffuso del web.

Poi siamo andati a guardare i verdetti uno per uno, ed era il metro a essere storto. La versione 1.0.0 contava il rapporto tra tag semantici e totale degli elementi: un sito perfettamente leggibile ma costruito con tanti div veniva bocciato lo stesso. Il 2 luglio, nella 1.0.1, siamo passati a guardare la presenza dei landmark (c'è un main, un header, un nav?), che è ciò che una macchina cerca davvero. Stessi siti, verdetto ribaltato: la semantica 'critica' passa dal 50% al 13%, e col ricalibro successivo al 7%. La casa non era in disordine, il righello era sbilenco.

Stessa storia per la raggiungibilità. La 1.0.0 provava a bussare alla porta con lo user-agent di una decina di crawler, e contava come 'bloccato' ogni server che rifiutava il probe: usciva un sito su quattro. Ma un sito dietro Cloudflare che rifiuta la nostra sonda non sta necessariamente bloccando le AI, semplicemente non ce lo fa verificare. Dalla 1.0.1 quell'esito è diventato 'Non verificabile' e non pesa più sul voto: il 'critico' scende dal 25% al 5%.

Cosa resta davvero debole

C'è un'area che è rimasta bassa su tutte e tre le versioni, e quindi è debole sul serio: i segnali dedicati agli agenti AI. Sono file recenti, pensati per dire a un agente cosa può fare su un sito e dove trovare le cose (skill.md, i file sotto .well-known e simili). Solo il 13-17% dei siti ne ha almeno uno. Più di quattro su cinque non ne hanno nessuno, in ogni versione.

Qui i siti non stanno sbagliando: semplicemente non hanno ancora cominciato. È la frontiera vuota, il punto dove oggi ci si distingue con poco perché il confronto parte quasi sempre da zero. Con un'avvertenza che vale come le altre: nella 1.1.0 abbiamo tolto llms.txt dal punteggio, perché uno studio di Ahrefs mostra che circa il 97% di quei file non viene mai letto dai bot AI. Un segnale di moda che non sposta niente non merita di pesare.

La versione nuova ha poi scoperto buchi più prosaici, di idraulica. Due siti su tre non espongono un ETag o un Last-Modified, i due 'validatori' che permettono a un crawler di chiedere 'è cambiato qualcosa?' e ricevere un pulito 304 invece dell'intera pagina. Senza, ogni passaggio riscarica tutto: lavoro sprecato per chi ti passa a trovare spesso. E i fondamentali SEO restano approssimativi in circa un sito su tre (title e meta troppo lunghi, troppo corti o assenti), un dato stabile su tutte le versioni.

Perché ve lo raccontiamo così

Uno strumento che misura la leggibilità per le AI è giovane quanto il problema che misura. Poteva sembrare più solido pubblicare un solo numero e tacere sulle correzioni. Ma ogni ricalibrazione è nata dal feedback di chi usava Pharos e da fonti primarie (la documentazione di OpenAI, Google, Bing, Cloudflare, gli studi di Ahrefs e Vercel): raccontarle è la parte onesta, non quella imbarazzante.

I numeri di Pharos restano deterministici: regole, non opinioni, e lo stesso sito analizzato due volte con la stessa versione dà lo stesso voto. Deterministico però non vuol dire infallibile. Vuol dire che quando correggi la regola, ogni verdetto passato si aggiorna con lei, nella stessa direzione, per tutti. È esattamente quello che è successo in questi tre giorni.

Come leggere questi numeri

Due cose, per leggerli bene. Questi siti non sono un campione casuale del web: chi prova Pharos al tema ci pensa già, e parte avvantaggiato. Quindi i buchi che restano qui, sul web meno attento, difficilmente sono più piccoli. E sono numeri aggregati: contano le distribuzioni e i pattern, non il singolo sito.

Poi c'è il metro, di cui parla tutto l'articolo. I dati che non dipendono dalla versione (chi apre la porta, chi ha i file per gli agenti) li leggiamo su tutti i siti; quelli che il metro ha cambiato (semantica, raggiungibilità) solo dentro la versione che li ha misurati. Mescolarli darebbe una media finta.

Da dove partire

Se ti stai chiedendo dove sei tu, il modo per saperlo è misurarlo, con il metro di oggi. La mappa di questi giorni suggerisce comunque l'ordine giusto delle mosse:

• Verifica di farti raggiungere davvero dai crawler AI: è il controllo che dipende meno dalle mode e più dal tuo server. Un robots.txt aperto non basta se un firewall troppo zelante lascia il crawler fuori.
• Copri i fondamentali SEO: title e meta chiari, una struttura dei titoli coerente. Circa un sito su tre ha ancora margine qui, e non è cambiato tra una versione e l'altra.
• Guarda la semantica, ma senza panico: sul metro di oggi la maggior parte dei siti è a posto. Conta che il codice dica cosa è un titolo, un articolo, una sezione, e dipende da come è costruito il sito.
• I segnali per gli agenti vengono per ultimi: sono la frontiera, ma su una casa già in ordine, non prima.

Il tuo voto lo scopri in un minuto: prova Pharos sul tuo indirizzo, con l'ultima versione del metro, il report è aperto e senza email. E se vuoi il quadro più ampio di come farti trovare dentro le risposte di un'AI, non solo se ci arrivi, l'abbiamo raccontato in La risposta giusta, prima che se ne vadano dal tuo sito.