Ottimizzare una pagina web non ha nessun senso se i motori di ricerca non possono accedervi. Per questo motivo occorre parlare di accessibilità di una pagina web.

Il file robots.txt, presente nella cartella principale del server, deve contenere le istruzioni necessarie affinché tutta quell'informazione che desideriamo venga indicizzata, sia accessibile dai robots dei motori di ricerca. Se il file robots.txt contiene qualche errore, molti motori di ricerca non indicizzeranno le pagine web.

D'altra parte, il codice HTML delle pagine deve essere libero da errori ed il server deve restituire il codice di risposta adeguato. I contenuti delle pagine devono potere essere letti dai ragni (spiders).

Prima di procedere all'ottimizzazione delle nostre pagine bisogna comprovare che i motori di ricerca possano leggerli. Per comprovare il file robots.txt possiamo utilizzare gli Strumenti per Webmaster di Google.