I file robots.txt e sitemap.xml consentono di organizzare l'indicizzazione del sito. Questi due file si completano bene, sebbene allo stesso tempo risolvano problemi opposti. Se robots.txt serve a vietare l'indicizzazione di intere sezioni o singole pagine, allora sitemap.xml, al contrario, dice ai robot di ricerca quali URL indicizzare. Analizziamo ciascuno dei file separatamente.
File Robots.txt
robots.txt è un file in cui vengono scritte regole che limitano l'accesso dei robot di ricerca alle directory e ai file del sito per evitare che il loro contenuto entri nell'indice dei motori di ricerca. Il file deve trovarsi nella directory principale del sito ed essere disponibile all'indirizzo: site.ru/robots.txt.
In robots.txt, devi chiudere tutte le pagine duplicate e di servizio del sito dall'indicizzazione. Spesso i CMS pubblici creano duplicati, ad esempio è possibile accedere agli articoli da più URL contemporaneamente; nelle categorie site.ru/category/post-1/ , tag site.ru/tag/post-1/ e archivio site.ru/arhive/post-1/ . Per evitare duplicati è necessario vietare l'indicizzazione dei tag e dell'archivio, nell'indice rimarranno solo le categorie. Per pagine di servizio si intendono le pagine della parte amministratore del sito e le pagine generate automaticamente, ad esempio: risultati di ricerca nel sito.
È semplicemente necessario eliminare i duplicati, poiché privano le pagine del sito di unicità. Dopotutto, se nell'indice sono presenti più pagine con lo stesso contenuto, ma disponibili su URL diversi, il contenuto di nessuna di esse sarà considerato univoco. Di conseguenza, i motori di ricerca sottovaluteranno forzatamente la posizione di tali pagine nei risultati di ricerca.
direttive robots.txt
Le direttive sono regole oppure puoi anche pronunciare comandi per i robot di ricerca. Il più importante è User-agent, con il suo aiuto puoi impostare regole per tutti i robot o per un bot specifico. Questa direttiva è scritta all'inizio, e dopo di essa sono indicate tutte le altre regole.
# Per tutti i robot User-agent: * # Per il robot Yandex User-agent: Yandex
Un'altra direttiva obbligatoria è Disallow, con il suo aiuto, sezioni e pagine del sito vengono chiuse, e il suo opposto è la direttiva Allow, che, al contrario, consente di indicizzare forzatamente le sezioni e le pagine specificate del sito.
# Disabilita l'indicizzazione della sezione Disabilita: /cartella/ # Consenti l'indicizzazione della sottosezione con immagini Consenti: /cartella/immagini/
Per specificare il mirror principale del sito, ad esempio: con o senza www, viene utilizzata la direttiva Host. Vale la pena notare che il mirror principale viene scritto senza specificare il protocollo http://, ma è necessario specificare il protocollo https://. L'host è compreso solo dai robot Yandex e Mail.ru e la direttiva deve essere scritta solo una volta.
# Se il mirror principale funziona tramite il protocollo http senza www Host: site.ru # Se il mirror principale funziona tramite il protocollo https con www Host: https://www.site.ru
Sitemap - una direttiva che specifica il percorso del file sitemap.xml, il percorso deve essere specificato per intero con il protocollo, questa direttiva può essere scritta in qualsiasi punto del file.
# Specificare il percorso completo del file sitemap.xml Sitemap: http://site.ru/sitemap.xml
Per semplificare la scrittura delle regole, ci sono speciali operatori simbolici:
- * - indica un numero qualsiasi di caratteri, nonché la loro assenza;
- $ - indica che il carattere prima del simbolo del dollaro è l'ultimo;
- # - denota un commento, tutto sulla riga dopo dato operatore verrà ignorato dai motori di ricerca.
Dopo aver familiarizzato con le direttive di base e gli operatori speciali, puoi già abbozzare il contenuto di un semplice file robots.txt.
User-agent: * Disallow: /admin/ Disallow: /arhive/ Disallow: /tag/ Disallow: /modules/ Disallow: /search/ Disallow: *?s= Disallow: /login.php User-agent: Yandex Disallow: / admin/ Disallow: /arhive/ Disallow: /tag/ Disallow: /modules/ Disallow: /search/ Disallow: *?s= Disallow: /login.php # Consenti al robot Yandex di indicizzare le immagini nei moduli Consenti: /modules/ * section.png Consenti: /modules/*.jpg Host: site.ru Mappa del sito: http://site.ru/sitemap.xml
Conoscenza descrizione dettagliata tutte le direttive con esempi del loro utilizzo sono disponibili nella pubblicazione sul sito Web Yandex nella sezione della guida.
File Sitemap.xml
sitemap.xml è la cosiddetta mappa del sito per i motori di ricerca. Il file sitemap.xml contiene informazioni per i robot di ricerca sulle pagine del sito che devono essere indicizzate. Il contenuto del file deve contenere gli URL delle pagine e, facoltativamente, è possibile specificare la priorità delle pagine, la frequenza degli inversioni di pagina, la data e l'ora ultima modifica pagine.
Va notato che sitemap.xml non è richiesto e i motori di ricerca potrebbero non tenerne conto, ma allo stesso tempo tutti i motori di ricerca affermano che la presenza del file è desiderabile e aiuta a indicizzare correttamente il sito, soprattutto se le pagine vengono create dinamicamente oppure il sito ha una struttura complessa.
C'è solo una conclusione: che i file robots.txt e sitemap.xml sono necessari. Impostazione corretta l'indicizzazione è uno dei fattori per trovare le pagine del sito in posizioni più alte risultati di ricerca, e questo è l'obiettivo di qualsiasi sito più o meno serio.
Abbiamo pubblicato un nuovo libro "Content Marketing in social networks: Come entrare nella testa degli abbonati e innamorarsi del tuo marchio.
XML della mappa del sito
Sitemap è uno speciale file .xml memorizzato nella directory principale del server. I proprietari di siti Web sono spesso interessati al motivo per cui è necessaria una Sitemap e la presenza/assenza di questo documento influisce sulla promozione dei motori di ricerca? Per rispondere a queste domande, considera lo scopo e la struttura di una mappa del sito.
Quindi, perché abbiamo bisogno di una Sitemap xml, che cos'è? Una mappa del sito è una sorta di catalogo costituito da un elenco di collegamenti che portano a tutte le sezioni e pagine del sito. Mappa del sito aiuta motori di ricerca indicizzare in modo più rapido ed efficiente il progetto Internet. Ciò è particolarmente importante se il volume di una risorsa web viene calcolato in migliaia o decine di migliaia di pagine.
[yt=R09Qywy5DXI]
Altri video sul nostro canale - impara l'internet marketing con SEMANTICA
È importante! La mappa del sito dovrebbe includere solo le pagine che dovrebbero essere nell'indice di ricerca. I documenti con indicizzazione vietata o informazioni di servizio non devono essere inclusi nella mappa del sito. La mappa del sito esclude anche le pagine con tag e gli URL dinamici.
La Sitemap influisce sulla promozione?
I motori di ricerca non pessimizzeranno un progetto Internet per l'assenza di questo file. In teoria, il robot dovrebbe eseguire la scansione indipendente di tutte le pagine del sito e includerle nella ricerca. Tuttavia, tieni presente che il sistema potrebbe bloccarsi e non trovare alcuni documenti web. Di solito i "punti problematici" sono sezioni che possono essere raggiunte solo da una lunga catena di collegamenti e URL generati dinamicamente.
Dal punto di vista SEO, la Sitemap ha un certo impatto, poiché la Sitemap velocizza notevolmente l'indicizzazione. Aumenta anche la probabilità che le pagine web entrino nell'indice prima che concorrenti senza scrupoli abbiano il tempo di copiare e pubblicare il contenuto. I motori di ricerca privilegiano la fonte originale, mentre il copia-incolla è pessimizzato.
Come creare una mappa del sito
Il modo più semplice è utilizzare uno dei servizi specializzati. Ad esempio, il generatore online http://www.mysitemapgenerator.com/ ti consente di creare gratuitamente una mappa del sito, di dimensioni fino a 500 pagine. È possibile generare una mappa del sito a pagamento senza alcuna restrizione. Il webmaster dovrà solo specificare l'indirizzo del suo sito, quindi posizionare il file risultante nella cartella principale del server.
È possibile utilizzare il programma SiteMap Generator. Immettere l'URL nel campo http:// pagina iniziale sito, fare clic sul pulsante "inizia" e attendere che venga generata la mappa del sito. Quindi devi andare alla scheda "Google Sitemap / XML", copiare il codice risultante e incollarlo in un file .xml.
File xml della mappa del sito - direttive disponibili
- Il parametro Lastmod dice al robot quando il documento è stato aggiornato l'ultima volta.
- Il tag priory indica la priorità del documento rispetto ad altre pagine del sito.
- Il parametro loc è l'URL della pagina.
- Il tag changefreq viene utilizzato per indicare la dinamicità delle pagine (i documenti con il parametro "0" verranno visitati molto raramente dal robot).
Come comunicare al motore di ricerca la mappa del sito
Per notificare Yandex, puoi aggiungere la direttiva Sitemap al file robots.txt. Il codice sarà simile a questo:
Mappa del sito: http://yoursite.ru/sitemap.xml
Inoltre, puoi caricare una mappa del sito tramite l'interfaccia Yandex.Webmaster. Per fare ciò, vai alla scheda "Impostazioni di indicizzazione" >> "Mappe del sito", quindi specifica l'indirizzo della mappa del sito nel sistema.
Allo stesso modo, puoi avvisare Google. Nel Webmaster Dashboard, vai alla scheda "Scansione" >> "Sitemap".
Ciao, cari lettori del sito del blog. Ho deciso di riassumere in un articolo tutto ciò che ho già scritto sulla mappa del sito (Sitemap xml), che serve principalmente per indicare ai motori di ricerca quelle pagine che dovrebbero innanzitutto indicizzare. È un attributo molto importante e, di fatto, obbligatorio di qualsiasi progetto web, ma molte persone o non lo sanno o non attribuiscono molta importanza alla mappa del sito.
Immediatamente, puntiamo la "i" e proviamo a separare due concetti: le mappe dei siti formato xml e in formato Html (c'è anche un'interpretazione geografica di questa parola, di cui ho scritto nell'articolo ""). La seconda opzione è un elenco regolare di tutti i materiali delle risorse Web, che sarà disponibile per chiunque facendo clic sulla voce di menu appropriata. Questa opzione è anche utile e aiuta a velocizzare e migliorare l'indicizzazione della tua risorsa da parte dei motori di ricerca.
Mappa del sito Mappa del sito in formato xml - e ne ho bisogno
Ma lo strumento principale pensato per indicare direttamente ai motori di ricerca quelle pagine della risorsa che dovranno essere indicizzate è un file chiamato Sitemap.xml (questo è il suo nome più comune, ma in teoria si può chiamare come si vuole, non non importa), che non sarà visibile ai visitatori del tuo progetto web.
Viene compilato tenendo conto di una sintassi speciale che è comprensibile motori di ricerca, dove verranno elencate tutte le pagine da indicizzare, indicandone il grado di importanza, la data ultimo aggiornamento e frequenza di aggiornamento approssimativa.
Ci sono due file principali che ogni progetto web dovrebbe avere: robots.txt e sitemap.xml. Se il tuo progetto non li ha o non sono compilati correttamente, con un alto grado di probabilità danneggerai notevolmente la tua risorsa e non permetterai che si apra al cento per cento.
Certo, potresti non ascoltarmi (perché non sono un'autorità, a causa del materiale fattuale relativamente piccolo accumulato), ma penso che non discuterai indiscriminatamente con specialisti che hanno statistiche di decine di migliaia di progetti a portata di mano.
In questo caso, avevo in negozio un "pianoforte tra i cespugli". Poco prima di scrivere questo articolo, una pubblicazione di specialisti del noto sistema di promozione automatica con il nome insolito "Mani" ha attirato la mia attenzione (questo è un analogo di MegaIndex, di cui ho scritto).
È chiaro che qualsiasi sistema simile a loro è interessato all'avanzamento di successo dei progetti dei propri clienti, ma possono solo aumentare le risorse dei clienti massa di riferimento, ma per influenzare il riempimento e correggere configurazione tecnica siti che, purtroppo, non possono.
Pertanto, è stato condotto uno studio molto interessante e rivelatore, che è stato progettato per identificare i 10 motivi più popolari che rendono difficile promuovere progetti e ficcare questi clienti proprio nel...
In primo luogo, ovviamente, c'era il "contenuto non unico" (o lo hai copiato o ce l'hai, il che non cambia l'essenza). Ma al secondo posto c'era solo la mappa del sito in formato xml, ovvero la sua assenza o incoerenza con il formato di creazione riconosciuto. Ebbene, al terzo posto c'era il già citato file robots.txt (la sua assenza o creazione errata):
Quando affermi infondatamente che il tuo progetto deve avere una mappa (altrimenti un kirdyk), non suona così convincente come se questa affermazione fosse supportata da fatti reali provenienti da uno studio abbastanza rappresentativo.
Ok, supponiamo che ti abbia convinto e vediamo come puoi creare tu stesso una mappa del sito (sintassi del formato), come realizzarla per Joomla e WordPress e vediamo anche come crearla utilizzando speciali generatori online (generatore).
Ma la semplice creazione di una mappa del sito non è sufficiente per garantire che il tuo progetto sia correttamente indicizzato dai motori di ricerca. Sarà comunque necessario assicurarsi che i motori di ricerca scoprano questa mappa del sito (nel nostro caso si tratta di Google e Yandex). Questo può essere fatto in due modi, ma di questo parleremo un po' più tardi (deve esserci almeno una sorta di intrigo che attiri l'attenzione dei lettori).
Perché hai bisogno di una mappa del sito e di un file robots.txt
Proviamo innanzitutto a giustificare la logica necessità di utilizzare sia il file robots.txt, che vieta l'indicizzazione di alcuni elementi del tuo progetto web, sia il file sitemap, che prescrive l'indicizzazione di determinate pagine. Per fare questo, torniamo a cinque o dieci anni fa, quando la maggior parte delle risorse su Internet erano solo un insieme di file Html, che contenevano i testi di tutti gli articoli.
Il robot di ricerca di Google o Yandex è semplicemente andato a un tale progetto Html e ha iniziato a indicizzare tutto ciò che veniva a portata di mano, perché quasi ovunque era contenuto il contenuto del progetto. E cosa sta succedendo ora, nelle condizioni di generale Utilizzo del CMS(sistemi di gestione dei contenuti)? In realtà, anche subito dopo aver installato il motore, il robot di ricerca troverà già in te diverse migliaia di file, e questo nonostante tu possa ancora non avere alcun contenuto (beh, non hai ancora scritto un solo articolo).
E in generale, il contenuto nel moderno CMS, di regola, non viene archiviato in file, ma in un database, che, ovviamente, un robot di ricerca non può indicizzare direttamente (ti consiglio di lavorare con i database gratuitamente).
È chiaro che curiosando qui, Yandex e i robot di ricerca di Google troveranno comunque i tuoi contenuti e li indicizzeranno, ma ecco quanto velocemente ciò accadrà e Quanto sarà completa l'indicizzazione? il tuo progetto è una domanda molto grande.
È proprio per semplificare e velocizzare l'indicizzazione dei progetti da parte dei motori di ricerca nelle condizioni di uso diffuso dei CMS che è indispensabile creare robots.txt e sitemap.xml. Con l'aiuto del primo file, dici ai robot dei motori di ricerca di indicizzare quali file non devono essere sprecati (oggetti motore, ad esempio), e puoi anche usarlo per chiudere alcune pagine dall'indicizzazione per eliminare l'effetto della duplicazione dei contenuti , che è inerente a molti CMS (leggi a riguardo). Maggiori dettagli nell'articolo su).
E con l'aiuto del file della mappa del sito, dici chiaramente e chiaramente ai robot di Yandex e Google cosa contiene esattamente il contenuto del tuo progetto, in modo che non sbircino inutilmente gli angoli dell'economia dei file del motore utilizzato. Non dimenticare che i bot hanno determinati limiti di tempo e numero di documenti visualizzati. Vagherà tra i file del tuo motore e se ne andrà e il contenuto non rimarrà ancora indicizzato a lungo. Oh come.
Ricorda come un personaggio colorato ha detto in una famosa commedia: "Non vai lì, vai qui, altrimenti ...". Questa è esattamente la funzione di questo personaggio ed esegui robots.txt e la mappa del sito con estensione xml per controllare il movimento dei robot di ricerca negli angoli più nascosti del tuo progetto web. È chiaro che i bot possono allacciarsi le cinture, ma molto probabilmente seguiranno obbedientemente le tue ben scritte istruzioni proibitive e prescrittive (nella mappa del sito).
Comprensibilmente? Quindi procediamo direttamente alla risoluzione della domanda su come creare un sitemap.xml in vari modi e come segnalarne l'esistenza a due balene di ricerca in Runet - Google e Yandex, in modo che non frughino nel tuo progetto per niente, mentre creano un carico aggiuntivo sull'hosting del tuo server, ma questa però è già una cosa da poco, l'importante è l'indicizzazione (veloce e completa).
A differenza di robots.txt, che molto probabilmente dovrai scrivere tu stesso, i file sitemap in formato xml, di norma, cercano di crearne alcuni automaticamente. È comprensibile, perché in gran numero pagine di un progetto aggiornato di frequente, la sua creazione manuale può danneggiare la mente del webmaster.
Sì, questo non è affatto necessario, perché. per quasi tutti i CMS esiste un'estensione che ti consentirà di creare e, quando vengono visualizzati nuovi materiali, ricreare il file della mappa del sito. Bene, oppure puoi sempre utilizzare un generatore di mappe del sito online come soluzione già pronta.
Tuttavia, mi sembra che non sarebbe superfluo conoscere la semplice (cosa posso dire - la più semplice) sintassi per creare una mappa del sito. Inoltre, su progetti piccoli e raramente aggiornati, puoi abbozzarlo manualmente.
Come creare Sitemap.xml da solo in Joomla e WordPress
Di solito la direttiva "Sitemap" viene scritta proprio alla fine. La prossima volta che i robot di ricerca visiteranno il tuo progetto web, esamineranno sicuramente il contenuto di robots.txt e scaricheranno la tua mappa per studiarla. Tuttavia, in questo modo tutti i tipi di ravanelli possono scoprire la sua esistenza, cosa che il sito della mappa aiuterà a rubarti i contenuti.
Ma c'è un altro modo per trasferire direttamente le informazioni sulla posizione della mappa del sito ai motori di ricerca senza la mediazione di robots.txt. Questo viene fatto tramite l'interfaccia Yandex Webmaster e il pannello Strumenti di Google sebbene possa essere utilizzato. Conoscete già questi strumenti dei motori di ricerca?
In caso contrario, assicurati di aggiungere il tuo progetto a entrambi , e a , quindi specifica il percorso della tua mappa del sito in formato XML nelle schede appropriate.
Ecco come appare il modulo per aggiungere una mappa del sito per Yandex Webmaster:
Ed ecco come appare un modulo simile per impostare il percorso nella barra degli strumenti di Google:
Generatore di mappe del sito online e mappe del sito XML
Se non vuoi cercare estensioni per il tuo CMS che ti permettano di creare automaticamente una mappa del sito, allora puoi usare in questo caso generatore in linea mi. Tuttavia, c'è uno svantaggio rispetto a creazione automatica mappe nel CMS stesso - dopo aver aggiunto nuovi materiali, dovrai accedere nuovamente al servizio online e ricreare questo file, quindi caricarlo sul tuo server.
Probabilmente uno dei più famosi generatori di mappe del sito online è il Generatore di mappe del sito. Ha una funzionalità abbastanza grande e ti permetterà di generare una mappa del sito per 1500 pagine gratuitamente, che è abbastanza.
Il Sitemap Generator terrà conto del contenuto del tuo file robots.txt in modo che le pagine a cui è vietata l'indicizzazione non entrino nella mappa. Questo di per sé non fa paura, perché un divieto nei robot avrà una priorità più alta, ma ti salverà da informazioni non necessarie in file creato Mappa del sito. Per creare una mappa, devi solo specificare l'URL pagina iniziale e fornisci la tua e-mail, dopodiché verrai messo in coda per la generazione:
Quando arriverà il tuo turno, riceverai un'e-mail di notifica a riguardo e cliccando sul link presente nella lettera potrai scaricare il file che Sitemap Generator ha realizzato per te. Resta solo da gettarlo nel posto giusto sul tuo server. Bene, dovrai ripetere questa procedura di tanto in tanto per mantenere aggiornata la tua mappa del sito.
Esiste un servizio di generatore online simile in lingua inglese che puoi trovare a questo link: XML Sitemaps. C'è un limite di 500 pagine su di esso, ma per il resto tutto è quasi uguale a quello descritto sopra.
Buona fortuna a te! A presto sul sito delle pagine del blog
Potresti essere interessato
Che cos'è un URL, qual è la differenza tra link assoluti e relativi per un sito 
Cos'è Chmod, quali autorizzazioni assegnare a file e cartelle (777, 755, 666) e come farlo tramite PHP 
Ricerca Yandex sul sito e sul negozio online 
OpenServer - moderno server locale e un esempio del suo utilizzo per Installazioni WordPress sul computer 
Come ho aumentato il traffico del sito Web a 300 persone al giorno?
Una mappa del sito è pagina html sito o un file xml speciale, che contiene collegamenti a tutte le pagine importanti del sito. Per capire cos'è una mappa di un sito basta presentare un sommario del libro e sarà subito chiaro perché hai bisogno di una mappa del sito. Una mappa del sito aiuta un visitatore, sia esso un essere umano o un robot di ricerca, a trovare rapidamente qualsiasi pagina del sito, effettuando il numero minimo di clic. Sui siti semplici e di piccole dimensioni, è possibile accedere a tutte le pagine in 1-2 clic dalla pagina principale, ma cosa succede se il sito è grande e la sua struttura non è semplice? Un tale sito sarà scomodo non solo per i visitatori, ma anche non ovvio per i motori di ricerca.
Cosa sono le mappe dei siti
I motori di ricerca indicizzano il sito gradualmente, livello per livello, a partire dalla pagina principale. Se il sito ha molti livelli di annidamento delle pagine, passeranno molti mesi prima che tutte le pagine del sito vengano indicizzate. Quindi è necessario creare una mappa del sito, che conterrà tutti i collegamenti a tutte le pagine del sito contemporaneamente, in modo che il robot non perda tempo a navigare attraverso i livelli di nidificazione, giusto? Sì e no. La risposta dipende dal motivo per cui è stata creata la mappa e da cosa sarà. Consideriamo cosa sono le mappe dei siti.
Mappa del sito Mappa del sito HTML
Le Sitemap sono divise in 2 tipi o formati principali: mappa del sito html e file xml della mappa del sito. La mappa del sito HTML è la pagina del sito., che elenca i collegamenti. Solitamente si tratta di link alle sezioni e pagine più importanti del sito. La mappa del sito HTML è più per le persone piuttosto che robot e aiuta a navigare rapidamente nelle sezioni principali del sito. Per una mappa del sito sotto forma di pagina html, ci sono serie restrizioni sul numero di collegamenti in una pagina. Se nella pagina sono presenti troppi collegamenti, non tutti i collegamenti possono essere indicizzati, oppure la pagina della mappa del sito potrebbe essere esclusa dalla ricerca di un numero eccessivo di collegamenti, anche se .
Affinché la mappa del sito html sia correttamente indicizzata e adeguatamente percepita dai visitatori, non dovresti inserire più di 100 link nella pagina. Questo è più che sufficiente per inserire nella pagina tutte le sezioni e sottosezioni che non rientravano nel menu principale.
Generalmente, mappa del sito in formato HTML ha una struttura ad albero, dove sono indicate le sezioni e le sottosezioni ampliate. Spesso vengono progettate sitemap HTML inutilmente ingombranti elementi grafici, stili CSS e integrati da Java-script. Tuttavia, la mappa del sito html è di scarso valore per i motori di ricerca.
Una mappa del sito HTML non è una mappa del sito completa. E se il sito avesse centinaia, migliaia, decine di migliaia di pagine? Per fare ciò, è necessario inserire collegamenti a tutte le pagine della mappa del sito in formato xml.
Mappa del sito Mappa del sito XML
Una Sitemap XML è un file XML del tipo sitemap.xml, che di solito si trova nella radice del sito. Una mappa del sito xml ha molti vantaggi rispetto a una mappa del sito html. Sitemap xml è un formato speciale della mappa del sito, che è determinato da tutti i motori di ricerca popolari, come Google e Yandex. Puoi specificare fino a 50.000 link nella mappa del sito xml. Inoltre, nella mappa del sito xml, puoi specificare la relativa priorità e frequenza di aggiornamento delle pagine.
Vale la pena dire che il contenuto della mappa del sito è solo una raccomandazione per il robot di ricerca. Ad esempio, se imposti la pagina del sito su una frequenza di aggiornamento annuale, i robot di ricerca continueranno a funzionare più spesso. E se imposti la frequenza di aggiornamento della pagina su oraria, ciò non significa che i robot indicizzeranno la pagina ogni ora.
Sitemap xml ha una sintassi specifica, diamo un'occhiata alla struttura del sitemap xml in modo più dettagliato.
Esempio di file della mappa del sito sitemap.xml
Il file sitemap.xml corretto deve essere codificato in UTF8. Il contenuto del file sitemap.xml è simile al seguente:
Quando vengono utilizzati i seguenti tag obbligatori:
- tag genitore, contiene tutti gli url-address; — тег, в котором указываются сведения о конкретном url-адресе; https://qipu.ru/it/ — в данном теге указывается непосредственно url.
— этот тег заключает в себе дату последнего изменения страницы; — тег используется, чтобы указать насколько часто изменяется страница: always, hourly, daily, weekly, monthly, yearly, never; — указывает приоритет определенной страницы, относительно других страниц сайта от 0,1 – низкий приоритет, до 1 – высокий приоритет.
Так же, в файле карты сайта в формате xml должно содержаться указание на пространство имен языка XML:
Xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
Если файл карты сайта включает более 50 тысяч ссылок или размер sitemap.xml превышает 10 мб, рекомендуется разделить карту сайта на несколько файлов. В таком случае, в карте сайта необходимо указать несколько ссылок на разные файлы карт.
Здесь используются уже знакомые нам теги
— родительский тег, в который заключаются адреса всех карт сайта; — тег, в котором заключается параметры для каждой карты сайта.
Пример файла карты сайта sitemap.txt
Еще одним способом оформления карты сайт в виде файла может быть карта сайта в формате txt:
1. http://mysite.ru/ 2. http://mysite.ru/page/ 3. http://mysite.ru/page1/
Все просто. В файле sitemap.txt построчно перечисляются все необходимые ссылки. Карта сайта в формате txt — это «вариант для ленивых». Здесь работает аналогичное sitemap xml ограничение в 50.000 ссылок. Однако, TXT карта сайта лишена возможностей указания даты последнего изменения и приоритета страницы.
Как создать карту сайта
Создание карты сайта важный процесс, в котором необходимо четко указать, какие страницы сайта нужно индексировать и как лучше их индексировать. В зависимости от того о каком типе карты сайта идет речь, используются различные способы создания карты сайта . Как создать html карту сайта обсуждать отдельно смысла нет. Рассмотрим как сделать карту карта в формате xml файла. Существует несколько основных способов создания карты сайта, но все их объединяет то, где находится карта сайта и как файл sitemap определяется поисковыми системами.
Как уже было написано выше — файл карты сайта размещается в корне сайта . Поисковые системы способны самостоятельно обнаружить файл карты сайта. Но существует несколько способов указания прямой ссылки на файл(ы) карты сайта(ов) для более скорого обнаружения поисковыми системами. Самый простой способ указать место расположения файла карты сайта — это непосредственное указание ссылки или нескольких ссылок на файлы карт сайта в инструментах для вебмастеров от Yandex и Google. Там же можно проверить карту сайта , провести анализ карты сайта на корректность , соответствие того, какие страницы из карты сайта найдены поисковой системой и сколько из них находится в индексации.
Второй способ указать поисковым системам на расположение файла карты сайта — это .
Sitemap: http://mysite.ru/sitemap.xml
В robots.txt можно указать несколько файлов sitemap, после чего, он автоматически будут добавлены в инструменты для вебмастеров. Как найти карту сайта мы рассмотрели, теперь перейдем к тому, как создать карту сайта.
Основные способы создания карты сайта
- Генерация карты сайта силами системы управления сайта, если CMS имеет подобную встроенную возможность.
- Скачать карту сайта со стороннего онлайн сервиса. Существует множество online генераторов карт сайта с различным возможностями и ограничениями. Напрмер xml-sitemaps.com обладает возможностью настройки параметров карты сайта, но имеет ограничение по количеству ссылок в файле sitemap.xml в 500 штук.
- Скачать программу-генератор карты сайта . Подобные программы генераторы обычно платные, но при их помощи можно можно регулярно генерить sitemap xml для одного или нескольких сайтов. Вот пара примеров подобных программ-генераторов: SiteMap XML Dynamic SiteMap Generator, WonderWebWare SiteMap Generatior.
- Автоматическое создание sitemap карты сайта в Joomla (Джумла), WordPress (Вордпресс), Bitrix (Битрикс).
- Создание карты сайта вручную .
Карта сайта — один из важнейших инструментов . Не важно, как будет создана карта сайта. Важно — какие ссылки будут перечислены в карте сайта и как часто она будет обновляться. Иногда, в карту сайта выгружается все подряд и даже те ссылки, которые запрещены в robots.txt или . А обновление карты сайта происходит раз в месяц или реже. Подобное отношение к карте сайта может не просто сделать ее бесполезной, но того хуже — запутать поискового робота, что негативно отразится на индексации и позициях сайта в поиске.
Создайте карту сайта для своего ресурса. Но будте внимательны и хорошо подумайте, что выгружать в sitemap, а что нет.
Недавно для одного сайта я , а через некоторое время получил уведомление о найденных там ошибках. Если честно, слегка удивился такому заявлению, так как использовал проверенный и один из лучших плагинов в данной сфере — WordPress SEO by Yoast . Однако сервис Яндекса настаивал на своем:
При клике по этим 442 ошибкам я попал на страницу с результатами анализа, но вместо ошибок там почему-то отображались лишь предупреждения, которых оказалось еще и значительно меньше. Все они касались тега image:image в sitemap.xml с картинками из текущей страницы.
Насколько я знаю, данная опция используется достаточно давно, странно, что в Sitemap тег image для Яндекс до сих пор кажется чем-то неизвестным. Ниже рассмотрим несколько основных моментов:
- (хаки для изображений).
Sitemap для изображений
Если честно, я не знал, что сейчас в Sitemap картинки выводятся наряду со ссылками на страницы. Используемые ранее , модуль Google XML Sitemaps для вордпресс и выводили просто список нужных записей и постов без изображений. Однако позже я перешел на модуль SEO Yoast и здесь, как оказалось, все немного по другому.
Информацию о теге image:image для Sitemap можно найти в справке Search Console. Для карты сайта допускается использование нескольких тегов:
Вот пример Image XML Sitemap (здесь 2 страницы по 2 картинки в каждой):
|
|
Come puoi vedere, in Google, le informazioni sulle immagini nella Sitemap vengono visualizzate separatamente dalle pagine.
Mappa del sito XML di Yoast SEO
Supponiamo che tu abbia già scaricato, installato e attivato questo modulo. Per creare una mappa del sito in Yoast SEO, devi andare nella sezione omonima del menu delle impostazioni del plugin.
Qui troverai 4 punti:
- Impostazioni generali;
- Tipi di post: inclusione nella mappa del sito di post, pagine, file multimediali;
- Voci escluse: la possibilità di rimuovere determinate note per ID;
- Tassonomie: inclusione/esclusione di diverse tassonomie dalla mappa.
In cima a queste voci di menu, troverai un dispositivo di scorrimento che dovrebbe essere impostato sull'opzione "Abilitato", che corrisponde alla mappa del sito XML Yoast SEO attivata. Nella scheda Generale, è presente un pulsante Mappa del sito XML che ti reindirizzerà alla mappa del sito generata. A proposito, si trova in sitemap_index.xml, quindi non dimenticare di modificare Robots.txt di conseguenza. Per ogni categoria separata di URL, viene creato un file Sitemap separato:
- http://www.sitename.ru/post-sitemap.xml - Post di WordPress;
- http://www.site_name.ru/page-sitemap.xml — pagine del sito;
- http://www.site_name.ru/category-sitemap.xml - categorie (intestazioni);
- http://www.site_name.ru/post_tag-sitemap.xml — tag (tag).
Se in precedenza hai utilizzato un sito WordPress, nelle impostazioni SEO di Yoast vedrai la notifica corrispondente sull'impossibilità di combinare due moduli. Dovrai disabilitare le Sitemap XML di Google.
Immagini nella mappa del sito XML di Yoast SEO
Ho già detto sopra che le immagini nella Sitemap vengono aggiunte automaticamente dal modulo Yoast SEO e non puoi disabilitare questa opzione. Sì, c'è il divieto di indicizzare i cosiddetti allegati, ma queste non sono le immagini stesse, ma un tipo di post speciale (tipo di post multimediale).
È inoltre necessario comprendere che non tutte le immagini caricate utilizzando la Sitemap verranno indicizzate. Non preoccuparti di questo, il risultato dipende dalla decisione di Google. Il motore di ricerca potrebbe considerare il tuo file non sufficientemente utile, unico, di grandi dimensioni, ecc.
Ci sono due filtri in Yoast SEO che aiutano a "modificare" un po' la visualizzazione delle immagini nella mappa del sito. Primo - wpseo_xml_sitemap_img consente di disattivare l'aggiunta di immagini alla Sitemap XML.
funzione wpseo_cdn_filter($uri) ( return str_replace("http://example.com", "http://cdn.example.com", $uri); ) add_filter("wpseo_xml_sitemap_img_src", "wpseo_cdn_filter");
Le modifiche avranno effetto dopo l'aggiornamento della mappa del sito. Puoi accelerare questo processo disabilitando e quindi riattivando l'output della Sitemap.
Plugin per la creazione di immagini Sitemap XML
La maggior parte dei servizi e dei programmi che consentono di creare una Sitemap per le immagini si sono rivelati a pagamento. Alcuni di loro hanno versioni di prova con funzionalità complete, quindi se hai bisogno di creare una mappa del sito, puoi usarle. Ho trovato solo un progetto completamente gratuito - Generatore di mappe del sito di immagini gratuite dell'agenzia Angel Digital.
Nella pagina del form, inserisci l'indirizzo del tuo sito e clicca sul link "Genera Sitemap Immagine". Dopo un paio di minuti, otterrai il codice sorgente per la mappa del sito, che copi in un editor di testo e salvi come file XML. Sembra tutto, ovviamente, poco presentabile e non sono sicuro che tra un paio d'anni il progetto funzionerà ancora, ma il servizio ha generato una Sitemap con le immagini. L'unico inconveniente è che il file finale dovrà essere ripulito un po' da duplicati e immagini varie non contenute (ad esempio icone sulla pagina).
Se hai WordPress, sei più fortunato. Esistono diverse soluzioni adatte per questo sistema. Ne ho scelti due che ispirano la massima fiducia.
Mappa del sito di tutte le immagini di Udinra
Il plug-in Udinra All Image Sitemap genera automaticamente una mappa del sito di immagini e invia ping a Google, Bing e Ask.com. Questo modulo ha il maggior numero di download (10k), le valutazioni più alte e viene aggiornato regolarmente. Esiste una versione Pro con funzionalità interessanti (supporto per plugin e gallerie di eCommerce), ma in teoria una versione gratuita dovrebbe essere adatta anche per un sito normale.
Mappa del sito con immagine avanzata
L'autore del modulo Advanced Image Sitemap lo definisce lo strumento più potente per la creazione di immagini Sitemap XML. A giudicare dalla descrizione, il plugin ha più impostazioni del precedente, tuttavia un numero esiguo di download confonde un po'.
Totale. Certo, è divertente che nel 2016 si sia verificato un errore Yandex con un'immagine sconosciuta: tag immagine nella Sitemap. Teoricamente, la situazione può essere corretta con un piccolo trucco. Innanzitutto, crea una mappa del sito senza immagini in Yoast SEO (usando l'hack sopra) + crea separatamente Images Sitemap XML come secondo modulo. Inoltre, per Google "nascondi" entrambe le carte, mentre per Yandex in Robots.txt e/o nel pannello webmaster, mostri solo l'opzione senza immagini.
Mi chiedo se questi avvisi in Yandex.Webmaster interferiscono con la lettura dei dati dalla mappa del sito XML? Cosa ne pensi di questo? Come viene implementata la tua mappa del sito per le immagini?
