Розглянемо які інструменти у нас є в боротьбі з цією недугою.
Посилання на сторінку
Єдиний стовідсотковий спосіб не дати проіндексувати сторінці - не розміщувати на неї посилання, нехай навіть текстові і не додавати її в аддурілку Яндекса. Google і т.п.
файл robots.txt
Текстовий файл robots.txt (наприклад, для мого блогу) прекрасний інструмент для керування індексацією. Довідка Yandex. Google. Але якщо Гугл знайде посилання на закритий в robots.txt URL, то він додасть його в видачу.
Через це тут потрібно вписувати тільки ті веб-документи, до яких не можна дістатися іншим шляхом. наприклад, фід сайту. І, звичайно, sitemap для більш якісної і швидкої індексації затребуваних сторінок.
HTTP заголовок
URL-адреса не буде проіндексований, якщо код статусу HTTP показує 404 або 301. А для Google, ще й коли присутній рядок
Мета-теги robots
Це головний інструмент. тому що працює він і для Яндекса і для Гугла однаково. На сторінці, доступ до вмісту якої повинен бути заборонений, вказується:
Атрибут rel = "canonical"
Яндекс.Вебмайстер
У Яндекс.Вебмастере - "Налаштування індексування" - "Головне дзеркало" необхідно вказати основний домен, а саме з www або без нього.
Інструменти для веб-майстрів Google
Таку ж процедуру необхідно зробити в Інструментах для веб-майстрів Гугла - "Конфігурація" - "Налаштування".
media = "print"
Не потрібно створювати окрему версію для друку. Стилі можна скорегувати за допомогою media = "print".
Видалення дублікатів, що знаходяться в індексі помилково
PANIC замінила мета-теги, як у Вас. Може краще буде, а то глянула - дійсно біда. але я індексацією / оптимізацією майже не займаюся.
Відповідно до наведеного коду, будуть проіндексовані гл.страніца, стат.страніци і повідомлення? тоді навіщо додати мета-теги для окремо взятої сторінки. NMitra Це тільки при необхідності, якщо, наприклад, не хочете показувати сторінку пошуковикам.
на Яндексі подивилася, що робот вже кілька місяців не відвідував блог. Додавання має вплинути на нього? NMitra Абсолютно ідентичний ідентифікаційний номер. Якби були відмінності - інша справа. А так, досить вказати один раз.
Можливо причиною цьому послужило, що я заборонив відображення заголовків постів. NMitra Це так. В даному випадку ви не приховуєте (display: none;), а зовсім прибираєте заголовок. У вихідному коді сторінки його немає разом з посиланням на статтю. Тому інструменти (RSS, пошук) не можуть його знайти. Філіп Гаврилов відновлення заголовків не допомогло
не допоміг навіть відкат до стандартним шаблоном.
допоможіть будь ласка Філіп Гаврилов вибачте проблема вирішена. ) Філіп Гаврилов хм. хоча мені і вдалося відновити окремі сторінки для постів, посилання в rss-стрічці залишилися як і раніше такі, як показано вище NMitra Наскільки я бачу, все нормально. Покажіть приклад. Філіп Гаврилов перепрошую, і тут все владналося
"Інерція" движка, мабуть
спасибі за відгук! Asur Привіт у мене проблема в тому, що пошукові системи проиндексировали і анонс статті (на головній сторінці) і саму статтю (ту саму частину).
Підкажіть шляхи вирішення.
І чи можна як ні будь переіндексувати сайт? NMitra У цьому немає нічого страшного. Це особливість блогів.
Рішення: частота оновлення сайту. Чим частіше будете писати нові повідомлення, тим частіше вас буде відвідувати бот пошукової системи і, отже, переіндексувати сторінка. Asur Спасибо)) Олексій Куликов Спасибо большое, цей топік ще довго буде залучати людей!
Я правильно зрозумів, якщо я не хочу закривати жодні сторінки, то цю частину запропонованого коду я прибираю і собі не вставляю
Я використовую цей варіант не часто і тільки для деяких з. Господар жабником скажіть, а ключові словах розділяти комою або пробілом? NMitra Офіційної інформації на цю тему немає. Все інше припущення і ворожіння на кавовій гущі. ПС розуміють обидва варіанти. Я не використовую кому. Господар жабником Загалом багато оптимізував по ваших порад)))
Дякуємо!
Будемо чекати результатів! Господар жабником Скажіть, в вебмайстрів Гугл Конфігурація сайту - настройки - Обробка параметрів можна якось впливати на індексацію блогу.
Які варто там змінити параметри? NMitra Залиште "На розсуд Google". У нас є сторінки "Наступна" - "Попередня", ярлики, архів. Робот як і раніше по ним ходить, оскільки ми вказали meta content = 'noindex, follow' name = 'robots'.
Вопрос2: сторінки архіву потрібно прибирати з кешу
У вас вже розставлені правильні мета-теги, тому залишилося зайти в веб-майстер.
2) На Головній для блогу неминуче оформлення заголовка статті на заслання. Це робиться в першу чергу для зручності користувачів. В інших випадках не рекомендується теги h1-h6 укладати на заслання (тег a).
3) Це дещо різні поняття. Мета-тег - його показують в сніпеті в пошуковій видачі, він є службовою інформацією і не видно всередині сторінки. Його не варто робити таким довгим - 1-2 пропозиції.
І "Опис блогу", яке бачить читач під заголовком. В шаблоні можна його прописати так:
- щоб спочатку в пошуку стояла назва статті, а потім назву блогу.
Тоді, щоб заборонити індексацію головною, мені просто потрібно цей код вставити замість рядка:
А решта як у вас прописати?
Я заплутався))) pettrov Наташа, вибачте, я в кінець заплутався)))
Звичайно, один раз прописано.
Все, більше не буду вас відволікати своїми дурними запитаннями.
Дякуємо! NMitra Якщо я щось не розумію, то обов'язково запитую, якщо є у кого.)))
Не, закривати від індексації Головну не потрібно. На неї йде найбільше посилань як зовнішніх, так і внутрішніх. Будемо закривати внутрішню і видаляти всі посилання на неї ведучі.
2) Сторінка зі змістом має добре індексуватися, а відтак не оформлена скриптом. Інакше втрачається її цінність для пошукових систем.
Це швидше за все сторінки архіву, сторінки "Слід" - "Перед" або ярликів. Дублікати потрібно обов'язково прибирати. Іван Наташа схоже що дублюються ярлики, метатеги давно зробив - скрипт для статичних сторінок варто.
Може щось ще. NMitra Іван, а який у вас блог? Забула.
Мені мета допомогли, більш нічого не робила. Хоча на ярлики у мене немає посилань.
Який скрипт? Google з скриптів посилання виділяє. Іван Наталія посилання на блог вказав. Скрипт маю на увазі для заголовків сторінок і закриття індексації архівів. Господар жабником Всі ваші рекомендації зробив. Але все-одно тільки половина сторінок в основному індексі.
І зі сторінками ярликів все-таки щось не те. У результатах пошуку їх не показує, але в веб-майстра вони все-одно є. Хоча я навіть прибрав ці ярлики зі сторінок. Залишив тільки 26 ярликів, а ввеб-майстер показує 120. (NMitra Ви до цього вже прибирали сторінки ярликів з пошуку? Іван Наталя немає, навіть не знаю як))) Я правильно зрозумів - через веб-майстер "Видалити URL" ?!
І в нових сторінках www автоматом з'являється.
Дякуємо. Олег Абрамов У мене гугл індексує посилання з архіву (по місяцях).
видаляємо два фрагмента:
Дякуємо. pettrov здрастуйте, Наталя!
у мене якась дурниця почала відбуватися - у вихідному коді зникли теги RSS
link rel = "alternate"
link rel = "service.post"
і ці, не знаю, відносяться вони до RSS чи ні:
link rel = "EditURI"
link rel = "me"
link rel = "openid.server"
з шаблону HTML після
. Перевірте, будь ласка, наявність цього рядка.Точне написання як у вас я не знаю, потрібен код шаблону. шукайте зайвий
Гугл черпає інформацію з RSS-стрічки, Яндекс з твітера (за моїми припущеннями). У мене в індекс статті залітають в основному після їх передачі в RSS стрічку, з якої йде трансляція в твітер.
Наступна-Попередня буде закрита від індексації.
А так нічого хорошого, якщо сторінки, з яких ви переносили матеріал вже є в індексі - вони будуть прийняті за першоджерело, а ваш блог вийде наповненим копіпастом. Якщо переносили, то потрібно було все ж домагатися унікальності, тобто заново писати матеріал іншими словами, а от думки могли бути ідентичними.
Країни різні, всім не догодиш: що дозволено Юпітеру не дозволено бику. Тому і були створені копії для різних країн. Marina Здрастуйте Наташа!
description не зберігається в налаштуваннях. При перезавантаженні сторінці (навіть натиснувши Зберегти настройки) description зникає
пробувала кілька разів і нічого не зберігається. Підкажіть, як бути? NMitra У коді повинен бути ділянку
напишу три статті в alltoday c посиланням на ваш блог, щоб хоч якось вас віддячити
спасибі, а то просто жах. Таке деякі нарадили
Я ж не веб маніяк, я таких і слів не знаю
а у вас все по людськи
Просто щасливий v-go це я анонімний, якщо що.
вибачте за захаращення ефіру v-go а, ще, забув.
напишіть на пошту мою [email protected] які три анкора мені застосувати для посилань на ваш блог. Буде три статті з однієї посиланням в кожну. Про заробіток можу написати і інтернет. Природно, 100% унікальності. NMitra Приємного вдячна!
Я не женуся за посиланнями (хоча приємно і корисно для блогу коли воно збільшується), тому на ваш розсуд, щоб в тексті лаконічно було. Природні посилання набагато важче дістати і цінуються вони вище. Микола Іванов Шановна Наталія, у мене чомусь в пошуку гугл присутні сторінки пошуку (search? Updated-max), начебто в robots.txt відповідний рядок є. А ось у вас такого рядка в robots.txt немає (Disallow: / search) і сторінок таких в пошуку гугл немає. Як ви цього досягли? NMitra Вони у мене теж іноді з'являються, періодично підчищають через веб-майстер. NMitra Негідник проіндексував сторінку 404 по URL в тексті! Микола Іванов ах вот оно что. Кожну підчищати? У мене їх штук 200. Правда гугл їх приховує. Або чорт з ними, що не яндекс адже? Микола Іванов До речі, вже можна привітати? NMitra Не, у мене не такі обсяги)))
Я б прибрала. З досвіду знаю - Гугл може давати трафіку більше Яндекса (до приходу Пінгвіна)))).
1) проблеми з регіональними доменами blogspot, коли в індексі виявляються і blogspot.ru, і blogspot.com (більш ймовірний),
2) angel-mans.blogspot.ru був визнаний афілійованим сайтом fotovknige.ru.
User-agent: *
Disallow: / search
Disallow: / * archive
Allow: /
ЧТо на це скажете? NMitra / search і інші неугодні закриваються мета-тегами. Всі крім /rpc_relay.html і / feeds. Їх їх адмінки не прибрати.