Scribd Logo
Загрузить

Добро пожаловать в Scribd!

  • Robots

    Загружено:

    gabriela
    4 просмотров1 страница

    Оригинальное название

    robots.txt

    Авторское право

    © © All Rights Reserved

    Доступные форматы

    TXT, PDF, TXT или читайте онлайн в Scribd

    Этот документ был вам полезен?

    Это неприемлемый материал?

    Пожаловаться на этот документ

    Авторское право:

    © All Rights Reserved
    Скачайте в формате TXT, PDF, TXT или читайте онлайн в Scribd
    Отметить как неприемлемый контент
    4 просмотров1 страница

    Robots

    Загружено:

    gabriela

    Авторское право:

    © All Rights Reserved
    Скачайте в формате TXT, PDF, TXT или читайте онлайн в Scribd
    Отметить как неприемлемый контент
    из 1

    # www.robotstxt.

    org/

    # Allow crawling of all content


    User-agent: *
    Disallow:

    Вам также может понравиться