Scribd Logo
Fazer o upload

Bem-vindo(a) ao Scribd!

  • Robots

    Enviado por

    Daniela Danii
    73 visualizações1 página
    robots

    Direitos autorais

    © © All Rights Reserved

    Formatos disponíveis

    TXT, PDF, TXT ou leia online no Scribd

    Você considera este documento útil?

    Este conteúdo é inapropriado?

    Denunciar este documento
    robots

    Direitos autorais:

    © All Rights Reserved
    Baixe no formato TXT, PDF, TXT ou leia online no Scribd
    Sinalizar o conteúdo como inadequado
    73 visualizações1 página

    Robots

    Enviado por

    Daniela Danii
    robots

    Direitos autorais:

    © All Rights Reserved
    Baixe no formato TXT, PDF, TXT ou leia online no Scribd
    Sinalizar o conteúdo como inadequado
    de 1

    User-Agent: wget

    Disallow: /
    User-Agent: sitecheck.internetseer.com
    Disallow: /
    User-Agent: grub-client
    Disallow: /
    User-Agent: NPBot
    Disallow: /
    User-Agent: WebReaper
    Disallow: /
    User-Agent: Teleport
    Disallow: /
    User-Agent: TeleportPro
    Disallow: /
    User-Agent: MSIECrawler
    Disallow: /
    User-Agent: SiteSnagger
    Disallow: /
    User-Agent: WebStripper
    Disallow: /
    User-Agent: WebCopier
    Disallow: /
    User-Agent: Fetch
    Disallow: /
    User-Agent: Offline Explorer
    Disallow: /
    User-Agent: WebZIP
    Disallow: /
    User-Agent: linko
    Disallow: /
    User-Agent: HTTrack
    Disallow: /
    User-Agent: Microsoft.URL.Control
    Disallow: /
    User-Agent: Xenu
    Disallow: /
    User-Agent: larbin
    Disallow: /
    User-Agent: libwww
    Disallow: /
    User-Agent: ZyBORG
    Disallow: /
    User-Agent: Download Ninja
    Disallow: /
    User-Agent: UbiCrawler
    Disallow: /
    User-Agent: DOC
    Disallow: /
    User-Agent: Zao
    Disallow: /

    User-agent: *
    Crawl-delay: 10

    Você também pode gostar