User-agent: Googlebot-News
Disallow: /a/
Disallow: /ad/
Disallow: /ads/
Disallow: /adv/
Disallow: /app/news/
Disallow: /app/netzbewertung/
Disallow: /auskunft/
Disallow: /blitz/
Disallow: /cebit/
Disallow: /cgi-bin/
Disallow: /chronik/
Disallow: /click/
Disallow: /computer/
Disallow: /consumer-electronics-show/
Disallow: /content/
Disallow: /db/
Disallow: /dienste/
Disallow: /discounter/
Disallow: /facebook/
Disallow: /fernsehen/
Disallow: /festnetz/
Disallow: /flatrate/
Disallow: /forum/
Disallow: /gewinnspiel/
Disallow: /h/
Disallow: /handy/
Disallow: /hardware/
Disallow: /hausbau/
Disallow: /heimvernetzung/
Disallow: /i/
Disallow: /ifa-berlin/
Disallow: /intern/
Disallow: /internet/
Disallow: /jobs/
Disallow: /kids-und-teens/
Disallow: /kommunikation-zuhause/
Disallow: /lifestyle/
Disallow: /media/
Disallow: /mobile-kommunikation/
Disallow: /mobile-world-congres/
Disallow: /mobilfunk/
Disallow: /moderne-netze/
Disallow: /multimedia/
Disallow: /navigation/
Disallow: /netbook/
Disallow: /newsticker/
Disallow: /nl/
Disallow: /podcast/
Disallow: /presse/
Disallow: /promotion/
Disallow: /radio/
Disallow: /ratgeber/
Disallow: /reise/
Disallow: /roaming/
Disallow: /senioren/
Disallow: /service/
Disallow: /sicherheit/
Disallow: /smartphone/
Disallow: /smartwatch/
Disallow: /specials/
Disallow: /sport/
Disallow: /tablet/
Disallow: /tag/
Disallow: /tarif-rechner/
Disallow: /tarife-und-geraete/
Disallow: /tarife/
Disallow: /technik/
Disallow: /telefonanlage/
Disallow: /telefonieren-zuhause/
Disallow: /teltarif-hilft/
Disallow: /test/
Disallow: /umfrage/
Disallow: /umzug/
Disallow: /unterwegs/
Disallow: /ttt.gif
Disallow: /ttt.gif*
Disallow: /ttt.go
Disallow: /ttt.go*
Disallow: /ttt.png
Disallow: /ttt.png*
Disallow: /user/
Disallow: /verbraucher/
Disallow: /video/
Disallow: /voip/
Disallow: /widget/
Disallow: /wlan/

# Ai Systeme exkludieren
# https://netfuture.ch/2023/07/blocking-ai-crawlers-robots-txt-chatgpt/
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: anthropic-ai
Disallow: /
User-agent: Omgilibot
Disallow: /

# All roboters may access everything, except certain cgi scripts:
User-agent: *
Disallow: /cgi-bin/
Disallow: /ad/
# Test: kann man damit alte urls loswerden? Pixel selbst enthalten ein noindex
# Update 12.12.2023 - wieder abgeschaltet tauchen die alten jetzt wieder auf?
Allow: /ads/*.a=22
Allow: /ads/*.a=40
Allow: /ads/*.a=41
Allow: /ads/*.a=42
Allow: /ads/*.a=43
Allow: /ads/*.a=44
Allow: /ads/*.a=45
Allow: /ads/*.a=46
# Fehler aussortiere ohne id!
Allow: /ads/*.a=$
# Dito für inzwischen sehr alte Click-Urls (11/2023 ergänzt)
# Diese gehen zu 99% auf 404 da die belegung deaktiviert
Allow: /click/*.a=40
Allow: /click/*.a=41
Allow: /click/*.a=42
Allow: /click/*.a=43
Allow: /click/*.a=44
Allow: /click/*.a=45
Allow: /click/*.a=46
Disallow: /ads/
Disallow: /click/
Disallow: /user/
Disallow: /intern/action/print/
Disallow: /ttt.gif
Disallow: /ttt.gif*
Disallow: /ttt.go
Disallow: /ttt.go*
Disallow: /ttt.png
Disallow: /ttt.png*
Disallow: /app/news/
Disallow: /app/netzbewertung/
Disallow: /widget/idealo/
Disallow: /widget/cta/
Disallow: /widget/newsfeed/
Disallow: /db/res.html*city=*
# Beachte das /search/ nicht dabei ist die Suchmaschinen sollten
# heute schlauer damit umgehen und es wird von google auch nicht mehr
# empfohlen - weil die eigentlich allen Links folgen wollen.
# Die seiten selbst haben ja ein noindex.
# OB das aber wirklich sinnvoll ist müsste man mal abschließend klären


Sitemap: https://www.teltarif.de/h/sitemap.xml
Sitemap: https://www.teltarif.de/sitemap-geraete.xml
Sitemap: https://www.teltarif.de/sitemap-info.xml
Sitemap: https://www.teltarif.de/sitemap-tarife.xml