Create accountLogin

Recent searches

No recent searches

Search options

Only available when logged in.
shakedown.social is one of the many independent Mastodon servers you can use to participate in the fediverse.
A community for live music fans with roots in the jam scene. Shakedown Social is run by a team of volunteers (led by @clifff and @sethadam1) and funded by donations.

Administered by:

Server stats:

255
active users

shakedown.social: AboutStatusProfiles directoryPrivacy policy

Mastodon: AboutGet the appKeyboard shortcutsView source codev4.3.7

#gptbot

0 posts0 participants0 posts today
Public
spielleitung

#GPTBot macht nach wie vor ca. 20% der Zugriffe dieser Mastodon-Instanz aus, aber der Crawler bekommt nur noch von #Iocaine generierten Unsinn. Das reduziert die Datenmenge, die wir an ihn ausliefern, drastisch und zerstört die Qualität unseres Datensatzes für ihn vollkommen.

Es hilft uns also Kosten zu sparen, verschlechtert die LLM und macht auch noch diebische Freude! Win-Win-Win! :KritischerTreffer:

Ein Screenshot einer access.log Auswertung durch goaccess. Viel Text, die wichtigste Zeile zeigt 51739 Zugriffe, mit einem Anteil von 20.60% durch 2 Visitor, die den Useragent GPTBot/1.2 angeben
Screenshot des nach "GPTBot" gegreppten access.log. Einer der Zugriffe geht auf einen sehr langen URL, der aus Unsinnigen Begriffen besteht. Es folgt die sehr lange Logzeile: 20.171.207.0 - - [26/May/2025:22:01:49 +0200] "GET /@dnddeutsch/Languid-specks/Naertho-snapping/Shardie-mates/atumble/gentlyand-news/Reader-chargers/labyrinthine/Pawing-kindling/bled-movementgood/forward/WASTERDEEP/mainland-Curses/saidZaraela/job/PALACE/Yonder-REMAIN/SUTHOOL/arsenal/REGARDED-hie/terrain/SAYING/slightly-unsteadily/shrinking-Duskene/Have/mummified-prowled/bazaar-opinion/identity/intelligence-noisilyby/story/courtierand-adopted/overweary/stubbyfingered-Bravo/gloved/smoked-weakness/COLLECTION-saggingbut/Stink/Magraths-forbade/thammarchs-aheadto/frustrationfilled-trodden/Halllet/reassembled/slayersforhire/nowperhaps-CHUCKLE/maws-roadfrom/bend/started-Talontarto/bored/Endhaltestelle-Berggipfeln/gestreut-Wahre/stob/Gruppenzusammenhalt-Weile/rammst/Ersch%C3%B6pfungsstufen-K%C3%B6nigseichen/steigt/ersonnen/PionierProfils-fasten/share/autarker/morgen/niederduckte/Mystics/Aber/wiederkehrten-Wirtschaftsgeb%C3%A4uden/ragt/breitschultriges-erheben/kaltbl%C3%BCtiger/Leblos-Wurfhaken/A/Kometenschweif/ HTTP/2.0" 200 979 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)"
Screenshot der Ausgabe von curl -H "User-agent: GPTbot" auf den URL aus dem Access Log. Es ist HTML formatierter Text, ein Satz ist markiert: "Und geschwätzig bei denselben Gelegenheiten, ob sie wirklich den Tod erlitten hatte, da schläferte man das Kind so heftig auf mich zu ihm gelangen. Jetzt setzte sich zu befreien, der sie wahrscheinlich auffressen trotz allen."
#MastoAdmin#OpenAI
Replied in thread
Public
Kevin Karhan :verified:

@khobochka guess why I maintain a #Scraper #blocklist?

List of useful things. Contribute to greyhat-academy/lists.d development by creating an account on GitHub.
GitHublists.d/scrapers.ipv4.block.list.tsv at main · greyhat-academy/lists.dList of useful things. Contribute to greyhat-academy/lists.d development by creating an account on GitHub.
#Cloudflare#hetznered#ByteDance
Public
beSpacific

The #NewYorkTimes has blocked #OpenAI’s #webcrawler, meaning that OpenAI can’t use content from the publication to train its AI models. If you check the NYT’s robots.txt page, you can see that the NYT disallows #GPTBot, the crawler that OpenAI introduced earlier this month. Based on the #InternetArchive’s #WaybackMachine, it appears NYT blocked the crawler as early as August 17th. theverge.com/2023/8/21/2384070 #copyright #legalresearch

The VergeThe New York Times blocks OpenAI’s web crawlerBy Jay Peters
Public
Paul Chambers🚧

#OpenAI IP block ranges if you want to block them from your instance and scraping your content. I saw Mastodon devs added something to block #GPTBot via robots.txt a few days ago. Here are the IP ranges:

#MastoAdmin #FediBlock

20.15.240.64/28
20.15.240.80/28
20.15.240.96/28
20.15.240.176/28
20.15.241.0/28
20.15.242.128/28
20.15.242.144/28
20.15.242.192/28
40.83.2.64/28

openai.com/gptbot-ranges.txt

theverge.com/2023/8/7/23823046

github.com/mastodon/mastodon/p

ExploreLive feeds
About