Przejdź do treści

NEWSLETTERRaz w miesiącu konkrety z wdrożeń w firmach usługowych, zero spamu. Zapisz się i odbierz checklistę →

Czy ChatGPT widzi Twoją stronę? robots.txt, roboty OpenAI i JavaScript

Jak sprawdzić, czy ChatGPT może przeczytać stronę firmy: które roboty OpenAI wpuścić w robots.txt, co blokuje Cloudflare i czemu treść musi stać w HTML.

Filip Kostecki

Opublikowano

ChatGPT czyta strony przez roboty OpenAI. Żeby strona firmy mogła trafić do odpowiedzi wyszukiwania w ChatGPT, muszą się zgadzać 3 rzeczy: plik robots.txt wpuszcza robota OAI-SearchBot, zapora serwera albo Cloudflare go nie zatrzymuje, a tekst strony przychodzi w HTML i nie powstaje dopiero w przeglądarce. Każdą z nich sprawdzisz sam w kilka minut.

Które roboty OpenAI odwiedzają stronę?

Na zwykłe strony firmowe przychodzą 3 roboty OpenAI. Każdy ma inne zadanie i każdy ustawiasz osobno.

Robot Po co przychodzi Co daje blokada
OAI-SearchBot zbiera strony do wyszukiwania w ChatGPT strona nie pojawia się w odpowiedziach wyszukiwania, najwyżej jako zwykły link
GPTBot zbiera treści, które mogą posłużyć do trenowania modeli treść nie trafia do trenowania, wyszukiwanie zostaje bez zmian
ChatGPT-User otwiera stronę, gdy użytkownik poprosi o to w rozmowie robots.txt może go nie zatrzymać, a o wyszukiwaniu nie decyduje

Dla firmy, która chce, żeby ChatGPT ją znalazł, najważniejszy jest OAI-SearchBot. GPTBot możesz zablokować bez szkody dla wyszukiwania, jeśli nie chcesz, żeby teksty ze strony szły do trenowania.

Schemat: 3 roboty OpenAI i skutki ich blokady. OAI-SearchBot zbiera strony do wyszukiwania w ChatGPT i jego blokada usuwa stronę z odpowiedzi; GPTBot zbiera treści do trenowania modeli i jego blokada nie zmienia wyszukiwania; ChatGPT-User otwiera stronę na prośbę użytkownika i robots.txt może go nie zatrzymać. Do sprawdzenia: robots.txt, zapora serwera albo Cloudflare i tekst w HTML
Kto z OpenAI czyta stronę firmy i co zmienia blokada każdego robota.

Jak sprawdzić plik robots.txt?

Otwórz w przeglądarce adres swojej domeny z dopiskiem /robots.txt, na przykład example.com/robots.txt. Szukaj 2 rzeczy:

  • grupy User-agent: OAI-SearchBot z linią Disallow: /, która blokuje robota na całej stronie,
  • grupy User-agent: * z Disallow: /, jeśli w pliku nie ma osobnej grupy dla OAI-SearchBot. Robot stosuje się do grupy ze swoją nazwą, a gdy jej nie ma, do grupy z gwiazdką.

Zwróć też uwagę, co zwraca sam adres. Brak pliku (błąd 404) oznacza, że robot może czytać całą stronę. Błąd serwera (kody 500–599) działa odwrotnie: robot ma wtedy uznać całą stronę za zablokowaną, więc zepsuty robots.txt potrafi wyłączyć stronę z wyszukiwania.

Plik, który wpuszcza wyszukiwanie w ChatGPT, a blokuje trenowanie, wygląda tak:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Jeśli stronę zbudowano w kreatorze albo na WordPressie z wtyczkami, plik często powstaje automatycznie z ustawień. Patrz więc na plik pod adresem, a nie na opis opcji w panelu. Po zmianie odczekaj ok. 24 godzin: tyle według OpenAI trwa, zanim wyszukiwanie w ChatGPT uwzględni nowy plik.

Czy zapora albo Cloudflare wpuszcza roboty?

Plik robots.txt to prośba do robota. Zapora decyduje naprawdę: jeśli zwróci robotowi błąd 403, robots.txt nie ma znaczenia.

W Cloudflare otwórz Security → Settings i znajdź pozycję AI Crawler and Agent access policies. Kategorie Search i Agent powinny stać na „Allow”. Nowe domeny dostają dziś „Allow” domyślnie, ale od 1 lipca 2025 r. Cloudflare przez pewien czas domyślnie blokował roboty AI, więc domena dodana w tym okresie może mieć blokadę.

Jeśli serwer ma własną zaporę u hostingu, wpuść adresy IP robotów. OpenAI publikuje je w plikach JSON, na przykład listę adresów OAI-SearchBot, i zaleca ich przepuszczenie.

Czy robot widzi tekst, czy pustą stronę?

Roboty OpenAI pobierają pliki JavaScript, ale ich nie uruchamiają. Wyjątkiem jest Gemini, który korzysta z robota Google i JavaScript wykonuje. Strona, która składa tekst w przeglądarce (aplikacja w React albo Vue bez renderowania na serwerze, część kreatorów), dla ChatGPT jest pusta: robot dostaje kod, a nie treść.

Sprawdzisz to bez narzędzi:

  1. Otwórz stronę w Chrome i naciśnij Ctrl+U (na Macu Cmd+Option+U). Zobaczysz HTML, który wysyła serwer.
  2. Naciśnij Ctrl+F (Cmd+F) i wpisz zdanie z pierwszego akapitu strony.
  3. Jeśli zdanie jest w źródle, robot je przeczyta. Jeśli go nie ma, tekst powstaje dopiero w JavaScripcie.

Naprawa to renderowanie na serwerze albo strona generowana do statycznego HTML przy budowaniu, na przykład w Astro albo Next.js. Wygląd się nie zmienia, zmienia się to, co serwer wysyła.

Jak to sprawdzić z wiersza poleceń?

Jeśli masz terminal, jedna komenda pokaże kod odpowiedzi dla robota wyszukiwania:

curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" https://example.com/

Wynik 200 oznacza, że serwer wpuszcza ten podpis. Wynik 403 przy tym teście nie zawsze znaczy blokadę: zapora może rozpoznać, że zapytanie nie przyszło z adresów OpenAI. Wtedy sprawdź ustawienia w panelu, jak wyżej.

Jeśli ChatGPT ma też pokazywać aktualne dane firmy, załóż dla niej profil: opisujemy to w artykule jak dodać firmę do ChatGPT.

Gdy strona składa tekst w JavaScripcie albo nie wiesz, co blokuje zapora, podeślij adres. Sprawdzimy robots.txt, ustawienia zapory i renderowanie i napiszemy, co zmienić. Przebudowę strony do statycznego HTML robimy w ramach usługi strony internetowe.

Sprawdź swoją stronę

Pytania i odpowiedzi

Czy zablokowanie GPTBot usuwa stronę z ChatGPT?

Nie. GPTBot zbiera treści do trenowania modeli, a o wyszukiwaniu w ChatGPT decyduje OAI-SearchBot. OpenAI traktuje te ustawienia niezależnie: możesz zablokować trenowanie i zostać w wynikach wyszukiwania.

Ile trwa, zanim ChatGPT uwzględni zmianę w robots.txt?

W wyszukiwaniu ok. 24 godzin od zmiany pliku, według dokumentacji OpenAI.

Czy strona bez pliku robots.txt jest dla ChatGPT zablokowana?

Nie. Gdy pod adresem /robots.txt nie ma pliku i serwer zwraca błąd 404, roboty mogą czytać całą stronę. Plik przydaje się, gdy chcesz coś zablokować albo wskazać mapę witryny.

Czy plik llms.txt pomaga ChatGPT czytać stronę?

OpenAI nie wymienia go w dokumentacji swoich robotów. O tym, co robot przeczyta, decydują robots.txt, zapora i treść w HTML, więc od nich zacznij.

Czy ChatGPT przeczyta stronę zbudowaną w React albo Vue?

Tylko wtedy, gdy serwer wysyła gotowy HTML z tekstem. Aplikacja, która składa treść dopiero w przeglądarce, jest dla robotów OpenAI pusta, bo nie uruchamiają one JavaScriptu.

Filip Kostecki

Założyciel FKDRIVE i programista. Buduje i utrzymuje systemy webowe oraz automatyzacje.

CZYTAJ DALEJ

Powiązane artykuły.

Porozmawiajmy o Twoim projekcie.

Trzydzieści minut online o jednym albo dwóch procesach, które zjadają najwięcej czasu. Jeśli wolisz napisać, formularz kontaktowy jest równie dobrą drogą.

Umów 30 minut

NEWSLETTER

Raz w miesiącu konkrety z wdrożeń, zero spamu

Piszemy o tym, co realnie wychodzi z wdrożeń w firmach usługowych: co zjada godziny, co daje się przestawić bez wymiany całego systemu i ile to zwykle kosztuje. Bez sprzedawania w każdej wiadomości. Na start dostajesz checklistę 15 sygnałów.

Wypisujesz się w każdej chwili. Bez zobowiązań.

COOKIES

Bez ciasteczek pracujemy po ciemku

Nie wiemy wtedy, które fragmenty tej strony komuś pomagają, a które są do wyrzucenia. Zgoda włącza statystyki odwiedzin, nagrania sesji z automatycznie maskowaną treścią formularzy oraz pomiar skuteczności reklam. Danymi nie handlujemy i nie sprzedajemy ich nikomu.

Decyzję zmienisz w każdej chwili linkiem „Ustawienia cookies” w stopce. Co dokładnie zbieramy →