app/robots.ts – Generarea fișierului robots.txt în Next.js

import { MetadataRoute } from 'next';

export default function robots(): MetadataRoute.Robots {
  return {
    rules: {
      userAgent: '*',
      allow: '/',
      disallow: ['/admin/', '/api/'],
    },
    sitemap: 'https://www.dexblog.ro/sitemap.xml',
  };
}

Ce face app/robots.ts - Generarea fișierului robots.txt

Fișierul robots.ts din `app/` creează automat răspunsul pentru `https://site.ro/robots.txt`.

Permite stabilirea secțiunilor permise (`allow`) sau restricționate (`disallow`) pentru roboții de indexare (cum ar fi interzicerea accesului pe căile administrative `/admin/` sau endpoint-urile private `/api/`).

Include automat adresa sitemap-ului principal.

Exemple

Exemplul 1: Configurarea completă a regulilor robots.txt

Permite indexarea publică și protejează panoul administrativ.

import { MetadataRoute } from 'next';

export default function robots(): MetadataRoute.Robots {
  return {
    rules: [
      {
        userAgent: '*',
        allow: '/',
        disallow: ['/admin/', '/panou/', '/api/'],
      },
    ],
    sitemap: 'https://www.dexblog.ro/sitemap.xml',
  };
}

Ieșire în terminal

Fișier text corect servit la https://www.dexblog.ro/robots.txt.

Greșeli frecvente

• Păstrarea unei reguli de ‘disallow: /’ după trecerea proiectului din mediul de staging în producție, blocând complet indexarea site-ului pe Google.

Comenzi înrudite

• app/sitemap.ts - Generarea automată a fișierului sitemap.xml: Generează dinamic sau static fișierul XML de hartă a site-ului direct la adresa /sitemap.xml.
• Obiectul metadata - Configurarea etichetelor SEO statice: Definește metadatele paginii (title, description, Open Graph, Twitter Cards, canonical) direct în fișierele layout.tsx sau page.tsx.