Technische SEO: wat het is en wat je in 2026 controleert

- Google noemt drie minimale technische eisen voor Google Zoeken: Googlebot wordt niet geblokkeerd, de pagina geeft een HTTP 200-status en de pagina heeft indexeerbare inhoud (Google Search Central, 2025).
- OpenAI gebruikt GPTBot voor modeltraining en OAI-SearchBot voor ChatGPT search: wie alleen GPTBot blokkeert, kan nog steeds in de zoekantwoorden van ChatGPT verschijnen (OpenAI, 2026).
- Google Search negeert llms.txt: het bestand helpt en schaadt je zichtbaarheid in Google Search niet (Google Search Central, 2026).
Wat is technische SEO?
Technische SEO is het deel van SEO dat bepaalt of zoekmachines en AI-systemen je pagina's kunnen bereiken, verwerken en opnemen. SEO is het vindbaar maken van een bedrijf in de organische resultaten van Google, Google Maps en AI-assistenten. Dat werk rust op drie pijlers: techniek, content en autoriteit. Techniek komt eerst, want content en links leveren pas iets op als Google de pagina kan lezen. Hoe de drie samenhangen, staat in het artikel over de pijlers van SEO.
Technische SEO beantwoordt vier vragen. Mag een crawler de pagina ophalen? Staat de inhoud in de HTML, of pas na het uitvoeren van JavaScript? Welke pagina's horen in de index en welke versie telt? Laadt de pagina snel en stabiel, ook op een telefoon?
Google noemt zelf drie minimale technische eisen om in Google Zoeken te verschijnen: Googlebot wordt niet geblokkeerd, de pagina werkt met een HTTP 200-status en de pagina heeft indexeerbare inhoud (Google Search Central, 2025). Google zegt erbij dat je daarmee geen garantie op indexering hebt.
Hoe verwerkt Google een pagina?
Google verwerkt een pagina in drie fasen: crawlen, renderen en indexeren (Google Search Central, 2026). Bij het crawlen haalt Googlebot de HTML op. Bij het renderen voert Google de JavaScript uit, soms pas later. Daarna beslist Google of de pagina in de index komt. Een pagina die bij het crawlen geblokkeerd wordt, komt nooit bij het renderen. Zoek je een technisch probleem, loop de keten dan van voor naar achter af.
Googlebot leest ook niet onbeperkt. Hij haalt de eerste 2 MB van een HTML-bestand of ander ondersteund bestandstype op en de eerste 64 MB van een PDF, ongecomprimeerd en per bestand (Google Search Central, 2026). Volgens John Mueller van Google lopen sites hier zeer zelden tegenaan (Search Engine Roundtable, 2026).
Toegang: robots.txt, statuscodes en je firewall
Robots.txt is het bestand in de hoofdmap van je site dat crawlers vertelt welke URL's ze mogen ophalen. Volgens Google is het geen middel om een pagina uit Google te houden: een geblokkeerde URL kan toch in de zoekresultaten verschijnen als andere pagina's ernaar linken. Daarvoor gebruik je een noindex-tag (Google Search Central, 2025), op een pagina die crawlbaar blijft zodat Google de tag kan lezen. Om dezelfde reden lost robots.txt geen dubbele content op. Daarvoor zijn de canonical-tag en interne links bedoeld.
Statuscodes vertellen een crawler wat er met een URL aan de hand is: 200 voor een werkende pagina, 301 voor een permanente doorverwijzing, 404 voor een pagina die niet bestaat en 5xx voor een serverfout. Bij een nieuwe site of domeinwissel moet elke oude URL de juiste statuscode krijgen. Het stappenplan daarvoor staat in het artikel over website-migratie.
De derde toegangspoort is je firewall of CDN. Cloudflare vraagt sinds 1 juli 2025 bij elk nieuw domein of AI-crawlers worden toegelaten, met blokkeren als standaardkeuze (Cloudflare, 2025). Een site kan dus AI-crawlers weigeren zonder dat het in robots.txt staat. Perplexity raadt zelf aan om in de firewall zowel de user agent als de gepubliceerde IP-reeksen van de bot toe te staan (Perplexity, 2026).
Welke AI-crawlers zijn er en wat doet robots.txt ermee?
AI-crawlers zijn bots van aanbieders als OpenAI, Anthropic en Perplexity die pagina's ophalen voor drie doelen: modeltraining, een eigen zoekindex en het ophalen van een pagina op verzoek van een gebruiker. Aanbieders gebruiken per doel een eigen naam in robots.txt, en dat bepaalt wat er gebeurt als je blokkeert.
- Google: Googlebot crawlt voor Google Zoeken, inclusief AI Overviews en de AI-modus. Google-Extended is alleen een token in robots.txt dat bepaalt of content gebruikt mag worden voor Gemini-training en grounding. Het heeft volgens Google geen effect op opname in Google Zoeken en is geen rankingsignaal (Google Search Central, 2026).
- OpenAI: GPTBot verzamelt content voor modeltraining. OAI-SearchBot is er voor ChatGPT search: een site die deze bot weigert, wordt niet getoond in de antwoorden. Een wijziging in robots.txt is na ongeveer 24 uur verwerkt. Voor ChatGPT-User, dat pagina's ophaalt op verzoek van een gebruiker, geldt robots.txt volgens OpenAI mogelijk niet (OpenAI, 2026).
- Perplexity: PerplexityBot toont en linkt sites in de zoekresultaten van Perplexity en wordt niet gebruikt voor training. Perplexity-User haalt pagina's op voor een gebruiker en negeert robots.txt doorgaans (Perplexity, 2026).
- Anthropic: ClaudeBot is er voor training, Claude-SearchBot voor de zoekresultaten van Claude en Claude-User voor gebruikersverzoeken. Anthropic zegt dat zijn bots robots.txt respecteren (Anthropic, 2026).
Wie niet in trainingsdata wil belanden maar wel gevonden wil worden, blokkeert alleen GPTBot, ClaudeBot en Google-Extended, en laat OAI-SearchBot, PerplexityBot en Claude-SearchBot toe. Een regel die alle AI-bots blokkeert, haalt je ook uit de zoekresultaten van ChatGPT, Perplexity en Claude. En robots.txt is een verzoek, geen slot: bots die voor een gebruiker ophalen, volgen het volgens OpenAI en Perplexity zelf niet altijd.
Blokkeren is een keuze, geen technische fout. Voor een autodealer of adviesbureau dat klanten zoekt, ligt toelaten van de zoekbots meer voor de hand: een AI-assistent kan een site die hij niet mag lezen ook niet als bron noemen. Dat je na het toelaten in een antwoord verschijnt, kan niemand garanderen.
Indexering sturen: noindex, canonical, sitemap en interne links
Indexering sturen betekent dat je Google vertelt welke pagina's in de zoekresultaten horen en welke versie van een pagina de echte is. De noindex-tag houdt een pagina uit de index. De canonical-tag wijst bij bijna gelijke pagina's de hoofdversie aan, bijvoorbeeld bij filtervarianten of URL's met parameters. Interne links laten zien welke pagina's belangrijk zijn en zorgen dat de crawler ze vindt.
Een XML-sitemap is een lijst met de URL's die je geïndexeerd wilt hebben. Volgens Google is hij bij ongeveer 500 pagina's of minder met goede interne links niet per se nodig, en garandeert hij nooit dat alles gecrawld en geïndexeerd wordt (Google Search Central, 2025). Een sitemap vervangt dus geen goede interne linkstructuur.
Crawlbudget is de hoeveelheid pagina's die Google in een periode op je site wil en kan crawlen. Google richt zijn gids daarover op sites met ongeveer 1 miljoen pagina's die wekelijks veranderen, of 10.000 pagina's die dagelijks veranderen, en noemt dat zelf een ruwe schatting (Google Search Central, 2026). Een gewone bedrijfssite heeft genoeg aan een actuele sitemap en het rapport Pagina-indexering in Google Search Console. Een uitzondering is een dealergroep waar elke combinatie van merk, model en brandstof een eigen filter-URL krijgt. Daar loont het om te controleren welke van die URL's Google crawlt.
Waarom zien AI-crawlers je content soms niet?
JavaScript-rendering is een punt waar AI-crawlers van Googlebot verschillen. Google kan JavaScript uitvoeren, maar noemt server-side rendering of pre-rendering nog altijd een goed idee, omdat niet alle bots JavaScript kunnen uitvoeren (Google Search Central, 2026).
Volgens een analyse van Vercel met data van MERJ voerde in december 2024 geen van de grote AI-crawlers JavaScript uit. In één maand haalde GPTBot in het netwerk van Vercel 569 miljoen pagina's op en PerplexityBot 24,4 miljoen, tegen 4,5 miljard voor Googlebot. Van de verzoeken van ChatGPT eindigde 34,82% op een 404-pagina, tegen 8,22% bij Googlebot (Vercel, 2024). Dat is één netwerk, met data van bijna twee jaar oud. De veilige conclusie: zet de inhoud die gevonden moet worden in de HTML die de server direct levert.
Een voorbeeld uit automotive. Stel dat een dealersite het occasionaanbod via een script uit het voorraadsysteem laadt. In de browser is de pagina compleet, in de ruwe HTML staat een lege container. Googlebot rendert de pagina en ziet de auto's. Een AI-crawler die geen JavaScript uitvoert, ziet een pagina zonder één auto. Controleren kost een minuut: open de paginabron, niet de inspector, en zoek op een modelnaam of prijs uit het aanbod. Staat die er niet in, dan hangt de pagina af van JavaScript.
Core Web Vitals, mobiel en HTTPS
Core Web Vitals zijn de drie meetwaarden waarmee Google de laadervaring van een pagina beoordeelt. Google hanteert deze drempels voor een goede score (Google Search Central, 2025):
- LCP (Largest Contentful Paint): het grootste zichtbare element staat er binnen 2,5 seconde.
- INP (Interaction to Next Paint): de pagina reageert binnen 200 milliseconde op een klik of tik.
- CLS (Cumulative Layout Shift): de verschuiving van de opmaak tijdens het laden blijft onder een score van 0,1.
INP verving in maart 2024 de oude meetwaarde FID (web.dev, 2024), dus een checklist met FID is verouderd. Wereldwijd haalt 48% van de websites op mobiel een goede score op alle drie, tegen 44% een jaar eerder. LCP is het lastigste: 62% haalt die drempel op mobiel, tegen 77% voor INP en 81% voor CLS (data juli 2025, HTTP Archive Web Almanac, 2025).
Hoe zwaar Core Web Vitals meewegen, zegt Google niet. De rankingsystemen gebruiken ze, maar er is geen los page experience-signaal en Google toont de meest relevante pagina ook als de laadervaring matig is (Google Search Central, 2026). Een snelle pagina met een zwak antwoord wint het dus niet van een tragere pagina met het beste antwoord.
Mobiel is het uitgangspunt: Google indexeert bij de meeste sites vooral de mobiele versie (Google Search Central, 2026). Tekst of links die alleen op desktop zichtbaar zijn, tellen dus niet mee. HTTPS noemt Google als een van de onderdelen van page experience, naast Core Web Vitals en mobiele weergave, zonder er een los gewicht aan te geven.
Structured data, AI Overviews en llms.txt
Voor AI Overviews en de AI-modus van Google gelden geen extra technische eisen. Een pagina moet geïndexeerd zijn en met een snippet getoond mogen worden (Google Search Central, 2025). Met nosnippet, data-nosnippet en max-snippet bepaal je hoeveel Google mag tonen. Sinds 31 augustus 2026 kies je daarnaast in Google Search Console of je site verschijnt in de generatieve AI-functies van Zoeken. Google schrijft dat die keuze geen rankingsignaal is voor de gewone zoekresultaten (Google, 2026).
Structured data is code die zoekmachines vertelt wat er op een pagina staat: een organisatie, een product, een vestiging of een review. Hoe dat werkt, lees je in het artikel over schema en structured data, en welke types het meest opleveren bij de krachtigste schema-typen voor bedrijven. Google zet overmatige aandacht voor structured data wel op zijn lijst van dingen die je voor de AI-functies van Google Search kunt laten liggen (Google Search Central, 2026).
Een llms.txt-bestand is een tekstbestand in de hoofdmap van een site, bedoeld als samenvatting voor taalmodellen. Google Search gebruikt het niet. Volgens Google schaadt en helpt llms.txt je zichtbaarheid of ranking in Google Search niet, omdat Google Search het negeert (Google Search Central, 2026). Chrome Lighthouse controleert het bestand wel in een audit voor AI-agents, maar noemt het optioneel en zegt niets over ranking (Chrome for Developers, 2026).
Technische SEO checklist voor 2026
Een technische SEO checklist werkt pas als elk punt een meetbare drempel of een ja-of-nee-vraag heeft. Loop hem af in de volgorde van de keten:
- Toegang. Robots.txt blokkeert geen pagina's, CSS of JavaScript die nodig zijn om de site te tonen.
- Statuscodes. Belangrijke pagina's geven een 200, oude URL's sturen met een 301 door zonder ketens van redirects.
- Indexering. Het rapport Pagina-indexering in Google Search Console toont geen belangrijke pagina's onder Niet geïndexeerd, en er staat geen vergeten noindex op live pagina's.
- Canonicals. Elke pagina verwijst naar zichzelf of naar de juiste hoofdversie.
- Sitemap. Bevat alleen indexeerbare URL's met status 200 en is ingediend in Search Console.
- Interne links. Elke belangrijke pagina is via gewone HTML-links bereikbaar vanaf de homepage.
- Inhoud zonder JavaScript. Hoofdtekst, prijzen en links staan in de paginabron die de server levert.
- Core Web Vitals. LCP binnen 2,5 seconde, INP onder 200 milliseconde en CLS onder 0,1 op mobiel (Google, 2025).
- Mobiel. De mobiele versie heeft dezelfde inhoud, links en structured data als de desktopversie.
- HTTPS. Alle pagina's draaien op HTTPS en oude HTTP-adressen sturen door.
- AI-crawlers. Robots.txt en firewall laten de zoekbots toe die je wilt toelaten. Blokkades op trainingsbots zijn een bewuste keuze.
- AI-functies. Geen onbedoelde nosnippet, en de AI-instelling in Search Console staat zoals je wilt.
Wat is een technische SEO-analyse?
Een technische SEO-analyse is een controle van een website op de punten uit de checklist, met als uitkomst een lijst problemen op volgorde van belang. De basis is een crawl van de hele site met een tool als Screaming Frog, aangevuld met de rapporten Pagina-indexering en Core Web Vitals in Google Search Console. Daarna volgt het werk dat een tool niet doet: bepalen welke fout echt aanvragen kost en welke alleen in een rapport rood kleurt.
Een analyse loont rond een migratie, bij een daling in organisch verkeer zonder duidelijke reden en als je wilt weten of AI-crawlers je site kunnen lezen. Dibbes is een SEO-bureau uit Amsterdam, opgericht in 2017, dat bedrijven vindbaar maakt in Google, Google Maps en AI-assistenten zoals ChatGPT. Een technische analyse hoort bij SEO bij Dibbes. Wil je eerst weten waar je staat, vraag dan de gratis vindbaarheidsscan aan: een audit van 8 slides waarin een specialist van Dibbes laat zien waar je staat in Google, Google Maps en AI-assistenten, met drie kansen die je direct kunt pakken.
Veelgestelde vragen
Wat valt onder technische SEO?
Onder technische SEO valt alles wat bepaalt of zoekmachines en AI-crawlers je pagina's kunnen ophalen, lezen en indexeren. Dat zijn robots.txt, statuscodes en redirects, de sitemap, canonical- en noindex-tags, JavaScript-rendering, de mobiele versie, HTTPS en Core Web Vitals.
Kun je technische SEO zelf doen?
Ja, de basis controleer je zelf met Google Search Console en de paginabron in je browser. Voor redirects, rendering en canonicals op grotere sites heb je een volledige crawl en ervaring nodig.
Moet ik AI-crawlers zoals GPTBot blokkeren in robots.txt?
Alleen als je je content uit trainingsdata wilt houden, want GPTBot verzamelt voor training en OAI-SearchBot voor ChatGPT search. Wie alleen GPTBot blokkeert, kan nog in ChatGPT search verschijnen. Google-Extended blokkeren heeft volgens Google geen effect op Google Zoeken.
Heb ik een llms.txt-bestand nodig?
Voor Google Search niet: Google schrijft dat Google Search llms.txt negeert en dat het bestand je zichtbaarheid niet schaadt en niet helpt.
Zijn Core Web Vitals een rankingfactor?
Ja, Google zegt dat zijn rankingsystemen Core Web Vitals gebruiken, maar relevantie gaat voor. Een gewicht noemt Google niet.
Moet ik iets technisch doen om in Google AI Overviews te komen?
Nee, voor Google AI Overviews gelden geen extra technische eisen: de pagina moet geïndexeerd zijn en met een snippet getoond mogen worden. Of een pagina als bron wordt gekozen, hangt af van de inhoud.
Wat wil je nog weten over GEO?
Wat kost GEO bij Dibbes?
Je krijgt een offerte op maat na de gratis vindbaarheidsscan. De prijs hangt af van het aantal pagina's, vestigingen en onderwerpen, en ligt vast per maand.
Meer weten over SEO en AI.
Weet binnen 5 werkdagen hoe vindbaar je bent.

