Maintenance Kikouroù : perturbations à prévoir

[PhilippeG-657]

...
exact...je me suis battu pour mettre mon dossard du TDG.
et j'ai fini par voir ton message et c'est en enlevant tous les caractères accentués et apostrophes de mon commentaire d'origine que j'ai pu le valider.

Merci jano, exact:
Sans caractère accentué ça passe !

[Le Lutin d'Ecouves]

Est-ce un problème de maintenance ou quoi. Depuis un moment, les pages Kikouroù mettent deux plombes à s’afficher et c’est le seul site en question.
Je me connecte souvent avec mon portable et je répète, seul Kikouroù rame.

[Arclusaz]

Je te confirme Thierry que j'ai constaté les mêmes symptômes (depuis au moins hier soir 22h jusqu’à ce matin 8h : bon, entre temps j'ai dormi aussi !)

là, à nouveau, ça remarche à une vitesse normale.

Nous en avons déjà informé Mathias qui enquête mais ne trouve pas

[Le Lutin d'Ecouves]

J’ai eu un passage avec chargement normal et maintenant ça déconne à nouveau. Cette page vient de mettre 20 s à charger.

[jano]

c'est effectivement quasi permanent depuis plusieurs jours

[Arclusaz]

J’ai eu un passage avec chargement normal et maintenant ça déconne à nouveau. Cette page vient de mettre 20 s à charger.

tout pareil !!!!
et 20 secondes, ça parait une éternité....

[Razouille]

dimanche ça ramait fort mais aujourd'hui RAS.
Le serveur doit avoir des pics de fréquentation.

[Mathias]

J'ai remarqué aussi une recrudescence des ralentissements depuis quelques jours.

ça ne vient pas d'un pic de fréquentation, j'en suis sûr à 99%.
Quand Kikouroù a basculé sur le nouveau serveur tout neuf, l'accès était immédiat. Il n'y a pas de raison que ça change significativement : le serveur actuel est surdimensionné.

Je vois 2 causes possibles :
1) des requêtes SQL foireuses qui poseraient des pb à la BD.
2) des accès anormaux (et frénétiques) au site, par des pirates ou des IA. J'ai l'impression que les IA (OpenAI, Claude, ...) sont bcp moins respectueuses des sites que ne le sont les crawlers des moteurs de recherche. à creuser.

Ce qui m'aiderait c'est si vous parvenez à détecter un moment de bascule : le site qui devient subitement très lent alors qu'une seconde avant tout allait bien. Merci dans ce cas de me préciser ici l'heure précise. Cela pourrait me permettre d'identifier la cause de ces satanés ralentissements...

[serge]

2) des accès anormaux (et frénétiques) au site, par des pirates ou des IA. J'ai l'impression que les IA (OpenAI, Claude, ...) sont bcp moins respectueuses des sites que ne le sont les crawlers des moteurs de recherche. à creuser.

bloquer quelques plages d'adresses IP ne parait des plus pertinent.

[philkikou]

8h16 temps d’accès correct … bonne recherche

[perrier-citron]

hello,
en effet des grosse lenteurs au chargement des pages (pas que le forum d'ailleurs) depuis plusieurs jours/semaines, mais ce matin ça marche nickel

[Mathias]

2) des accès anormaux (et frénétiques) au site, par des pirates ou des IA. J'ai l'impression que les IA (OpenAI, Claude, ...) sont bcp moins respectueuses des sites que ne le sont les crawlers des moteurs de recherche. à creuser.

bloquer quelques plages d'adresses IP ne parait des plus pertinent.

Oui, ça fait un moment que ça me trottait dans la tête...
J'ai déjà bloqué Bytespider il y a quelques mois (mais sur la base du user-agent, pas de la plage d'IP), je viens de bloquer les crawlers les plus agressifs.

Dites-moi si vous voyez une différence !

[Mazouth]

Comme dit perrier-citron, depuis ce matin (ou cette nuit, chais pas je dormais) ça va très bien. A voir si ça dure comme ça.

[cloclo]

Dites-moi si vous voyez une différence !

Pour l'instant oui, c'est nettement plus fluide, merci.

[Mathias]

On va attendre un peu avant de se réjouir : ça me semble trop facile !

[Mathias]

Bon... de mon côté, je n'ai pas constaté de ralentissement depuis le bannissement des crawler agressifs...

Est-il permis d'espérer ?

[Arclusaz]

Bon... de mon côté, je n'ai pas constaté de ralentissement depuis le bannissement des crawler agressifs...

Est-il permis d'espérer ?

pareil.

pour ma culture générale : si il y a moins de crawlers, cela ne va t il pas nuire au référencement de kikourou ?

[Mathias]

pour ma culture générale : si il y a moins de crawlers, cela ne va t il pas nuire au référencement de kikourou ?

C'est un risque.
Après, je ne bloque que les crawlers agressifs.
Et il se trouve que le crawler de google est relativement poli...

[POCox]

Même si je ne suis pas sûr que cette population soit la plus assidue de Kikouroù, le "boomer" que je suis a appris il y a une semaine que les djeun's (génération Y, ou Z, je ne sais plus où on en est ) utilisent désormais l'IA pour faire leurs recherches plutôt qu'un crawler comme Google.

En tout cas, comme vous, j'ai constaté la semaine dernière de gros ralentissements, mais je n'ai pas pris le temps d'ouvrir les outils d'analyse de performances du navigateur pour tenter d'en connaître la cause
Mais s'il n'y a pas besoin de l'utiliser parce que tout fonctionne bien, ça n'en sera que mieux !

[Benman]

Est-ce que le crawler de l'IA brasse plus de données?
Si c'est le cas, pas étonnant que le site soit sur le dos, et que l'enlever lui redonne la vitesse d'un papillon.
Moi perso, je serais noyé au milieu de tout ça.

[Mazouth]

Est-ce que le crawler de l'IA brasse plus de données?
Si c'est le cas, pas étonnant que le site soit sur le dos, et que l'enlever lui redonne la vitesse d'un papillon.
Moi perso, je serais noyé au milieu de tout ça.

Comme quoi ils sont pénibles ces sites Marchands

[Mazouth]

Malheureusement ce soir c'est de nouveau un peu lent j'ai l'impression, alors que depuis le blocage des gros crawlers ça allait bien

[Mathias]

En effet...

Il me reste 2-3 crawlers à bloquer, dont ceux de perplexity, google, bing, qwant... qui sont plutôt respectueux... "seulement" 3000 requêtes irrespectueuses sur ~1.2 millions depuis ce matin.

Hmmm...

[Benman]

11h08 ce matin - temps d'attente très long. lors de mon précédent accès à 9h53, pas de perturbation

[jano]

11h08 ce matin - temps d'attente très long. lors de mon précédent accès à 9h53, pas de perturbation

entre 1 et 3" l'accès aux pages : y'a eu pire mais cette latence est pénible, on n'est plus habitué à naviguer avec un modem 56k

[jano]

A nouveau une 15aine de secondes cet AM, ça n'est plus tellement utilisable. La misère ces lenteurs.

[philkikou]

A nouveau une 15aine de secondes cet AM, ça n'est plus tellement utilisable. La misère ces lenteurs.

idem à 18h25, ouverture du site et d'un sujet sur le forum

[Arclusaz]

toujours très lent à 21h49

[Mathias]

toujours très lent à 21h49

Je suis dessus.
J'essaie de mettre les IA dehors, car je suis maintenant à peu près convaincu que les soucis viennent de là.

De mon temps, les crawlers étaient polis.
Je découvre la jungle du web à l'ère des IA.
C'est vraiment la foire : certains crawlers d'IA envoient 10 requêtes par seconde à partir de dizaines d'IP différentes... et le tout, sur des dizaines de serveurs virtuels différents (merci les blogs !)

[cloclo]

J'essaie de mettre les IA dehors, car je suis maintenant à peu près convaincu que les soucis viennent de là.

Malgré ça, il y en a qui osent encore défendre les bienfaits de l'IA

[Mathias]

J'essaie de mettre les IA dehors, car je suis maintenant à peu près convaincu que les soucis viennent de là.

Malgré ça, il y en a qui osent encore défendre les bienfaits de l'IA

Un des 1ers crawlers que j'ai viré, c'est celui d'un certain "Claude"

[Mathias]

Bon, ça semble ok maintenant. à surveiller, car je n'ai viré que les bots qui ont mis le souk ces derniers jours... et il semblerait que certains bots changent d'IP quand ils sont bloqués. J'ai bien bloqué quelques plages...

[Mazouth]

J'essaie de mettre les IA dehors, car je suis maintenant à peu près convaincu que les soucis viennent de là.

Malgré ça, il y en a qui osent encore défendre les bienfaits de l'IA

Un des 1ers crawlers que j'ai viré, c'est celui d'un certain "Claude"

Nan mais Claude c'est un crooner, faut pas confondre

[serge]

Code: Tout sélectionner

<script src="https://m.kikourou.net/include/jscripts/cookiechoices.js"></script>


depuis le www, ce qui entraine une recherche dns inutile.

[cloclo]

Code: Tout sélectionner

<script src="https://m.kikourou.net/include/jscripts/cookiechoices.js"></script>


depuis le www, ce qui entraine une recherche dns inutile.

Quelqu'un peut traduire ce charabia en français compréhensible par le commun des mortels, SVP ?

[bubulle]

Ce matin, 8h50 (horloge synchronisée en NTP), mon petit tour kikouresque du matin, première ouverture d'1 ou 2 fils de discussion sans problèmes.
8h53, ça se met à ramer sa mère, plus de 30 secondes pour n'importe quelle action
8h56, cela redevient quasi instantané.

[Mathias]

Code: Tout sélectionner

<script src="https://m.kikourou.net/include/jscripts/cookiechoices.js"></script>


depuis le www, ce qui entraine une recherche dns inutile.

Quelqu'un peut traduire ce charabia en français compréhensible par le commun des mortels, SVP ?

Merci serge, je vais corriger.

@cloclo : quel est le nouveau mot, dns ou www ?

[Mathias]

Ce matin, 8h50 (horloge synchronisée en NTP), mon petit tour kikouresque du matin, première ouverture d'1 ou 2 fils de discussion sans problèmes.
8h53, ça se met à ramer sa mère, plus de 30 secondes pour n'importe quelle action
8h56, cela redevient quasi instantané.

Merci !
ça m'aide bien d'avoir une précision à 2-3 minutes, il ne reste plus que quelques milliers de requêtes à analyser
Je vois des requêtes un poil agressives de bing dans cet intervalle, il va peut être falloir sévir.
J'aurais préféré ne pas entraver le boulot des moteurs de recherche, qui semble plus respectueux que les crawlers des IA... et aussi parce qu'à choisir, je préfère que Kikouroù reste bien référencé dans les index des moteurs... et tant pis pour les LLM !

Je n'ai pas constaté de nouveau ralentissement depuis quelques jours, n'hésitez pas à me signaler d'éventuels nouveaux problèmes, auquel cas il faudra que je me penche sur des stratégies plus fines, probablement, par exemple contrôler la vitesse de crawl des crawlers sans les bannir... mais c'est plus compliqué qu'un "simple" bannissement !

à+
Mathias