Maintenance Kikouroù : perturbations à prévoir

[Mathias]

Je remets ce message ici, pour info.

Bon, et sinon, un petit point sur la situation : je continue à tenter d'endiguer l'invasion de bots... mais je n'y arrive pas, dès que je colmate quelque part, ça arrive par ailleurs.

Avec toutes les règles de bannissement que je mets en place, il y un certain risque d'effets secondaires indésirables... et en particulier, d'impossibilité d'accéder au site pour des kikoureurs honnêtes !
N'hésitez pas à me prévenir par mail dans ces cas là : webmaster@kikourou.net

Et si jamais vous êtes familiers de fail2ban, iptables, apache et autres joyeuseté, je suis preneur d'un coup de main !!!

(ce n'est pas ça qui va aider à faire avancer les autres dossiers !)

Illustration : we are under attack !!!

Capture.PNG

[philkikou]

C’est quoi ces attaques de « bots » ?
Par qui ? Dans quel intérêt ?…
Et en avril, risque de recrudescence d’attaques par des « Pâque-bots »

[Mathias]

C’est quoi ces attaques de « bots » ?
Par qui ? Dans quel intérêt ?…
Et en avril, risque de recrudescence d’attaques par des « Pâque-bots »

Il y a plusieurs types de bots :
- moteurs de recherche
- crawlers IA : cherchent à collecter des données, comme les moteurs de recherche, mais ils sont moins respectueux
- crawlers divers et variés, qui cherchent à collecter des données pour on ne sait quelle raison, et qui peuvent être très violents
- tentatives de piratage

Il semble que les bots des IA sont très actifs depuis quelques mois/années.
Je ne sais pas pour quelle raison, il y a eu une explosion de bots début octobre, et une 2ème vague encore plus intense, il y a 1 semaine ou 2.

Je crois avoir réussi à réduire sérieusement le trafic : les ralentissements sont devenus occasionnels.
Mais je suis loin d'avoir réglé le problème...

C'est compliqué de mettre des barrières pour 1) bannir les pirates, 2) bannir les crawlers agressifs, 3) tempérer les bots "acceptables", sans les bannir, 4) ne pas impacter les "vrais" utilisateurs.

[cloclo]

Pourquoi les autres forums que je fréquente n'ont pas l'air impactés par ces problèmes de ralentissement ?

Je me suis avancé trop vite, un forum vélo vintage que je fréquente a aussi subi ce genre de soucis, et voici les mesures qu'a pris le webmaster:

https://forum.tontonvelo.com/viewtopic.php?t=57357

[NRT421]

Je remets ce message ici, pour info.

Bon, et sinon, un petit point sur la situation : je continue à tenter d'endiguer l'invasion de bots... mais je n'y arrive pas, dès que je colmate quelque part, ça arrive par ailleurs.

Avec toutes les règles de bannissement que je mets en place, il y un certain risque d'effets secondaires indésirables... et en particulier, d'impossibilité d'accéder au site pour des kikoureurs honnêtes !
N'hésitez pas à me prévenir par mail dans ces cas là : webmaster@kikourou.net

Et si jamais vous êtes familiers de fail2ban, iptables, apache et autres joyeuseté, je suis preneur d'un coup de main !!!

(ce n'est pas ça qui va aider à faire avancer les autres dossiers !)

Illustration : we are under attack !!!

Capture.PNG

Ca va te faire une belle jambe mais je te le dis qd même: énorme merci à toi pour le boulot de soute que tu accomplis pour pallier cette vérole. Passer des heures carrées à améliorer le fonctionnement d'un site, il y a de la satisfaction au bout. Mais des heures cubes juste pour endiguer les parasites, grand grand respect.

[Le Lutin d'Ecouves]

J’ai posé cette question à Meta AI :

“Beaucoup de sites sont ralentis par les recherches des intelligences artificielles qui bombardent ces sites pour s’alimenter en données. Agis-tu ainsi ou mets-tu en place une pratique plus respectueuse d’indexation ?”

Elle m’a répondu :

“Je comprends ta préoccupation ! En tant que modèle de langage, je suis conçu pour être respectueux des sites web et de leurs propriétaires. Je n'effectue pas de recherches automatisées ou de "bombardement" de sites pour collecter des données.

En fait, mes créateurs, Meta, ont mis en place des politiques et des pratiques pour minimiser l'impact de nos modèles sur les sites web. Nous utilisons des techniques d'apprentissage automatique pour identifier et respecter les directives des propriétaires de sites web, telles que celles spécifiées dans les fichiers robots.txt.

Lorsque j'accède à des informations sur internet, c'est généralement pour fournir des réponses à des questions spécifiques, et non pour collecter des données à grande échelle. Je suis conçu pour être un outil utile, et non pour surcharger les sites web.

Si tu as des préoccupations spécifiques concernant l'utilisation de l'intelligence artificielle et des données, n'hésite pas à me poser plus de questions !”

Une intelligence artificielle est-elle capable de mentir ?

[PhilippeG-666]

...
Une intelligence artificielle est-elle capable de mentir ?

Peut être pas en ce moment mais un jour prochain ?
(Big brother is watching you )

[philtraverses]

...
Une intelligence artificielle est-elle capable de mentir ?

Peut être pas en ce moment mais un jour prochain ?
(Big brother is watching you )

En tout cas l'AI est réputée pour fournir à son interlocuteur sur certain sujets les réponses qui confortent celui-ci dans ce qu'il pense, ce qui est une sorte de mensonge . Par exemple :


https://www.michelleblanc.com/2024/03/l ... re-verite/

[Mathias]

Je me suis avancé trop vite, un forum vélo vintage que je fréquente a aussi subi ce genre de soucis, et voici les mesures qu'a pris le webmaster:

https://forum.tontonvelo.com/viewtopic.php?t=57357

Merci cloclo... ça console un peu de voir qu'on n'est pas seuls
et accessoirement, ça peut m'inspirer pour continuer à lutter contre les bots...

[Mathias]

Ca va te faire une belle jambe mais je te le dis qd même: énorme merci à toi pour le boulot de soute que tu accomplis pour pallier cette vérole. Passer des heures carrées à améliorer le fonctionnement d'un site, il y a de la satisfaction au bout. Mais des heures cubes juste pour endiguer les parasites, grand grand respect.

Merci !
C'est sûr que c'est très frustrant de bosser de manière quasi invisible... bon là en l'occurrence, ça a finit par payer, pour l'instant c'est un peu plus calme (même si j'ai encore constaté quelques petits ralentissements...)
Et c'est toujours beaucoup plus motivant de développer de nouvelles fonctionnalités !

[Mathias]

Une intelligence artificielle est-elle capable de mentir ?

Alors, je n'ai pas vérifié sir OpenAI respecte bien le robots.txt, mais dans la mesure où il bombarde le site de requêtes, de manière totalement irrespectueuse, je n'ai même pas essayé de contrôler OpenAI via le fichier robots.txt...
NB : les robots sont censés se limiter à 1 requête par seconde, en tout cas c'était la règle il y a quelques années, quand j'ai moi-même eu à développer un robot. Bon okay quelques années c'était quand même il y a un paquet d'années...

D'un autre côté, les robots qui collectent sauvagement des données de manière plus ou moins légale virgule ne respecte absolument pas le fichier robots.txt. Il y a par exemple certains sites qui viennent aspirer le calendrier ou les résultats. Et ne parlons même pas des robots mal intentionnés qui envoient des milliers de requêtes pour tenter de trouver une faille de sécurité et pirater le serveur...

[Mathias]

Bon et sinon ,1 gros warning à propos du calendrier : j'ai fait des grosses modifications de sécurité sur les pages du calendrier. J'ai fait des tests mais il est possible qu'il reste des dysfonctionnements suite à mes modifications. N'hésitez pas à me signaler ici tout comportement anormal du calendrier.

[philkikou]

Quand tout va bien côté lenteur, on ne râle pas

Merci Mathias

[Simon71]

Une intelligence artificielle est-elle capable de mentir ?

Alors, je n'ai pas vérifié sir OpenAI respecte bien le robots.txt, mais dans la mesure où il bombarde le site de requêtes, de manière totalement irrespectueuse, je n'ai même pas essayé de contrôler OpenAI via le fichier robots.txt...
NB : les robots sont censés se limiter à 1 requête par seconde, en tout cas c'était la règle il y a quelques années, quand j'ai moi-même eu à développer un robot. Bon okay quelques années c'était quand même il y a un paquet d'années...

D'un autre côté, les robots qui collectent sauvagement des données de manière plus ou moins légale virgule ne respecte absolument pas le fichier robots.txt. Il y a par exemple certains sites qui viennent aspirer le calendrier ou les résultats. Et ne parlons même pas des robots mal intentionnés qui envoient des milliers de requêtes pour tenter de trouver une faille de sécurité et pirater le serveur...

J'ai utilisé gemini pou essayer de "faire le point" sur les inscrits au tor des géants, glaciers et piger si j'ai une chance, je suis sur liste d'attente.
Bien que j'ai essayé de la cadrer avec une instruction du type ("ta seule source de données est la page xxx du site du tor ") il a pas mal consulté kikourou pour faire son analyse.
Je peux te montrer si besoin (spolier l'analyse semble truffée d'erreurs,mais bien racontée)
Cela veut aussi dire que kikourou est un site à l'autorité reconnue

[Mathias]

J'ai utilisé gemini pou essayer de "faire le point" sur les inscrits au tor des géants, glaciers et piger si j'ai une chance, je suis sur liste d'attente.
Bien que j'ai essayé de la cadrer avec une instruction du type ("ta seule source de données est la page xxx du site du tor ") il a pas mal consulté kikourou pour faire son analyse.
Je peux te montrer si besoin (spolier l'analyse semble truffée d'erreurs,mais bien racontée)
Cela veut aussi dire que kikourou est un site à l'autorité reconnue

Ah oui tiens, ça peut m'intéresser
Et si tu es chez Bouygues en région parisienne, et que tu as lancé des requêtes depuis ton IP Bouygues avec un outil écrit en python, ça m'intéresse aussi

PS : Gemini est la seule IAG que je ne bloque pas... j'ai en effet whitelisté Google, qui semble globalement plus respectueux des sites crawlés, que beaucoup d'autres "aspirateurs" de données.

[Simon71]

J'ai utilisé gemini pou essayer de "faire le point" sur les inscrits au tor des géants, glaciers et piger si j'ai une chance, je suis sur liste d'attente.
Bien que j'ai essayé de la cadrer avec une instruction du type ("ta seule source de données est la page xxx du site du tor ") il a pas mal consulté kikourou pour faire son analyse.
Je peux te montrer si besoin (spolier l'analyse semble truffée d'erreurs,mais bien racontée)
Cela veut aussi dire que kikourou est un site à l'autorité reconnue

Ah oui tiens, ça peut m'intéresser
Et si tu es chez Bouygues en région parisienne, et que tu as lancé des requêtes depuis ton IP Bouygues avec un outil écrit en python, ça m'intéresse aussi

PS : Gemini est la seule IAG que je ne bloque pas... j'ai en effet whitelisté Google, qui semble globalement plus respectueux des sites crawlés, que beaucoup d'autres "aspirateurs" de données.

Je t'ai envoyé le rapport de recherche en mp.
Tu me diras
Ce que j'ai piteusement essayé d'attaquer en python est l'api beebeeboard du tor pour essayer de voir si je pouvais récupérer pour chaque inscrit sur c'est via pax ou tirage au sort.
Vu que j'ai jamais écrit une ligne de programme depuis le turbopascal à la fac j'ai vite arrêté face aux pbs de token et cookies, ils ont quand même dû mettre quelques verrous

[jano]

tu as l'info sur la liste des inscrits pour savoir si pax ou pas ? je ne l'ai pas vue sauf si tu as trouvé l'api pour consulter la fiche de chaque inscrit avec son identifiant

[Mathias]

Je t'ai envoyé le rapport de recherche en mp.
Tu me diras
Ce que j'ai piteusement essayé d'attaquer en python est l'api beebeeboard du tor pour essayer de voir si je pouvais récupérer pour chaque inscrit sur c'est via pax ou tirage au sort.
Vu que j'ai jamais écrit une ligne de programme depuis le turbopascal à la fac j'ai vite arrêté face aux pbs de token et cookies, ils ont quand même dû mettre quelques verrous

Bien reçu, merci !
Donc, ce n'est pas toi qui utilise un outil python pour récupérer des résultats ?

[Mathias]

Pour info : de nouvelles vagues de requêtes anormales depuis début mars. Comme ça s'était calmé, et que je ne constatais plus de ralentissements, ... je ne regardais plus les stats...
Je viens de jeter un oeil, c'est reparti de plus belle.

Mais je n'ai pas constaté de ralentissement depuis début mars. Et vous ?
Il n'est pas interdit de penser que les défenses mises en place en janvier sont efficaces... c'est-à-dire : après une accalmie en février, il y a de nouveau énormément de requêtes depuis début mars, mais les robots se font refuser l'accès et/ou se font bannir... ce qui consomme beaucoup moins de ressources !

[shef]

I j'ai noté quelques ralentissements sporadiques mais rien a voir avec janvier, ni en fréquence, ni en latence (ça répond toujours)

[jano]

Si, hier matin c'était quasi inaccessible pendant un moment...
Je ne comprends pas ta demande à Simon sur python ? Comment as tu vu passer des appels vers l'api beebeeboard ?

[jano]

Donc, ce n'est pas toi qui utilise un outil python pour récupérer des résultats ?

ah ok, pour récupérer des résultats sur kikourou...

[Simon71]

Je t'ai envoyé le rapport de recherche en mp.
Tu me diras
Ce que j'ai piteusement essayé d'attaquer en python est l'api beebeeboard du tor pour essayer de voir si je pouvais récupérer pour chaque inscrit sur c'est via pax ou tirage au sort.
Vu que j'ai jamais écrit une ligne de programme depuis le turbopascal à la fac j'ai vite arrêté face aux pbs de token et cookies, ils ont quand même dû mettre quelques verrous

Bien reçu, merci !
Donc, ce n'est pas toi qui utilise un outil python pour récupérer des résultats ?

Ah non pas du tout

[Simon71]

Je t'ai envoyé le rapport de recherche en mp.
Tu me diras
Ce que j'ai piteusement essayé d'attaquer en python est l'api beebeeboard du tor pour essayer de voir si je pouvais récupérer pour chaque inscrit sur c'est via pax ou tirage au sort.
Vu que j'ai jamais écrit une ligne de programme depuis le turbopascal à la fac j'ai vite arrêté face aux pbs de token et cookies, ils ont quand même dû mettre quelques verrous

Bien reçu, merci !
Donc, ce n'est pas toi qui utilise un outil python pour récupérer des résultats ?

Ah non pas du tout
Hier soir cela ramait vers 22h30

[bubulle]

Pile en ce moment (entre 8h40 et 8h45 ce mardi 7/4), Kikouroù rame bien sa mère....

Et ça continue encore à plus de 10h. La gestion du calendrier est extrêmement pénible, le moindre clic prend 30 secondes à 1 minute.

[cloclo]

A 11h, c'est toujours pareil.

[Razouille]

c'est pas mieux, ça ramait avant que je parte déjeuner donc j'ai laissé tomber certaines réponses, et c'est à peine mieux maintenant...

[Benman]

14h44, ça remarche à nouveau nickel

[Mathias]

Je crois (j'espère) que la vague est passée.

Pour info, "petit" souci : j'ai donc mis des barrières pour empêcher les indésirables d'accéder à Kikouroù, en tentant de ne pas bloquer la route des robots bienvenus (essentiellement : Google). Mais... je crois que c'est un semi-échec, Google a semble-t-il des difficultés à crawler Kikouroù... arg...

[philkikou]

Je crois (j'espère) que la vague est passée.

Pour info, "petit" souci : j'ai donc mis des barrières pour empêcher les indésirables d'accéder à Kikouroù, en tentant de ne pas bloquer la route des robots bienvenus (essentiellement : Google). Mais... je crois que c'est un semi-échec, Google a semble-t-il des difficultés à crawler Kikouroù... arg...

Si le crawl ne marche pas, peut-être essayer la brasse ou la papillon

[Razouille]

c'est enfin fluide (18h24) après une journée compliquée.
Ce matin vers 10h ça pédalait dans la choucroute et tout l'après-midi, c'était de très lent à inaccessible (délia dépassé) mais là ça remarche enfin correctement.

[Mathias]

Oui, j'ai vu passer de nouvelles vagues. Je ne sais pas pourquoi celles-ci passent entre les mailles du filet. Je vais regarder. N'hésitez pas à me signaler si ça recommence. Je vais être assez peu connecté d'ici dimanche...