Administration

← Retour

Log : 20260421_080000

OK
Durée : 1211s 8 OK 5364 annonces
clio_4 i20 berlingo c4 scenic 5008 fiesta nv200
2026-04-21 08:06:46 [INFO] [berlingo] [LLM DESC] [3/8] BERLINGO (brand=citroen, pages=auto)
2026-04-21 08:06:46 [INFO] [berlingo] [LLM DESC] URL: https://www.leboncoin.fr/recherche?category=5&text=berlingo+xl&u_utility_brand=C...
2026-04-21 08:06:46 [INFO] [berlingo] [SEARCH] $ /home/ubuntu/app/.venv/bin/python /home/ubuntu/app/crawler/leboncoin_search_export.py --output-file /home/ubuntu/app/leboncoin_ads.csv --model berlingo
2026-04-21 08:06:46 [INFO] [berlingo] [SEARCH] Recuperation de la page 1 avec l'URL: https://www.leboncoin.fr/recherche?category=5&text=berlingo+xl&u_utility_brand=CITROEN&u_utility_model=CITROEN_Berlingo&page=1
2026-04-21 08:06:48 [INFO] [berlingo] [SEARCH] 35 annonces recuperees (total: 35)
2026-04-21 08:06:48 [INFO] [berlingo] [SEARCH] Recuperation de la page 2 avec l'URL: https://www.leboncoin.fr/recherche?category=5&text=berlingo+xl&u_utility_brand=CITROEN&u_utility_model=CITROEN_Berlingo&page=2
2026-04-21 08:06:52 [INFO] [berlingo] [SEARCH] 35 annonces recuperees (total: 70)
2026-04-21 08:06:52 [INFO] [berlingo] [SEARCH] Recuperation de la page 3 avec l'URL: https://www.leboncoin.fr/recherche?category=5&text=berlingo+xl&u_utility_brand=CITROEN&u_utility_model=CITROEN_Berlingo&page=3
2026-04-21 08:06:56 [INFO] [berlingo] [SEARCH] 35 annonces recuperees (total: 105)
2026-04-21 08:06:56 [INFO] [berlingo] [SEARCH] Recuperation de la page 4 avec l'URL: https://www.leboncoin.fr/recherche?category=5&text=berlingo+xl&u_utility_brand=CITROEN&u_utility_model=CITROEN_Berlingo&page=4
2026-04-21 08:06:58 [INFO] [berlingo] [SEARCH] 35 annonces recuperees (total: 140)
2026-04-21 08:06:58 [INFO] [berlingo] [SEARCH] Recuperation de la page 5 avec l'URL: https://www.leboncoin.fr/recherche?category=5&text=berlingo+xl&u_utility_brand=CITROEN&u_utility_model=CITROEN_Berlingo&page=5
2026-04-21 08:07:01 [INFO] [berlingo] [SEARCH] 35 annonces recuperees (total: 175)
2026-04-21 08:07:01 [INFO] [berlingo] [SEARCH] Recuperation de la page 6 avec l'URL: https://www.leboncoin.fr/recherche?category=5&text=berlingo+xl&u_utility_brand=CITROEN&u_utility_model=CITROEN_Berlingo&page=6
2026-04-21 08:07:04 [INFO] [berlingo] [SEARCH] 35 annonces recuperees (total: 210)
2026-04-21 08:07:04 [INFO] [berlingo] [SEARCH] Recuperation de la page 7 avec l'URL: https://www.leboncoin.fr/recherche?category=5&text=berlingo+xl&u_utility_brand=CITROEN&u_utility_model=CITROEN_Berlingo&page=7
2026-04-21 08:07:07 [INFO] [berlingo] [SEARCH] 35 annonces recuperees (total: 245)
2026-04-21 08:07:07 [INFO] [berlingo] [SEARCH] Recuperation de la page 8 avec l'URL: https://www.leboncoin.fr/recherche?category=5&text=berlingo+xl&u_utility_brand=CITROEN&u_utility_model=CITROEN_Berlingo&page=8
2026-04-21 08:07:09 [INFO] [berlingo] [SEARCH] 35 annonces recuperees (total: 280)
2026-04-21 08:07:09 [INFO] [berlingo] [SEARCH] Recuperation de la page 9 avec l'URL: https://www.leboncoin.fr/recherche?category=5&text=berlingo+xl&u_utility_brand=CITROEN&u_utility_model=CITROEN_Berlingo&page=9
2026-04-21 08:07:12 [INFO] [berlingo] [SEARCH] 35 annonces recuperees (total: 315)
2026-04-21 08:07:12 [INFO] [berlingo] [SEARCH] Recuperation de la page 10 avec l'URL: https://www.leboncoin.fr/recherche?category=5&text=berlingo+xl&u_utility_brand=CITROEN&u_utility_model=CITROEN_Berlingo&page=10
2026-04-21 08:07:14 [INFO] [berlingo] [SEARCH] 35 annonces recuperees (total: 350)
2026-04-21 08:07:14 [INFO] [berlingo] [SEARCH] Recuperation de la page 11 avec l'URL: https://www.leboncoin.fr/recherche?category=5&text=berlingo+xl&u_utility_brand=CITROEN&u_utility_model=CITROEN_Berlingo&page=11
2026-04-21 08:07:16 [INFO] [berlingo] [SEARCH] 24 annonces recuperees (total: 374)
2026-04-21 08:07:16 [INFO] [berlingo] [SEARCH] Recuperation de la page 12 avec l'URL: https://www.leboncoin.fr/recherche?category=5&text=berlingo+xl&u_utility_brand=CITROEN&u_utility_model=CITROEN_Berlingo&page=12
2026-04-21 08:07:18 [INFO] [berlingo] [SEARCH] Page 12 : aucune annonce, arret de la pagination.
2026-04-21 08:07:18 [INFO] [berlingo] [SEARCH] Termine : 374 annonces au total dans /home/ubuntu/app/leboncoin_ads_berlingo_20260421_080646.csv
2026-04-21 08:07:19 [INFO] [berlingo] [SEARCH] CSV : leboncoin_ads_berlingo_20260421_080646.csv
2026-04-21 08:07:19 [INFO] [berlingo] [IMPORT] $ /home/ubuntu/app/.venv/bin/python -m db.migrate_csv --input /home/ubuntu/app/leboncoin_ads_berlingo_20260421_080646.csv --db /home/ubuntu/app/db/lbc.sqlite --model berlingo
2026-04-21 08:07:19 [INFO] [berlingo] [IMPORT] Model override : berlingo
2026-04-21 08:07:19 [INFO] [berlingo] [IMPORT] MIGRATION CSV -> SQLite unifie
2026-04-21 08:07:19 [INFO] [berlingo] [IMPORT] Fichier: leboncoin_ads_berlingo_20260421_080646.csv
2026-04-21 08:07:19 [INFO] [berlingo] [IMPORT] Schéma initialisé dans /home/ubuntu/app/db/lbc.sqlite
2026-04-21 08:07:19 [INFO] [berlingo] [IMPORT] 374 lus, 374 inseres, 0 ignores, 0 erreurs
2026-04-21 08:07:19 [INFO] [berlingo] [IMPORT] TOTAL : 374 lus, 374 inseres — Base : /home/ubuntu/app/db/lbc.sqlite
2026-04-21 08:07:19 [INFO] [berlingo] [IMPORT] 13715 annonces en base
2026-04-21 08:07:19 [INFO] [berlingo] [AVAILABILITY] $ /home/ubuntu/app/.venv/bin/python /home/ubuntu/app/scripts/check_availability.py --csv /home/ubuntu/app/leboncoin_ads_berlingo_20260421_080646.csv --brand citroen --model berlingo --db /home/ubuntu/app/db/lbc.sqlite
2026-04-21 08:07:19 [INFO] [berlingo] [AVAILABILITY] CHECK DISPONIBILITE — CSV: leboncoin_ads_berlingo_20260421_080646.csv, Brand: citroen, Model: berlingo
2026-04-21 08:07:20 [INFO] [berlingo] [AVAILABILITY] 374 list_id lus dans le CSV.
2026-04-21 08:07:20 [INFO] [berlingo] [AVAILABILITY] 376 annonces actives en base pour citroen berlingo.
2026-04-21 08:07:20 [INFO] [berlingo] [AVAILABILITY] 2 annonce(s) marquées indisponibles.
2026-04-21 08:07:20 [INFO] [berlingo] [AVAILABILITY] CSV: 374, Actives DB: 376, Absentes: 2
2026-04-21 08:07:20 [INFO] [berlingo] [AVAILABILITY] Marquees indisponibles: 2
2026-04-21 08:07:20 [INFO] [berlingo] [DETAIL] $ /home/ubuntu/app/.venv/bin/python -m crawler.leboncoin_ad_detail --model berlingo --delay 0.5 --limit 200
2026-04-21 08:07:20 [INFO] [berlingo] [DETAIL] ENRICHISSEMENT AD DETAIL — Modele: berlingo — Limite: 200
2026-04-21 08:07:20 [INFO] [berlingo] [DETAIL] Schéma initialisé dans /home/ubuntu/app/db/lbc.sqlite
2026-04-21 08:07:20 [INFO] [berlingo] [DETAIL] 3 annonce(s) à enrichir (modèle: berlingo)
2026-04-21 08:07:24 [INFO] [berlingo] [DETAIL] RESULTAT : 3 traitee(s), 3 enrichies, 0 introuvables, 0 erreurs
2026-04-21 08:07:24 [INFO] [berlingo] [STATS] $ /home/ubuntu/app/.venv/bin/python -m stats.main --model berlingo --skip-plots
2026-04-21 08:07:24 [INFO] [berlingo] [STATS] ANALYSEUR LEBONCOIN — Base: /home/ubuntu/app/db/lbc.sqlite, Figures: /home/ubuntu/app/stats/berlingo/figures, Modele: berlingo, Graphiques: Non
2026-04-21 08:07:28 [INFO] [berlingo] [STATS] Using categorical units to plot a list of strings that are all parsable as floats or dates. If these strings should be plotted as numbers, cast to the appropriate data type before plotting.
2026-04-21 08:07:28 [INFO] [berlingo] [STATS] Using categorical units to plot a list of strings that are all parsable as floats or dates. If these strings should be plotted as numbers, cast to the appropriate data type before plotting.
2026-04-21 08:07:29 [INFO] [berlingo] [STATS] M05 — Extraction LLM des titres (GPT-5 Nano)
2026-04-21 08:07:29 [INFO] [berlingo] [STATS] Annonces sans evaluation LLM : 3
2026-04-21 08:07:57 [INFO] [berlingo] [STATS] HTTP Request: POST https://api.openai.com/v1/chat/completions "HTTP/1.1 200 OK"
2026-04-21 08:07:57 [INFO] [berlingo] [STATS] LLM OUTPUT batch 1/1: 3 resultats extraits (modele=gpt-5-nano)
2026-04-21 08:07:57 [INFO] [berlingo] [STATS] Resultats extraits : 3
2026-04-21 08:07:57 [INFO] [berlingo] [STATS] PureTech flaggues : 1
2026-04-21 08:07:57 [INFO] [berlingo] [STATS] Evaluations inserees : 3
2026-04-21 08:07:58 [INFO] [berlingo] [STATS]   stats_descriptives : 5 lignes insérées
2026-04-21 08:07:58 [INFO] [berlingo] [STATS]   modele_regression : 2 lignes insérées
2026-04-21 08:07:58 [INFO] [berlingo] [STATS]   referentiel_prix : 67 segments insérés
2026-04-21 08:07:58 [INFO] [berlingo] [STATS]   ads.deal_columns : 777 annonces mises à jour
2026-04-21 08:07:58 [INFO] [berlingo] [STATS] M06 — Extraction LLM des descriptions (GPT-5 Nano)
2026-04-21 08:07:58 [INFO] [berlingo] [STATS] Schéma initialisé dans /home/ubuntu/app/db/lbc.sqlite
2026-04-21 08:07:58 [INFO] [berlingo] [STATS] Champs actifs : 8
2026-04-21 08:07:58 [INFO] [berlingo] [STATS] Annonces Excellente/Bonne affaire sans analyse description : 3
2026-04-21 08:07:58 [INFO] [berlingo] [STATS] ━━━ LLM DESC SYSTEM PROMPT ━━━
Tu es un expert automobile français. On te donne des descriptions d'annonces de véhicules d'occasion avec leur identifiant.

Pour chaque annonce, extrais depuis la description les informations suivantes :
- courroie_changee : true si la courroie de distribution a été changée ou remplacée, false si explicitement non changée, null si non mentionné
- embrayage_change : true si l'embrayage est neuf ou a été remplacé, false si explicitement non changé, null si non mentionné
- travaux_recents : liste des travaux ou réparations récentes mentionnés dans la description (ex: 'freins refaits', 'pneus neufs', 'vidange faite'). Liste vide si aucun.
- negociabilite : négociable si le vendeur indique être ouvert aux offres, ferme si le prix est indiqué ferme, null si non mentionné
- contexte_vente : contexte notable de la vente s'il est mentionné (ex: 'urgent', 'déménagement', 'décès', 'achat neuf'). null si rien de notable
- nb_proprietaires : nombre de propriétaires du véhicule si mentionné (ex: 1 pour '1ère main', 2 pour '2ème main'). null si non mentionné
- options_description : liste des équipements et options cités dans la description (ex: 'GPS', 'Caméra recul', 'Clim auto', 'Toit ouvrant'). Liste vide si aucun.
- accidente : true si le véhicule a subi un accident, un choc, une collision, des airbags déclenchés ou une carrosserie endommagée mentionné explicitement. false si le vendeur indique explicitement non accidenté ou sans accident. null si non mentionné.

Règles :
- Extrais UNIQUEMENT ce qui est explicitement dans la description
- Ne déduis pas, n'invente pas
- Pour les champs de type liste, retourne une liste vide si rien n'est mentionné
- Conserve le list_id exact tel que fourni
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
2026-04-21 08:07:58 [INFO] [berlingo] [STATS] ━━━ LLM DESC INPUT batch 1/1 (3 annonces) ━━━
3071159352: "CITROEN BERLINGO 1.5DCI 100CV CLUB XL 950KG 1ER MC:05/11/2019 90060 KMS. CLIMATISÉE.RÉGULATEUR ET LIMITEUR DE VITESSE.RADAR DE RECUL.KIT MAIN  USB JACK.PORTE LATERALE.  ANTI BROUILLARDS CONDUITE ECO ANTIPATINAGE VEHICULE AVEC GPS NAVIGATION BANQUETTE 3 PLACES CAMERA DE RECUL PLANCHER BOIS  CLOISON VITRE ATTELAGE CROCHET AIRBAG FRONTAL véhicule 1er main. entretenu et suivi dans le réseau CITROEN dernier entretien effectué (factures à l appui). contrôle technique OK. garanti 03 mois avec possibilité d extension jusqu à 24 mois. la TVA est récupérable. possibilité de reprise de votre ancien utilitaire. + de 50 véhicules en stock (utilitaires. fourgons. dangel 4x4) nous sommes agrées pour les financements AGILOR du crédit agricole. nous nous occupons des démarches du changement de la carte grise. nous travaillons avec les mairies. collectivités. administrations. nous pouvons vous récupérer en gare tgv de Nîmes ."
3170896830: "La société clp automobile vous propose : Citroën Berlingo, 2021, 1.5 hdi 130cv, XL Rallongé, driver, 200000km.  1ère main  Carnet d'entretien complet  Origine France  Garantie 6 mois  Tva récupérable  7100€ HT soit 8499€ TTC   VERSION XL, RALLONGÉ   Très bon état  Toujours suivi dans le réseau, facture à l'appui. Rien à prévoir.  Doublage bois avec rangement et Cloison de séparation, 2 clefs, plus serrure anti effraction.  Gps Caméra de recul  Climatisation  Android auto  Apple carplay  Mirror link  Usb Bluetooth  Radar d'obstacles avant et arrière  Porte latérale"
3183463591: "Citroën Berlingo Taille XL 950kg PureTech 110 S&S BV Club camionnette, blanc, 6 cv, 4 portes, première mise en circulation le 12/04/2021, première main, garantie 12 mois.  2 places boîte de vitesse : manuelle  OPTIONS ET ÉQUIPEMENTS : Audio - Télécommunications :   -  Interface mains libres pour téléphone portable   - Navigation  Conduite :   -  Assistant démarrage en côte   - Stop & Start   - allumage automatique des feux  Extérieur :   - porte latérale   - rétroviseurs électriques   - système d'aide au stationnement  Intérieur :   - climatisation : manuelle   - climatisation manuelle   - fermeture centralisée   - ordinateur de bord   - vitres avant éléctriques   - vitres surteintées   - vitres électriques  Pack :   -  Support téléphone  Spécifique VUL :   - type carrosserie : Fourgon  Sécurité :   -  Appel d'urgence et d'assistance   -  Contrôle de pression des pneumatiques   - ABS   - phares antibrouillard  Autres équipements et informations :   -  Stabilisateur de trajectoire   - Puissance kilowatt : 81 kw   - consommation extra urbaine : 5,10 litres   - consommation mixte : 5,60 litres   - consommation urbaine : 6,50 litres   - puissance réelle : 110 ch   - émission CO2 : 160 g/km  Référence annonce : 2v2hk4gpl"
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
2026-04-21 08:09:02 [INFO] [berlingo] [STATS] HTTP Request: POST https://api.openai.com/v1/chat/completions "HTTP/1.1 200 OK"
2026-04-21 08:09:02 [INFO] [berlingo] [STATS] ━━━ LLM DESC OUTPUT batch 1/1 (3 résultats, modèle=gpt-5-nano) ━━━
[
  {
    "list_id": "3071159352",
    "courroie_changee": null,
    "embrayage_change": null,
    "travaux_recents": [
      "dernier entretien effectué",
      "contrôle technique OK"
    ],
    "negociabilite": null,
    "contexte_vente": null,
    "nb_proprietaires": 1,
    "options_description": [
      "CLIMATISÉE",
      "RÉGULATEUR ET LIMITEUR DE VITESSE",
      "RADAR DE RECUL",
      "KIT MAIN USB JACK",
      "PORTE LATERALE",
      "ANTI BROUILLARDS",
      "CONDUITE ECO ANTIPATINAGE",
      "GPS NAVIGATION",
      "BANQUETTE 3 PLACES",
      "CAMERA DE RECUL",
      "PLANCHER BOIS",
      "CLOISON VITRE",
      "ATTELAGE CROCHET",
      "AIRBAG FRONTAL"
    ],
    "accidente": null
  },
  {
    "list_id": "3170896830",
    "courroie_changee": null,
    "embrayage_change": null,
    "travaux_recents": [
      "Carnet d'entretien complet"
    ],
    "negociabilite": "ferme",
    "contexte_vente": null,
    "nb_proprietaires": 1,
    "options_description": [
      "GPS",
      "Caméra de recul",
      "Climatisation",
      "Android Auto",
      "Apple CarPlay",
      "Mirror Link",
      "USB",
      "Bluetooth",
      "Radar d'obstacles avant et arrière",
      "Porte latérale",
      "Doublage bois avec rangement",
      "Cloison de séparation"
    ],
    "accidente": null
  },
  {
    "list_id": "3183463591",
    "courroie_changee": null,
    "embrayage_change": null,
    "travaux_recents": [],
    "negociabilite": null,
    "contexte_vente": null,
    "nb_proprietaires": 1,
    "options_description": [
      "Interface mains libres pour téléphone portable",
      "Navigation",
      "Assistant démarrage en côte",
      "Stop & Start",
      "Allumage automatique des feux",
      "Porte latérale",
      "Rétroviseurs électriques",
      "Système d'aide au stationnement",
      "Climatisation manuelle",
      "Fermeture centralisée",
      "Ordinateur de bord",
      "Vitres avant électriques",
      "Vitres surteintées",
      "Vitres électriques",
      "Support téléphone",
      "Appel d'urgence et d'assistance",
      "Contrôle de pression des pneumatiques",
      "ABS",
      "Phares antibrouillard",
      "Stabilisateur de trajectoire"
    ],
    "accidente": null
  }
]
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
2026-04-21 08:09:02 [INFO] [berlingo] [STATS] Batch persisté : 3 évaluation(s) sauvegardée(s)
2026-04-21 08:09:02 [INFO] [berlingo] [STATS] Évaluations insérées : 3
2026-04-21 08:09:02 [INFO] [berlingo] [STATS] ANALYSE TERMINEE en 33.1s — 777 annonces (run #710) — Modele: berlingo
2026-04-21 08:09:03 [INFO] [berlingo] [LLM] $ /home/ubuntu/app/.venv/bin/python -m stats.m05_llm_title_analysis --model berlingo
2026-04-21 08:09:03 [INFO] [berlingo] [LLM] M05 — Extraction LLM des titres (GPT-5 Nano)
2026-04-21 08:09:03 [INFO] [berlingo] [LLM] Annonces sans evaluation LLM : 0
2026-04-21 08:09:03 [INFO] [berlingo] [LLM] Toutes les annonces ont deja ete analysees.
2026-04-21 08:09:03 [INFO] [berlingo] [LLM DESC] $ /home/ubuntu/app/.venv/bin/python -m stats.m06_llm_description_analysis --model berlingo
2026-04-21 08:09:04 [INFO] [berlingo] [LLM DESC] M06 — Extraction LLM des descriptions (GPT-5 Nano)
2026-04-21 08:09:04 [INFO] [berlingo] [LLM DESC] Schéma initialisé dans /home/ubuntu/app/db/lbc.sqlite
2026-04-21 08:09:04 [INFO] [berlingo] [LLM DESC] Champs actifs : 8
2026-04-21 08:09:04 [INFO] [berlingo] [LLM DESC] Annonces Excellente/Bonne affaire sans analyse description : 0
2026-04-21 08:09:04 [INFO] [berlingo] [LLM DESC] Toutes les annonces éligibles ont déjà été analysées.