Intégration avec Python Requests et curl_cffi
Découvrez comment router les scrapers Python Requests et curl_cffi à usurpation TLS à travers les proxies mobiles XProxy 4G/5G, avec déclenchement automatique de la rotation d'IP sur les limites de débit HTTP 429/403.
Pourquoi utiliser XProxy avec Python Requests & curl_cffi ?
Python Requests et curl_cffi (qui reproduit les empreintes TLS de Chrome/Firefox au niveau de la socket) sont les bibliothèques les plus populaires pour le web scraping rapide et léger. En routant vos scripts Python via les proxies mobiles 4G/5G auto-hébergés XProxy, vous contournez l'empreinte TLS de Cloudflare et les limites de débit d'IP avec un débit de données illimité.
Prérequis
- Python 3.8+ avec
requestsetcurl_cffiinstallés (pip install requests curl_cffi). - Un serveur XProxy en cours d'exécution avec des dongles USB 4G/5G ou des téléphones Android actifs.
- Les identifiants du proxy (IP, Port, Nom d'utilisateur, Mot de passe, Lien de l'API de rotation) depuis le tableau de bord XProxy.
1. Exemple standard avec Python Requests
Voici un script complet illustrant la rotation IP automatique de XProxy lors de la réception des codes de statut HTTP 429 ou 403 :
import time
import requests
# --- XProxy Configuration ---
PROXIES = {
"http": "http://username:[email protected]:5001",
"https": "http://username:[email protected]:5001",
}
ROTATION_API_URL = "http://192.168.6.7:8081/api/v1/rotate_ip/position/1"
def rotate_xproxy_ip():
"""Trigger 4G/5G cellular reconnection on XProxy."""
print("🔄 Triggering XProxy IP rotation...")
try:
res = requests.get(ROTATION_API_URL, timeout=10)
if res.status_code == 200:
print("✅ IP rotation requested. Waiting 6 seconds for 4G reconnect...")
time.sleep(6)
return True
except Exception as e:
print(f"❌ Rotation error: {e}")
return False
def scrape_url(url):
for attempt in range(3):
try:
response = requests.get(url, proxies=PROXIES, timeout=15)
# Handle rate limits or anti-bot blocks
if response.status_code in (429, 403):
print(f"⚠️ Encountered HTTP {response.status_code}. Rotating IP...")
rotate_xproxy_ip()
continue
print(f"✅ Success ({response.status_code}): {response.text[:100]}")
return response
except requests.exceptions.RequestException as e:
print(f"❌ Request error: {e}. Retrying with new IP...")
rotate_xproxy_ip()
if __name__ == "__main__":
scrape_url("https://api.ipify.org?format=json")2. Usurpation TLS avec `curl_cffi`
Pour contourner les vérifications d'empreinte TLS de Cloudflare & Akamai tout en utilisant les IP mobiles XProxy 4G/5G, utilisez curl_cffi pour usurper les signatures TLS d'un vrai navigateur Chrome :
from curl_cffi import requests
# Configure SOCKS5 or HTTP proxy with Chrome TLS impersonation
proxy_url = "socks5://username:[email protected]:5001"
response = requests.get(
"https://tls.browserleaks.com/json",
proxies={"http": proxy_url, "https": proxy_url},
impersonate="chrome120", # Impersonate Chrome 120 TLS fingerprint
timeout=15
)
print("Status Code:", response.status_code)
print("TLS Response:", response.json())Questions fréquentes
- Q : Dois-je utiliser HTTP ou SOCKS5 avec Python Requests ?
R : La bibliothèque standardrequestsfonctionne très bien avec les proxies HTTP. Pour la prise en charge de SOCKS5 dans Python Requests, installezrequests[socks](par ex.socks5h://user:[email protected]:5001).
Why High-Quality SOCKS5 UDP & Mobile Proxies Matter for Python Requests & Scrapers
Using cheap datacenter proxies or basic HTTP proxies in antidetect profiles leads to instant account suspensions on Facebook, Google, TikTok, and Amazon. Here is why XProxy's self-hosted 4G/5G mobile proxies deliver superior anonymity and trust:
- SOCKS5 with Full UDP Support: Unlike standard HTTP proxies that drop UDP packets, XProxy SOCKS5 proxies fully support UDP datagrams. This ensures WebRTC, DNS queries, and real-time audio/video sockets route securely through your proxy without revealing your real IP address.
- Instant REST API IP Rotation: Trigger cellular IP rotation on demand via simple HTTP GET requests (e.g.
http://192.168.6.7:8081/api/v1/rotate_ip/position/1). Reconnect 4G/5G USB modems in 3 to 8 seconds with zero proxy dropouts. - 100% WebRTC & DNS Leak Protection: Combined with XProxy's local LAN gateway and TCP OS Spoofing, your browser profiles maintain pristine anonymity scores on BrowserLeaks, Whoer, Pixelscan, and IPhey.
- Carrier-Grade NAT (CGNAT) Trust: Mobile carrier IPs are shared by thousands of active smartphone users. Major platforms never ban mobile IP ranges, granting your accounts maximum trust.
