Umgehung des Anti-Bot-Bildschirms

Bei dieser Art von Aufgabe navigiert unser Worker zu einer Webseite Ihrer Wahl, umgeht jeden Anti-Bot-Bildschirm, sammelt Cookies und gibt sie an Ihre App zurück. Sie können diese Cookies dann verwenden, um mit Ihrer bevorzugten Programmiersprache frei auf dieser Website zu navigieren. Um diese Art von Bot-abfangenden Seiten erfolgreich zu umgehen, benötigen Sie auch den User-Agent-Wert des Browsers unseres Workers und stellen uns einen hochwertigen Proxy zur Verfügung. Ohne Proxys wird diese Methode nicht funktionieren, da alle Anti-Bot-Lösungen ihre Cookies mit der IP-Adresse des Besuchers und seinem User-Agent abgleichen.

Beispiel für einen Anti-Bot-Bildschirm

Was wir auf der letzten Seite finden:

Cookies
Browser-Fingerabdruck
Header der letzten HTTP-Anfrage aus dem Hauptfensterrahmen

Diese Technologie baut auf unserer AntiGate-Vorlagen Technologie auf, mit dem Unterschied, dass wir die Vorlagen selbst verwalten und auf dem neuesten Stand halten. Die Verwendung dieser Art von Aufgaben erfordert ein Abo, mit einem Preis von 5 Credits für jede Aufgabe. Die Abonnementpreise beginnen bei $9,90 pro Monat und beinhalten 5.000 Umgehungen. Wenn Sie kein Abo abschließen möchten, können Sie mit diesem Tutorial selbst eine Vorlage erstellen und weiterhin von Ihrem Guthaben bezahlen, was etwa $0,002 pro Aufgabe kostet.

Der gesamte Prozess wird von einem Browser-Plugin gesteuert, das unsere Arbeiter installieren, bevor sie Aufträge erhalten. Sie tun nichts manuell. Im Grunde wird automatisch eine neue Registerkarte mit aktiviertem Proxy geöffnet, die zur Seite Ihrer Wahl navigiert, wartet, bis der Anti-Bot-Bildschirm durchlaufen ist, erfasst Daten, schließt die Registerkarte und übergibt die Daten über die API an Ihre App.

Es werden nur hochwertige Proxys akzeptiert, keine Hostnamen, keine "Residential Proxys", keine gemeinsam genutzten Proxy-Pools. Die Anmietung eines VPS in den USA/Europa und die Installation eines SQUID-Servers mithilfe unserer Anweisungen wird immer funktionieren. Die Proxys werden vor der Ausführung der Aufgabe auf Geschwindigkeit und Kompatibilität geprüft. Sie müssen eine Antwortzeit von unter 1 Sekunde haben, andernfalls werden Ihre Aufgaben von den Arbeitern abgebrochen.

Prüfen Sie, ob eine Website einen Anti-Bot-Bildschirm unterstützt:

Dieser wird noch nicht unterstützt. Kontaktieren Sie uns über Tickets, um Unterstützung anzufordern.

Beachten Sie, dass einige Anti-Bot-Screens fortgeschrittene Fingerprinting-Techniken wie SSL handshake fingerprinting verwenden, mit denen festgestellt werden kann, welche Art von SSL/TLS-Client die Verbindung zur Website herstellt. Der Chrome-Browser hat zum Beispiel einen Fingerabdruck, Firefox einen anderen und CURL wieder einen anderen. Nicht zu verwechseln mit einem User-Agent, es handelt sich um eine niedrigere Ebene. In diesem Fall müssen Sie, um unseren Dienst nutzen zu können, dieselbe Browserinstanz verwenden, um die Sitzung unseres Workers zu rekonstruieren. Da die meisten unserer Worker den Chrome-Browser verwenden, reicht ein Bündel aus NodeJS+Puppeteer+Chromium oder Selenium+Chromedriver aus. Siehe Beispiele.

Aufgabenobjekt

Wert	Art	Erforderlich	Zweck
type	String	Ja	AntiBotCookieTask
websiteURL	String	Ja	Adresse einer Ziel-Website zu welcher unser Arbeiter navigiert.
proxyAddress	String	Ja	Proxy-IP-Adresse ipv4/ipv6. Keine Hostnamen oder IP-Adressen aus lokalen Netzwerken.
proxyPort	Integer	Ja	Proxy-Port
proxyLogin	String	Ja	Login für Proxy mit erforderlicher Autorisierung (basic)
proxyPassword	String	Ja	Proxy-Passwort

Anfrage-Beispiel

Python

Javascript

PHP

#pip3 install anticaptchaofficial

from anticaptchaofficial.antibotcookietask import *
import requests

solver = antibotcookieTask()
solver.set_verbose(1)
solver.set_key("API_KEY_HERE")
solver.set_website_url("https://www.somewebsite.com/")
solver.set_proxy_address("1.2.3.4")
solver.set_proxy_port(3128)
solver.set_proxy_login("login")
solver.set_proxy_password("password")

# Specify softId to earn 10% commission with your app.
# Get your softId here: https://anti-captcha.com/clients/tools/devcenter
solver.set_soft_id(0)

result = solver.solve_and_return_solution()
if result == 0:
    print("could not solve task")
    exit()

print(result)

cookies, localStorage, fingerprint = result["cookies"], result["localStorage"], result["fingerprint"]

if len(cookies) == 0:
    print("empty cookies, try again")
    exit()

cookie_string = '; '.join([f'{key}={value}' for key, value in cookies.items()])
user_agent = fingerprint['self.navigator.userAgent']
print(f"use these cookies for requests: {cookie_string}")
print(f"use this user-agent for requests: {user_agent}")

s = requests.Session()
proxies = {
  "http": "http://login:password@1.2.3.4:3128",
  "https": "http://login:password@1.2.3.4:3128"
}
s.proxies = proxies

content = s.get("https://www.somewebsite.com/", headers={
    "Cookie": cookie_string,
    "User-Agent": user_agent
}).text
print(content)

Aufgabenlösungsobjekt

Wert	Art	Zweck
cookies	Objekt	Cookies von der Seite hinter dem Anti-Bot-Bildschirm. Fügen Sie sie alle zusammen und verwenden Sie sie in Ihren HTTP-Anfragen.
localStorage	Objekt	Ähnlich wie bei Cookies, ein Objekt mit localStorage Werten, die auf der letzten Seite abgefragt wurden.
fingerprint	Objekt	Browser-Fingerprint-Parameter. Verwenden Sie diese zusammen mit Cookies und localStorage, um die Browser-Sitzung des Arbeiters in Ihrer Software wiederherzustellen. Verwenden Sie den Wert "self.navigator.userAgent" als Benutzer-Agent in Ihren HTTP-Anfragen.
url	String	URL der Seite, auf der die Ausführung der Vorlage beendet wurde
lastRequestHeaders	Array	Letzte Anfrage-Header, die vom Hauptfenster des Browsers an die Website gesendet wurden.

Antwort-Beispiel

{
    "errorId": 0,
    "status": "ready",
    "solution": {
        "cookies": {
            "some_antibotcookie": "0A8VO9NX5N1s4LRoS4sJlFTCNzLj0dEfA_2whUh0E6ZjgQtM~I1cV7U2IhQx0~jnowNjg-Oi76b-MjYPd1GQAmIxh5-v~33PI8F",
            "maybe_another_id": "join_all_cookies_together"
        },
        "localStorage": {
            "some_value": "Might be used too in the future as a method to 'remember' visitors, so we collect it too.",
            "what_is_it": "localStorage is a more complex analogue of cookies, allowing to store larger objects in browser memory"
        },
        "fingerprint": {
            "self.navigator.userAgent": "Mozilla\/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit\/537.36 (KHTML, like Gecko) Chrome\/101.0.0.0 Safari\/537.36",
            "self.screen.width": 1280,
            "self.screen.height": 768,
            "self.screen.availWidth": 1280,
            "self.screen.availHeight": 768,
            "self.screen.availLeft": 0,
            "self.screen.availTop": 25,
            "self.navigator.vendorSub": "",
            "self.navigator.productSub": "20030107",
            "self.navigator.vendor": "Google Inc.",
            "self.navigator.maxTouchPoints": 0,
            "self.navigator.hardwareConcurrency": 8,
            "self.navigator.cookieEnabled": true,
            "self.navigator.appCodeName": "Mozilla",
            "self.navigator.appName": "Netscape",
            "self.navigator.appVersion": "5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit\/537.36 (KHTML, like Gecko) Chrome\/101.0.0.0 Safari\/537.36",
            "self.navigator.platform": "MacIntel",
            "self.navigator.product": "Gecko",
            "self.navigator.language": "en-US",
            "self.navigator.onLine": true,
            "self.navigator.deviceMemory": 4
        },
        "url": "https://www.thewebsite.com/some/final/path/after_redirects",
        "lastRequestHeaders": [
            "sec-ch-device-memory: 8",
            "sec-ch-ua: \" Not A;Brand\";v=\"99\", \"Chromium\";v=\"101\", \"Google Chrome\";v=\"101\"",
            "sec-ch-ua-mobile: ?0",
            "sec-ch-ua-arch: \"x86\"",
            "sec-ch-ua-platform: \"macOS\"",
            "sec-ch-ua-model: \"\"",
            "sec-ch-ua-full-version-list: \" Not A;Brand\";v=\"99.0.0.0\", \"Chromium\";v=\"101.0.5005.115\", \"Google Chrome\";v=\"101.0.5005.115\"",
            "Upgrade-Insecure-Requests: 1",
            "User-Agent: Mozilla\/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit\/537.36 (KHTML, like Gecko) Chrome\/101.0.0.0 Safari\/537.36",
            "Accept: text\/html,application\/xhtml+xml,application\/xml;q=0.9,image\/avif,image\/webp,image\/apng,*\/*;q=0.8,application\/signed-exchange;v=b3;q=0.9",
            "Sec-Fetch-Site: same-origin",
            "Sec-Fetch-Mode: navigate",
            "Sec-Fetch-Dest: document",
            "Referer: https:\/\/somewebsite.com\/",
            "Accept-Encoding: gzip, deflate, br",
            "Accept-Language: en-US,en;q=0.9",
            "Cookie: some_antibotcookie=0A8VO9NX5N1s4LRoS4sJlFTCNzLj0dEfA_2whUh0E6ZjgQtM~I1cV7U2IhQx0~jnowNjg-Oi76b-MjYPd1GQAmIxh5-v~33PI8F"
        ]
    },
    "cost": "0.00858",
    "ip": "5.25.11.114",
    "createTime": 1637841143,
    "endTime": 1637841189,
    "solveCount": 0
}