Umgehung des Anti-Bot-Bildschirms

Bei dieser Art von Aufgabe navigiert unser Worker zu einer Webseite Ihrer Wahl, umgeht jeden Anti-Bot-Bildschirm, sammelt Cookies und gibt sie an Ihre App zurück. Sie können diese Cookies dann verwenden, um mit Ihrer bevorzugten Programmiersprache frei auf dieser Website zu navigieren. Um diese Art von Bot-abfangenden Seiten erfolgreich zu umgehen, benötigen Sie auch den User-Agent-Wert des Browsers unseres Workers und stellen uns einen Proxy von guter Qualität zur Verfügung. Ohne Proxys wird diese Methode nicht funktionieren, da alle Anti-Bot-Lösungen ihre Cookies mit der IP-Adresse des Besuchers und seinem User-Agent abgleichen.

Beispiel für einen Anti-Bot-Bildschirm

Was wir auf der letzten Seite finden:

Cookies
Browser-Fingerabdruck
Header der letzten HTTP-Anfrage aus dem Hauptfensterrahmen

Diese Technologie basiert auf unserer AntiGate-Vorlagen, mit dem Unterschied, dass wir die Vorlagen selbst verwalten und auf dem neuesten Stand halten. Für die Verwendung dieser Art von Aufgaben ist ein Abonnement erforderlich, der für jede Aufgabe 5 Credits kostet. Die Abonnementpreise beginnen bei $9,90 pro Monat und beinhalten 5.000 Umgehungen. Wenn Sie keine kaufen möchten, können Sie selbst eine Vorlage erstellen, indem Sie diese Lehrgang verwenden und weiterhin von Ihrem Guthaben bezahlen, was etwa $0,002 pro Aufgabe kostet.

Der gesamte Prozess wird von einem Browser-Plugin gesteuert, das unsere Mitarbeiter installieren, bevor sie Aufträge erhalten. Sie tun nichts manuell. Im Grunde wird automatisch eine neue Registerkarte mit aktiviertem Proxy geöffnet, die zur Seite Ihrer Wahl navigiert, wartet, bis der Anti-Bot-Bildschirm durchlaufen ist, erfasst Daten, schließt die Registerkarte und übergibt die Daten über die API an Ihre App.

Es werden nur qualitativ hochwertige Proxys akzeptiert, keine Hostnamen, keine "Residential Proxys", keine gemeinsamen Proxy-Pools. Einen VPS in den USA/Europa zu mieten und einen SQUID-Server mit unserem Anweisungen zu installieren, wird immer funktionieren. Proxies werden vor der Ausführung der Aufgabe auf Geschwindigkeit und Kompatibilität geprüft. Sie müssen eine schnelle Antwortzeit von unter 1 Sekunde haben, andernfalls werden Ihre Aufgaben von den Arbeitern abgebrochen.

Prüfen Sie, ob eine Website einen Anti-Bot-Bildschirm unterstützt:

Beachten Sie, dass einige Anti-Bot-Bildschirme fortgeschrittene Fingerprinting-Techniken wie SSL handshake fingerprinting verwenden, die erkennen können, welche Art von SSL/TLS-Client eine Verbindung zur Website herstellt. Zum Beispiel hat der Chrome-Browser einen Fingerabdruck, Firefox einen anderen und CURL einen ganz anderen. Verwechseln Sie sich nicht mit einem User-Agent, das ist etwas auf einer niedrigeren Ebene. In diesem Fall müssen Sie, um unseren Dienst nutzen zu können, dieselbe Browserinstanz verwenden, um die Sitzung unseres Workers zu rekonstruieren. Da die meisten unserer Worker den Chrome-Browser verwenden, reicht ein Bündel aus NodeJS+Puppeteer+Chromium oder Selenium+Chromedriver aus. Beispiele enthalten.

Aufgabenobjekt

Wert	Art	Erforderlich	Zweck
type	String	Ja	AntiBotCookieTask
websiteURL	String	Ja	Adresse einer Ziel-Website zu welcher unser Arbeiter navigiert.
proxyAddress	String	Ja	Proxy-IP-Adresse ipv4/ipv6. Keine Hostnamen oder IP-Adressen aus lokalen Netzwerken.
proxyPort	Integer	Ja	Proxy-Port
proxyLogin	String	Ja	Login für Proxy mit erforderlicher Autorisierung (basic)
proxyPassword	String	Ja	Proxy-Passwort

Anfrage-Beispiel

Python

Javascript

PHP

#pip3 install anticaptchaofficial

from anticaptchaofficial.antibotcookietask import *
import requests

solver = antibotcookieTask()
solver.set_verbose(1)
solver.set_key("API_KEY_HERE")
solver.set_website_url("https://www.somewebsite.com/")
solver.set_proxy_address("1.2.3.4")
solver.set_proxy_port(3128)
solver.set_proxy_login("login")
solver.set_proxy_password("password")

# Specify softId to earn 10% commission with your app.
# Get your softId here: https://anti-captcha.com/clients/tools/devcenter
solver.set_soft_id(0)

result = solver.solve_and_return_solution()
if result == 0:
    print("could not solve task")
    exit()

print(result)

cookies, localStorage, fingerprint = result["cookies"], result["localStorage"], result["fingerprint"]

if len(cookies) == 0:
    print("empty cookies, try again")
    exit()

cookie_string = '; '.join([f'{key}={value}' for key, value in cookies.items()])
user_agent = fingerprint['self.navigator.userAgent']
print(f"use these cookies for requests: {cookie_string}")
print(f"use this user-agent for requests: {user_agent}")

s = requests.Session()
proxies = {
  "http": "http://login:password@1.2.3.4:3128",
  "https": "http://login:password@1.2.3.4:3128"
}
s.proxies = proxies

content = s.get("https://www.somewebsite.com/", headers={
    "Cookie": cookie_string,
    "User-Agent": user_agent
}).text
print(content)

Aufgabenlösungsobjekt

Wert	Art	Zweck
cookies	Objekt	Cookies von der Seite hinter dem Anti-Bot-Bildschirm. Fügen Sie sie alle zusammen und verwenden Sie sie in Ihren HTTP-Anforderungen.
localStorage	Objekt	Ähnlich wie bei Cookies, ein Objekt mit localStorage Werten, die auf der letzten Seite abgefragt wurden.
fingerprint	Objekt	Browser-Fingerprint-Parameter. Verwenden Sie diese zusammen mit Cookies und localStorage, um die Browser-Sitzung des Arbeiters in Ihrer Software wiederherzustellen. Verwenden Sie den self.navigator.userAgent Wert als User-Agent in Ihren HTTP-Anfragen.
url	String	URL der Seite, auf der die Ausführung der Vorlage beendet wurde
lastRequestHeaders	Array	Letzte Anfrage-Header, die vom Hauptfenster des Browsers an die Website gesendet wurden.

Antwort-Beispiel

{
    "errorId": 0,
    "status": "ready",
    "solution": {
        "cookies": {
            "some_antibotcookie": "0A8VO9NX5N1s4LRoS4sJlFTCNzLj0dEfA_2whUh0E6ZjgQtM~I1cV7U2IhQx0~jnowNjg-Oi76b-MjYPd1GQAmIxh5-v~33PI8F",
            "maybe_another_id": "join_all_cookies_together"
        },
        "localStorage": {
            "some_value": "Might be used too in the future as a method to 'remember' visitors, so we collect it too.",
            "what_is_it": "localStorage is a more complex analogue of cookies, allowing to store larger objects in browser memory"
        },
        "fingerprint": {
            "self.navigator.userAgent": "Mozilla\/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit\/537.36 (KHTML, like Gecko) Chrome\/101.0.0.0 Safari\/537.36",
            "self.screen.width": 1280,
            "self.screen.height": 768,
            "self.screen.availWidth": 1280,
            "self.screen.availHeight": 768,
            "self.screen.availLeft": 0,
            "self.screen.availTop": 25,
            "self.navigator.vendorSub": "",
            "self.navigator.productSub": "20030107",
            "self.navigator.vendor": "Google Inc.",
            "self.navigator.maxTouchPoints": 0,
            "self.navigator.hardwareConcurrency": 8,
            "self.navigator.cookieEnabled": true,
            "self.navigator.appCodeName": "Mozilla",
            "self.navigator.appName": "Netscape",
            "self.navigator.appVersion": "5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit\/537.36 (KHTML, like Gecko) Chrome\/101.0.0.0 Safari\/537.36",
            "self.navigator.platform": "MacIntel",
            "self.navigator.product": "Gecko",
            "self.navigator.language": "en-US",
            "self.navigator.onLine": true,
            "self.navigator.deviceMemory": 4
        },
        "url": "https://www.thewebsite.com/some/final/path/after_redirects",
        "lastRequestHeaders": [
            "sec-ch-device-memory: 8",
            "sec-ch-ua: \" Not A;Brand\";v=\"99\", \"Chromium\";v=\"101\", \"Google Chrome\";v=\"101\"",
            "sec-ch-ua-mobile: ?0",
            "sec-ch-ua-arch: \"x86\"",
            "sec-ch-ua-platform: \"macOS\"",
            "sec-ch-ua-model: \"\"",
            "sec-ch-ua-full-version-list: \" Not A;Brand\";v=\"99.0.0.0\", \"Chromium\";v=\"101.0.5005.115\", \"Google Chrome\";v=\"101.0.5005.115\"",
            "Upgrade-Insecure-Requests: 1",
            "User-Agent: Mozilla\/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit\/537.36 (KHTML, like Gecko) Chrome\/101.0.0.0 Safari\/537.36",
            "Accept: text\/html,application\/xhtml+xml,application\/xml;q=0.9,image\/avif,image\/webp,image\/apng,*\/*;q=0.8,application\/signed-exchange;v=b3;q=0.9",
            "Sec-Fetch-Site: same-origin",
            "Sec-Fetch-Mode: navigate",
            "Sec-Fetch-Dest: document",
            "Referer: https:\/\/somewebsite.com\/",
            "Accept-Encoding: gzip, deflate, br",
            "Accept-Language: en-US,en;q=0.9",
            "Cookie: some_antibotcookie=0A8VO9NX5N1s4LRoS4sJlFTCNzLj0dEfA_2whUh0E6ZjgQtM~I1cV7U2IhQx0~jnowNjg-Oi76b-MjYPd1GQAmIxh5-v~33PI8F"
        ]
    },
    "cost": "0.00858",
    "ip": "5.25.11.114",
    "createTime": 1637841143,
    "endTime": 1637841189,
    "solveCount": 0
}