Anti-bot scherm omzeilen

Dit type taak waarbij onze medewerker naar een webpagina van uw keuze navigeert, elk anti-bot scherm omzeilt, cookies pakt en terugstuurt naar uw app. U kunt vervolgens deze cookies gebruiken om vrij te navigeren op deze website met uw favoriete programmeertaal. Om dit soort bot-catching pagina's met succes te omzeilen, hebt u ook de User-Agent waarde van de browser van onze medewerker nodig en moet u ons een proxy van goede kwaliteit leveren. Zonder proxies werkt deze methode niet, omdat alle anti-bot oplossingen hun cookies overeen laten komen met het IP adres van de bezoeker en hun User-Agent.

Voorbeeld anti-bot scherm

Wat we pakken op de laatste pagina:

Cookies
Vingerafdruk van de browser
Headers van een laatste HTTP-verzoek gemaakt vanuit het hoofdvenster frame

Deze technologie is gebouwd op onze technologie AntiGate-sjablonen, behalve dat we de sjablonen zelf beheren en up-to-date houden. Voor het gebruik van dit type taak is een abonnement nodig, met een kostprijs van 5 credits voor elke taak. Abonnementsprijzen beginnen vanaf $9.90 per maand met 5.000 bypasses inbegrepen. Als u geen abonnement wilt, kunt u zelf een sjabloon maken met deze handleiding en blijven betalen uit uw saldo tegen kosten van ongeveer $0.002 per taak.

Het hele proces wordt gestuurd door een browser-plugin, die onze medewerkers installeren voordat ze opdrachten krijgen. Ze doen niets handmatig, in principe wordt automatisch een nieuw tabblad geopend met uw proxy ingeschakeld, navigeert naar de pagina van uw keuze, wacht tot het anti-bot scherm is gepasseerd, pakt gegevens, sluit het tabblad en geeft de gegevens door aan uw app via API.

Alleen proxy's van hoge kwaliteit worden geaccepteerd, geen hostnamen, geen "residentiéle proxy's", geen gedeelde proxygroepen. Het huren van een VPS in de VS/Europa en het installeren van een SQUID-server met onze instructies zal altijd werken. Proxy's worden gecontroleerd op snelheid en compatibiliteit voordat de taak wordt uitgevoerd. Ze moeten een snelle responstijd van minder dan 1 seconde hebben, anders annuleren de medewerkers uw taken.

Controleer of een website een anti-bot scherm heeft:

Deze wordt nog niet ondersteund. Neem contact met ons op via tickets om ondersteuning aan te vragen.

Denk eraan dat sommige anti-bot schermen gebruik maken van geavanceerde vingerafdruktechnieken, zoals SSL handshake fingerprinting, die kan identificeren welk soort SSL/TLS client verbinding maakt met de website. De Chrome-browser heeft bijvoorbeeld één vingerafdruk, Firefox een andere en CURL een heel andere. Verwar uzelf niet met een User-Agent, het is iets op een lager niveau. In dit geval moet u, om onze services te gebruiken, dezelfde browserinstantie gebruiken om de sessie van onze medewerker te reconstrueren. Aangezien de meest van onze medewerkers de Chrome-browser gebruiken, is een bundel van NodeJS+Puppeteer+Chromium of Selenium+Chromedriver voldoende. Voorbeelden inbegrepen.

Taak object

Eigenschap	Type	Verplicht	Doel
type	String	Ja	AntiBotCookieTask
websiteURL	String	Ja	Adres van een doelwebpagina waar onze medewerker heen zal navigeren.
proxyAddress	String	Ja	Proxy IP-adres ipv4/ipv6. Geen hostnamen of IP-adressen van lokale netwerken.
proxyPort	Integer	Ja	Proxypoort
proxyLogin	String	Ja	Login voor proxy die autorisatie vereist (basis)
proxyPassword	String	Ja	Proxy-wachtwoord

Voorbeeld aanvraag

Python

Javascript

PHP

#pip3 install anticaptchaofficial

from anticaptchaofficial.antibotcookietask import *
import requests

solver = antibotcookieTask()
solver.set_verbose(1)
solver.set_key("API_KEY_HERE")
solver.set_website_url("https://www.somewebsite.com/")
solver.set_proxy_address("1.2.3.4")
solver.set_proxy_port(3128)
solver.set_proxy_login("login")
solver.set_proxy_password("password")

# Specify softId to earn 10% commission with your app.
# Get your softId here: https://anti-captcha.com/clients/tools/devcenter
solver.set_soft_id(0)

result = solver.solve_and_return_solution()
if result == 0:
    print("could not solve task")
    exit()

print(result)

cookies, localStorage, fingerprint = result["cookies"], result["localStorage"], result["fingerprint"]

if len(cookies) == 0:
    print("empty cookies, try again")
    exit()

cookie_string = '; '.join([f'{key}={value}' for key, value in cookies.items()])
user_agent = fingerprint['self.navigator.userAgent']
print(f"use these cookies for requests: {cookie_string}")
print(f"use this user-agent for requests: {user_agent}")

s = requests.Session()
proxies = {
  "http": "http://login:password@1.2.3.4:3128",
  "https": "http://login:password@1.2.3.4:3128"
}
s.proxies = proxies

content = s.get("https://www.somewebsite.com/", headers={
    "Cookie": cookie_string,
    "User-Agent": user_agent
}).text
print(content)

Taak oplossing object

Eigenschap	Type	Doel
cookies	Object	Cookies van de pagina achter het anti-bot scherm. Voeg ze allemaal samen en gebruik ze in uw HTTP-verzoeken.
localStorage	Object	Net als bij cookies, een object met localStorage-waarden die op de laatste pagina zijn opgehaald.
fingerprint	Object	Browser vingerafdruk parameters. Gebruik ze samen met cookies en localStorage om de browsersessie van de medewerker opnieuw te maken in uw software. Gebruik de waarde "self.navigator.userAgent" als user-agent in uw HTTP-verzoeken.
url	String	URL van de pagina waar de uitvoering van het sjabloon werd beëindigd
lastRequestHeaders	Reeks	Laatste verzoekheaders die vanuit het hoofdvenster van de browser naar de website zijn gestuurd.

Voorbeeld reactie

{
    "errorId": 0,
    "status": "ready",
    "solution": {
        "cookies": {
            "some_antibotcookie": "0A8VO9NX5N1s4LRoS4sJlFTCNzLj0dEfA_2whUh0E6ZjgQtM~I1cV7U2IhQx0~jnowNjg-Oi76b-MjYPd1GQAmIxh5-v~33PI8F",
            "maybe_another_id": "join_all_cookies_together"
        },
        "localStorage": {
            "some_value": "Might be used too in the future as a method to 'remember' visitors, so we collect it too.",
            "what_is_it": "localStorage is a more complex analogue of cookies, allowing to store larger objects in browser memory"
        },
        "fingerprint": {
            "self.navigator.userAgent": "Mozilla\/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit\/537.36 (KHTML, like Gecko) Chrome\/101.0.0.0 Safari\/537.36",
            "self.screen.width": 1280,
            "self.screen.height": 768,
            "self.screen.availWidth": 1280,
            "self.screen.availHeight": 768,
            "self.screen.availLeft": 0,
            "self.screen.availTop": 25,
            "self.navigator.vendorSub": "",
            "self.navigator.productSub": "20030107",
            "self.navigator.vendor": "Google Inc.",
            "self.navigator.maxTouchPoints": 0,
            "self.navigator.hardwareConcurrency": 8,
            "self.navigator.cookieEnabled": true,
            "self.navigator.appCodeName": "Mozilla",
            "self.navigator.appName": "Netscape",
            "self.navigator.appVersion": "5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit\/537.36 (KHTML, like Gecko) Chrome\/101.0.0.0 Safari\/537.36",
            "self.navigator.platform": "MacIntel",
            "self.navigator.product": "Gecko",
            "self.navigator.language": "en-US",
            "self.navigator.onLine": true,
            "self.navigator.deviceMemory": 4
        },
        "url": "https://www.thewebsite.com/some/final/path/after_redirects",
        "lastRequestHeaders": [
            "sec-ch-device-memory: 8",
            "sec-ch-ua: \" Not A;Brand\";v=\"99\", \"Chromium\";v=\"101\", \"Google Chrome\";v=\"101\"",
            "sec-ch-ua-mobile: ?0",
            "sec-ch-ua-arch: \"x86\"",
            "sec-ch-ua-platform: \"macOS\"",
            "sec-ch-ua-model: \"\"",
            "sec-ch-ua-full-version-list: \" Not A;Brand\";v=\"99.0.0.0\", \"Chromium\";v=\"101.0.5005.115\", \"Google Chrome\";v=\"101.0.5005.115\"",
            "Upgrade-Insecure-Requests: 1",
            "User-Agent: Mozilla\/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit\/537.36 (KHTML, like Gecko) Chrome\/101.0.0.0 Safari\/537.36",
            "Accept: text\/html,application\/xhtml+xml,application\/xml;q=0.9,image\/avif,image\/webp,image\/apng,*\/*;q=0.8,application\/signed-exchange;v=b3;q=0.9",
            "Sec-Fetch-Site: same-origin",
            "Sec-Fetch-Mode: navigate",
            "Sec-Fetch-Dest: document",
            "Referer: https:\/\/somewebsite.com\/",
            "Accept-Encoding: gzip, deflate, br",
            "Accept-Language: en-US,en;q=0.9",
            "Cookie: some_antibotcookie=0A8VO9NX5N1s4LRoS4sJlFTCNzLj0dEfA_2whUh0E6ZjgQtM~I1cV7U2IhQx0~jnowNjg-Oi76b-MjYPd1GQAmIxh5-v~33PI8F"
        ]
    },
    "cost": "0.00858",
    "ip": "5.25.11.114",
    "createTime": 1637841143,
    "endTime": 1637841189,
    "solveCount": 0
}