Jak zastosować wtyczkę Anti-Captcha z Puppeteer oraz Selenium
Puppeteer i Selenium to dwa główne silniki służące automatyzacji przeglądarki, a nasz plugin idealnie z nimi współpracuje. W tym artykule pokażemy jak użyć go z Puppeteer i Selenium programując w językach NodeJS i Python. Jeśli zastanawiasz się nad wyborem pomiędzy nimi, zdecydowanie polecamy NodeJS+Puppeteer z racji ich natywnego środowiska.
1. Zainstaluj zależności. W przypadku NodeJS po prostu zainstaluj podane niżej pakiety nmp, a dla Pythona zainstaluj pakiety i pobierz plik wykonywalny "chromedriver" z tej strony. Wersja sterownika musi być taka, jak wersja zainstalowanego w twoim systemie Chrome'a.
npm install adm-zip puppeteer puppeteer-extra puppeteer-extra-plugin-stealth
2. Pobierz wtyczkę w wersji ZIP dla Chrome. Rozpakuj ją do katalogu projektu. Faktyczne wersje zlokalizowane są tu. Możesz to również wykonać metodą programową:
//npm install adm-zip
const https = require('https')
const fs = require('fs');
const AdmZip = require("adm-zip");
const pluginURL = 'https://antcpt.com/anticaptcha-plugin.zip';
(async () => {
// pobierz plugin
await new Promise((resolve) => {
https.get(pluginURL, resp => resp.pipe(fs.createWriteStream('./plugin.zip').on('close', resolve)));
})
// rozpakuj
const zip = new AdmZip("./plugin.zip");
await zip.extractAllTo("./plugin/", true);
})();
3. Następnie skonfiguruj swój klucz API w pliku ./plugin/js/config_ac_api_key.js. Klucz API znajdziesz w strefie klienta. Aby wszystko zaczęło działać, musisz mieć nieco środków na koncie.
const apiKey = 'API_KEY_32_BYTES';
if (fs.existsSync('./plugin/js/config_ac_api_key.js')) {
let confData = fs.readFileSync('./plugin/js/config_ac_api_key.js', 'utf8');
confData = confData.replace(/antiCapthaPredefinedApiKey = ''/g, `antiCapthaPredefinedApiKey = '${apiKey}'`);
fs.writeFileSync('./plugin/js/config_ac_api_key.js', confData, 'utf8');
} else {
console.error('plugin configuration not found!')
}
4. Zainicjalizuj przeglądarkę z wtyczką. Dla Puppeteer zalecamy plugin 'puppeteer-extra-plugin-stealth' dla paczki 'puppeteer-extra', ukrywa on bowiem wszystkie przejawy zautomatyzowania przeglądarki Chromium.
//npm install puppeteer puppeteer-extra puppeteer-extra-plugin-stealth
const puppeteer = require('puppeteer-extra');
const StealthPlugin = require('puppeteer-extra-plugin-stealth');
puppeteer.use(StealthPlugin());
(async () => {
const browser = await puppeteer.launch({
headless: false,
ignoreDefaultArgs: [
"--disable-extensions",
"--enable-automation"
],
args: [
'--disable-web-security',
'--disable-features=IsolateOrigins,site-per-process',
'--allow-running-insecure-content',
'--disable-blink-features=AutomationControlled',
'--no-sandbox',
'--mute-audio',
'--no-zygote',
'--no-xshm',
'--window-size=1920,1080',
'--no-first-run',
'--no-default-browser-check',
'--disable-dev-shm-usage',
'--disable-gpu',
'--enable-webgl',
'--ignore-certificate-errors',
'--lang=en-US,en;q=0.9',
'--password-store=basic',
'--disable-gpu-sandbox',
'--disable-software-rasterizer',
'--disable-background-timer-throttling',
'--disable-backgrounding-occluded-windows',
'--disable-renderer-backgrounding',
'--disable-infobars',
'--disable-breakpad',
'--disable-canvas-aa',
'--disable-2d-canvas-clip-aa',
'--disable-gl-drawing-for-tests',
'--enable-low-end-device-mode',
'--disable-extensions-except=./plugin',
'--load-extension=./plugin'
]
});
const page = await browser.newPage();
})();
5. Przejdź na docelową stronę i wypełnij formularz, jeśli to konieczne. Wtyczka sama znajdzie Recaptcha i zacznie go rozwiązywać.
(async () => {
const url = 'https://anti-captcha.com/demo/?page=recaptcha_v2_textarea';
const login = 'Test login';
const password = 'Test password';
try {
await page.goto(url, {
waitUntil: "networkidle0"
});
} catch (e) {
console.error('err while loading the page: '+e);
}
// wyłącz nawigacyjne błędy przekroczenia limitu czasu oczekiwania
await page.setDefaultNavigationTimeout(0);
await page.$eval('#login', (element, login) => {
element.value = login;
}, login);
await page.$eval('#password', (element, password) => {
element.value = password;
}, password);
})();
6. Kolejny etap wymaga nieco więcej uwagi. Niektóre formularze webowe wymagają od użytkownika kliknięcia w przycisk submit (prześlij) po rozwiązaniu Recapthy, a inne stosują funkcje callback i przesyłają formularz automatycznie. W pierwszym przypadku chcemy wcisnąć przycisk submit tuż po rozwiązaniu Recaptchy. Aby tego dokonać we właściwym momencie, wystarczy poczekać aż pojawi się selektor .antigate_solver.solved i dopiero wtedy kliknąć przycisk submit.
// poczekaj, aż pojawi się selektor "solved"
await page.waitForSelector('.antigate_solver.solved').catch(error => console.log('failed to wait for the selector'));
console.log('{{ $t('articles.how-to-integrate.code-comments.recaptcha-solved') }}');
// wciśnij przycisk "wyślij" (submit)
await Promise.all([
page.click('#submitButton'),
page.waitForNavigation({ waitUntil: "networkidle0" })
]);
console.log('zadanie wykonane, formularz z recaptcha ominięty');
To tyle, formularz wypełniony, Recaptcha rozwiązana i ominięta. Przykłady pełnego kodu:
// first run the following to install required npm packages:
//
// npm install adm-zip follow-redirects puppeteer puppeteer-extra puppeteer-extra-plugin-stealth
//
//
const https = require('follow-redirects').https;
const fs = require('fs');
const AdmZip = require("adm-zip");
const apiKey = 'YOUR_API_KEY_HERE!';
const pluginURL = 'https://antcpt.com/anticaptcha-plugin.zip';
const url = 'https://anti-captcha.com/demo/?page=recaptcha_v2_textarea';
const login = 'Test login';
const password = 'Test password';
let page = null;
const puppeteer = require('puppeteer-extra');
const StealthPlugin = require('puppeteer-extra-plugin-stealth');
puppeteer.use(StealthPlugin());
(async () => {
// pobierz plugin
await new Promise((resolve) => {
https.get(pluginURL, resp => resp.pipe(fs.createWriteStream('./plugin.zip').on('close', resolve)));
})
// rozpakuj
const zip = new AdmZip("./plugin.zip");
await zip.extractAllTo("./plugin/", true);
// ustaw klucz API w pliku konfiguracyjnym
await new Promise((resolve, reject) => {
if (fs.existsSync('./plugin/js/config_ac_api_key.js')) {
let confData = fs.readFileSync('./plugin/js/config_ac_api_key.js', 'utf8');
confData = confData.replace(/antiCapthaPredefinedApiKey = ''/g, `antiCapthaPredefinedApiKey = '${apiKey}'`);
fs.writeFileSync('./plugin/js/config_ac_api_key.js', confData, 'utf8');
resolve();
} else {
console.error('plugin configuration not found!')
reject();
}
});
// ustaw opcje uruchamianej przeglądarki
const options = {
headless: false,
ignoreDefaultArgs: [
"--disable-extensions",
"--enable-automation"
],
args: [
'--disable-web-security',
'--disable-features=IsolateOrigins,site-per-process',
'--allow-running-insecure-content',
'--disable-blink-features=AutomationControlled',
'--no-sandbox',
'--mute-audio',
'--no-zygote',
'--no-xshm',
'--window-size=1920,1080',
'--no-first-run',
'--no-default-browser-check',
'--disable-dev-shm-usage',
'--disable-gpu',
'--enable-webgl',
'--ignore-certificate-errors',
'--lang=en-US,en;q=0.9',
'--password-store=basic',
'--disable-gpu-sandbox',
'--disable-software-rasterizer',
'--disable-background-timer-throttling',
'--disable-backgrounding-occluded-windows',
'--disable-renderer-backgrounding',
'--disable-infobars',
'--disable-breakpad',
'--disable-canvas-aa',
'--disable-2d-canvas-clip-aa',
'--disable-gl-drawing-for-tests',
'--enable-low-end-device-mode',
'--disable-extensions-except=./plugin',
'--load-extension=./plugin'
]
}
try {
// uruchom przeglądarkę z wtyczką
const browser = await puppeteer.launch();
page = await browser.newPage();
} catch (e) {
console.log('could not launch browser: '+e.toString())
return;
}
// przejdź na docelową stronę
try {
await page.goto(url, {
waitUntil: "networkidle0"
});
} catch (e) {
console.error('err while loading the page: '+e);
}
// wyłącz nawigacyjne błędy przekroczenia limitu czasu oczekiwania
await page.setDefaultNavigationTimeout(0);
// wypełnij formularz
await page.$eval('#login', (element, login) => {
element.value = login;
}, login);
await page.$eval('#password', (element, password) => {
element.value = password;
}, password);
// poczekaj, aż pojawi się selektor "solved"
await page.waitForSelector('.antigate_solver.solved').catch(error => console.log('failed to wait for the selector'));
console.log('{{ $t('articles.how-to-integrate.code-comments.recaptcha-solved') }}');
// wciśnij przycisk "wyślij" (submit)
await Promise.all([
page.click('#submitButton'),
page.waitForNavigation({ waitUntil: "networkidle0" })
]);
console.log('recaptcha rozwiązana');
})();
Bonus: istnieje sztuczka pozwalająca wtyczce pracować w trybie headless (bez ekranu), jako że Chrome nie obsługuje automatyzacji przeglądania poprzez wtyczki. Z pomocą przychodzi Xvfb, który zapewni twojej aplikacji wirtualny pulpit.
# zainstaluj pakiet
apt-get install -y xvfb
# ustaw zmienną display
export DISPLAY=:0
# uruchom demona Xvfb w tle (tylko raz)
/usr/bin/Xvfb :0 -screen 0 1024x768x24 &
# poczekaj trochę, aby zdążył się uruchomić (tylko raz)
sleep 5
# dodaj prefix "xvfb-run" do skryptu "node" lub "python"
xvfb-run node myscript.js
# lub
xvfb-run python myscript.py