Menu

Anti-CaptchaプラグインをPuppeteerまたはSeleniumに適用する方法

ブラウザ自動化の時、PuppeteerとSeleniumは2つの主要なエンジンであり、弊社のプラグインはそれらにシームレスに統合できます。ここで、NodeJSとPythonプログラミング言語を使ってPuppeteerとSeleniumに適用する方法をそれぞれ説明します。この2つから選択する場合は、ネイティブ環境としてNodeJS + Puppeteerの組み合わせを強くお勧めします。

1.依存関係をインストールします。NodeJSの場合は、以下のnpmパッケージをインストールしてください。Pythonの場合は、このページから"chromedriver" 実行可能ファイルをダウンロードします。ドライババージョンは、システムにインストールされているChromeのバージョンと一致する必要があります。

Javascript
Python
npm install adm-zip puppeteer puppeteer-extra puppeteer-extra-plugin-stealth

2.Chrome用のプラグインをZIPバージョンとしてダウンロードして、プロジェクトフォルダーに解凍します。実際のバージョンはこことなります。プログラムで行うこともできます。

Javascript
Python
//npm install adm-zip
const https = require('https')
const fs = require('fs');
const AdmZip = require("adm-zip");

const pluginURL = 'https://antcpt.com/anticaptcha-plugin.zip';

(async () => {
    // プラグインをダウンロードする
    await new Promise((resolve) => {
        https.get(pluginURL, resp => resp.pipe(fs.createWriteStream('./plugin.zip').on('close', resolve)));
    })
    // 解凍する
    const zip = new AdmZip("./plugin.zip");
    await zip.extractAllTo("./plugin/", true);
})();

3.次に、./plugin/js/config_ac_api_key.jsファイルでAPIキーを設定します。APIキーはクライアント領域にあります。それを機能させるには、一定の残高が必要です。

Javascript
Python
const apiKey = 'API_KEY_32_BYTES';
if (fs.existsSync('./plugin/js/config_ac_api_key.js')) {
    let confData = fs.readFileSync('./plugin/js/config_ac_api_key.js', 'utf8');
    confData = confData.replace(/antiCapthaPredefinedApiKey = ''/g, `antiCapthaPredefinedApiKey = '${apiKey}'`);
    fs.writeFileSync('./plugin/js/config_ac_api_key.js', confData, 'utf8');
} else {
    console.error('plugin configuration not found!')
}

4.プラグインでブラウザの設定を初期化します。Puppeteerの場合、「puppeteer-extra」パッケージのプラグイン「puppeteer-extra-plugin-stealth」をお勧めします。これにより、ウェブのChrome自動化ブラウザでは、すべての図形が隠されることになります。

Javascript
Python
//npm install puppeteer puppeteer-extra puppeteer-extra-plugin-stealth
const puppeteer = require('puppeteer-extra');
const StealthPlugin = require('puppeteer-extra-plugin-stealth');
puppeteer.use(StealthPlugin());

(async () => {
    const browser = await puppeteer.launch({
        headless: false,
        ignoreDefaultArgs: [
            "--disable-extensions",
            "--enable-automation"
        ],
        args: [
            '--disable-web-security',
            '--disable-features=IsolateOrigins,site-per-process',
            '--allow-running-insecure-content',
            '--disable-blink-features=AutomationControlled',
            '--no-sandbox',
            '--mute-audio',
            '--no-zygote',
            '--no-xshm',
            '--window-size=1920,1080',
            '--no-first-run',
            '--no-default-browser-check',
            '--disable-dev-shm-usage',
            '--disable-gpu',
            '--enable-webgl',
            '--ignore-certificate-errors',
            '--lang=en-US,en;q=0.9',
            '--password-store=basic',
            '--disable-gpu-sandbox',
            '--disable-software-rasterizer',
            '--disable-background-timer-throttling',
            '--disable-backgrounding-occluded-windows',
            '--disable-renderer-backgrounding',
            '--disable-infobars',
            '--disable-breakpad',
            '--disable-canvas-aa',
            '--disable-2d-canvas-clip-aa',
            '--disable-gl-drawing-for-tests',
            '--enable-low-end-device-mode',
            '--disable-extensions-except=./plugin',
            '--load-extension=./plugin'
        ]
    });
    const page = await browser.newPage();
})();

5.ターゲットページに移動し、必要に応じてフォームに記入します。プラグインを利用している場合、Recaptchaが自動的に取得され、解決作業に入ります。

Javascript
Python
(async () => {
    const url = 'https://anti-captcha.com/demo/?page=recaptcha_v2_textarea';
    const login = 'Test login';
    const password = 'Test password';

    try {
        await page.goto(url, {
            waitUntil: "networkidle0"
        });
    } catch (e) {
        console.error('err while loading the page: '+e);
    }
    // ナビゲーションタイムアウトエラーを無効にする
    await page.setDefaultNavigationTimeout(0);

    await page.$eval('#login', (element, login) => {
        element.value = login;
    }, login);
    await page.$eval('#password', (element, password) => {
        element.value = password;
    }, password);

})();

6.次はやや複雑な部分です。Recaptchaを解決した後、一方ではユーザーが送信ボタンを押す必要のあるウェブフォームもあれば、もう一方ではコールバックを利用して自動的に送信するウェブフォームもあります。前者では、Recaptchaが解決された直後に送信ボタンを押してしまうことが多いですが、適切なタイミングでそれを行うには、セレクター.antigate_solver.solvedが表示されるのを待つ必要があります。

Javascript
Python
// 「解決済み」セレクターが表示されるのを待つ
await page.waitForSelector('.antigate_solver.solved').catch(error => console.log('failed to wait for the selector'));
console.log('{{ $t('articles.how-to-integrate.code-comments.recaptcha-solved') }}');

// 送信ボタンを押す
await Promise.all([
    page.click('#submitButton'),
    page.waitForNavigation({ waitUntil: "networkidle0" })
]);
console.log('タスクが完了し、recaptchaがバイパスされた');

これで、フォーム記入が完成し、Recaptchaが解決されバイパスされます。完全なコード例:

Javascript
Python
// first run the following to install required npm packages:
//
// npm install adm-zip follow-redirects puppeteer puppeteer-extra puppeteer-extra-plugin-stealth
//
//
const https = require('follow-redirects').https;
const fs = require('fs');
const AdmZip = require("adm-zip");

const apiKey = 'YOUR_API_KEY_HERE!';
const pluginURL = 'https://antcpt.com/anticaptcha-plugin.zip';
const url = 'https://anti-captcha.com/demo/?page=recaptcha_v2_textarea';
const login = 'Test login';
const password = 'Test password';
let page = null;


const puppeteer = require('puppeteer-extra');
const StealthPlugin = require('puppeteer-extra-plugin-stealth');
puppeteer.use(StealthPlugin());

(async () => {
    // プラグインをダウンロードする
    await new Promise((resolve) => {
        https.get(pluginURL, resp => resp.pipe(fs.createWriteStream('./plugin.zip').on('close', resolve)));
    })
    // 解凍する
    const zip = new AdmZip("./plugin.zip");
    await zip.extractAllTo("./plugin/", true);

    // 設定ファイルのAPIキーを設定する
    await new Promise((resolve, reject) => {
        if (fs.existsSync('./plugin/js/config_ac_api_key.js')) {
            let confData = fs.readFileSync('./plugin/js/config_ac_api_key.js', 'utf8');
            confData = confData.replace(/antiCapthaPredefinedApiKey = ''/g, `antiCapthaPredefinedApiKey = '${apiKey}'`);
            fs.writeFileSync('./plugin/js/config_ac_api_key.js', confData, 'utf8');
            resolve();
        } else {
            console.error('plugin configuration not found!')
            reject();
        }
    });

    // ブラウザの起動オプションを設定する
    const options = {
        headless: false,
        ignoreDefaultArgs: [
            "--disable-extensions",
            "--enable-automation"
        ],
        args: [
            '--disable-web-security',
            '--disable-features=IsolateOrigins,site-per-process',
            '--allow-running-insecure-content',
            '--disable-blink-features=AutomationControlled',
            '--no-sandbox',
            '--mute-audio',
            '--no-zygote',
            '--no-xshm',
            '--window-size=1920,1080',
            '--no-first-run',
            '--no-default-browser-check',
            '--disable-dev-shm-usage',
            '--disable-gpu',
            '--enable-webgl',
            '--ignore-certificate-errors',
            '--lang=en-US,en;q=0.9',
            '--password-store=basic',
            '--disable-gpu-sandbox',
            '--disable-software-rasterizer',
            '--disable-background-timer-throttling',
            '--disable-backgrounding-occluded-windows',
            '--disable-renderer-backgrounding',
            '--disable-infobars',
            '--disable-breakpad',
            '--disable-canvas-aa',
            '--disable-2d-canvas-clip-aa',
            '--disable-gl-drawing-for-tests',
            '--enable-low-end-device-mode',
            '--disable-extensions-except=./plugin',
            '--load-extension=./plugin'
        ]
    }

    try {
        // プラグインでブラウザを起動する
        const browser = await puppeteer.launch();
        page = await browser.newPage();
    } catch (e) {
        console.log('could not launch browser: '+e.toString())
        return;
    }

    // ターゲットページに移動する
    try {
        await page.goto(url, {
            waitUntil: "networkidle0"
        });
    } catch (e) {
        console.error('err while loading the page: '+e);
    }

    // ナビゲーションタイムアウトエラーを無効にする
    await page.setDefaultNavigationTimeout(0);

    // フォームに記入する
    await page.$eval('#login', (element, login) => {
        element.value = login;
    }, login);
    await page.$eval('#password', (element, password) => {
        element.value = password;
    }, password);

    // 「解決済み」セレクターが表示されるのを待つ
    await page.waitForSelector('.antigate_solver.solved').catch(error => console.log('failed to wait for the selector'));
    console.log('{{ $t('articles.how-to-integrate.code-comments.recaptcha-solved') }}');

    // 送信ボタンを押す
    await Promise.all([
        page.click('#submitButton'),
        page.waitForNavigation({ waitUntil: "networkidle0" })
    ]);
    console.log('reCAPTCHAの解決');

})();

追加情報:プラグインを使ってブラウザを自動化するのはChromeにサポートされていないため、プラグインをヘッドレスモードで実行するという方法があります。それはXvfbというユーティリティを使用してアプリケーションに仮想デスクトップを提供するのです。

# パッケージをインストールする
apt-get install -y xvfb

# 表示変数を設定する
export DISPLAY=:0

# Xvfbをデーモンとしてバックグラウンドで起動する(1回のみ)
/usr/bin/Xvfb :0 -screen 0 1024x768x24 &

# 動作が完了するまでしばらく待つ(1回のみ)
sleep 5

# "xvfb-run"プレフィックスを"node"または"python"スクリプトに追加する
xvfb-run node myscript.js
# または
xvfb-run python myscript.py