همیشه صحبت از تاثیر دزدی محتوا و محتواهای کپی شده در رتبه‌ی سایت و سئو سایت، وجود داشته است؛ اما از نظر گوگل، کپی کردن محتواها توسط سایت‌های دیگر، واقعا باعث افت رنک سایت اصلی و تنزل جایگاه آن در گوگل می‌شود؟ در این مطلب به این پرسش پاسخ می‌دهیم.
جان مولر، یکی از اعضای گوگل، در مورد آسیب‌هایی که دزدی محتوا می‌تواند به رنک سایت وارد کند، صحبت کرده است. در صحبت او، می‌توان چشم‌اندازهای خوبی پیدا کرد که گوگل چگونه با سایت‌هایی که محتواهای دیگران را می‌دزدند، رفتار می‌کند و تاثیر دزدیده شدن محتواهای شما، بر وبسایت شما چگونه است.
سایت‌های کپی‌کار یا اسکریپر (Scraper) و تاثیر آن‌ها در رنک سایت
برخی از سایت‌ها محتواهای سایت‌های دیگر را می‌دزدند و در سایت خود منتشر می‌کنند. این کار ممکن است با نرم‌افزارها و به صورت خودکار انجام شود. این فرایند، سرقت محتوا (content scraping) نامیده می‌شود و سایت‌هایی که محتوای کپی شده، منتشر می‌کنند، به عنوان سایت‌های اسکریپر (Scraper) شناخته می‌شوند.
محتوای دزدیده شده، با تنزل رتبه در گوگل مرتبط است. اگر تکه‌ای (اسنیپت) از محتوای خود را در گوگل جست‌وجو کنید و ببینید که سایتی دیگر، برای آن محتوا در رنک گوگل قرار گرفته است، نباید تعجب کنید. از این‌رو، نگرانی درباره‌ی تاثیر دزدی محتوا در رتبه‌بندی سایت، کاملا موجه است.
پرسش مهم این است: «چند وبسایت محتواهای مرا دزدیده‌اند و آن‌ها را منتشر کرده‌اند. آیا باید به دنبال اجرای قانون جرائم رایانه‌ای در مورد صاحبان آن سایت‌ها باشم یا فایده‌ای ندارد؟ آیا دزدیده شدن محتواهای من، به سایت من آسیب می‌زند؟ یا نباید این سایت‌ها را خیلی جدی بگیرم؟»
قانون جرائم رایانه‌ای چیست؟
قانون جرائم رایانه‌ای که در متن پرسش مطرح شده، مربوط به جرم‌های سایبری است که در ایران اتفاق می‌افتد.
این قانون، برای جلوگیری از سرقت محتوا تدوین شده و از وبسایت‌ها در مقابل دزدیده شدن محتوا و کپی‌برداری حمایت می‌کند. همچنین مسیری را تعریف می‌کند که تولیدکنندگان محتوا می‌توانند سرقت محتوا را گزارش دهند و خواستار حذف آن شوند. این قانون، مقرراتی را پیش‌بینی کرده که حق پیگرد قضایی برای تولیدکنندگان محتوا محفوظ باشد.
هر کشوری در زمینه‌ی جرائم رایانه‌ای، قوانین مخصوص خود را دارد. مثلا در آمریکا به این قوانین «DCMA» Digital Millennium Copyright Act گفته می‌شود.
آیا محتوای کپی شده در رتبه‌بندی و رنک سایت‌ها تاثیر می‌گذارد؟
جان مولر، تصویری از چگونگی تاثیر دزدی محتوا بر رنک سایت ارائه کرده است:
از دیدگاه ما، وقتی سایت‌های دیگر، محتواهای شما را کپی می‌کنند، تاثیری منفی بر وبسایت شما نخواهد داشت. کپی کردن و دزدی محتوا، امری مرسوم است. اگر کپی محتوای خود را در کوئری‌هایی که برای شما اهمیت دارند، مشاهده نمی‌کنید، نباید زیاد خود را درگیر آن کنید.
نکته‌ی مهم در صحبت جان مولر، این است که سایت‌های Scraper برای کوئری‌ها و جست‌وجوهای مهم نمایش داده نمی‌شوند. آیا ممکن است که سایت‌های اسکریپر در عبارات طولانی و کوئری‌های غیررقابتی رتبه‌بندی شوند؟ در مورد این نوع کوئری‌ها، تقریبا هر چیزی ممکن است.
سایت های Scraper، وبسایت هایی هستند که به صورت اتوماتیک محتوای وبسایت شما را در وبسایت خود نمایش می دهند.
چرا سایت‌های scraper برای تکه‌هایی از محتوا رتبه‌بندی می‌شوند؟
عجیب نیست که سایت‌های اسکریپر (scraper sites) برای تکه‌ای از محتوای کپی شده در رنک گوگل قرار بگیرند؛ اما این موضوع، دلیل واضحی دارد.
تکه‌هایی از محتوا، به عنوان عبارات نامفهوم دسته‌بندی می‌شوند. اگر سایت دیگری، برای بخشی (snippet) از محتوا در نتایج گوگل نمایش داده شود، به این خاطر نیست که دزدی محتوا باعث شده که سایت شما کم‌تر مورد توجه قرار گیرد، بلکه به این دلیل است که الگوریتم‌های رتبه‌بندی، برای عبارات نامفهوم، صفحات را به شکل دیگری در رنکینگ قرار می‌دهند.
الگوریتم گوگل سعی می‌کند که همه‌ی کوئری‌ها را بفهمد؛ اما فهمیدن کوئری‌های بی‌معنی، تقریبا غیرممکن است. هنگامی که قطعه‌ای از محتوا قابل فهم است، ممکن است گوگل، سایت‌های دیگر را پیش از سایت شما قرار دهد؛ این کاری است که الگوریتم برای دسته‌بندی صفحات براساس «موضوعات» انجام می‌دهد.
گوگل صفحات را براساس مطابقت با کلمات کلیدی رتبه‌بندی نمی‌کند؛ بنابراین اگر تکه‌ای از محتوای شما جست‌وجو شود، تضمینی وجود ندارد که سایت شما در رتبه‌ی اول گوگل قرار بگیرد.
مسئله‌ی مهم این است که سایت‌های کپی‌کار، معمولا برای کوئری‌های مهم، رتبه‌بندی نمی‌شوند. پس اگر دیدید که سایت‌های scraper برای تکه‌ای از محتوای شما، در رتبه‌ی بالاتری از شما قرار گرفته‌اند، نیازی نیست که خون خود را کثیف کنید. این اتفاق، نشان‌دهنده‌ی این نیست که سایت شما به خاطر دزدی محتوا، دچار تنزل رتبه شده باشد.
چگونه از سرقت محتوا جلوگیری کنید؟
پلاگین‌های ضد ربات وردپرس
چندین پلاگین وردپرس وجود دارند که از سایت شما در برابر اسکریپرهای مخرب، محافظت می‌کنند.
1. پلاگین وردفنس (WordFence)
WordFence پلاگین محبوبی است که به کمک آن، می‌توانید هر چند ساعت که بخواهید، اسکریپرها را مسدود کنید. وقتی که سایت شما در معرض حمله قرار می‌گیرد، این پلاگین از طریق ایمیل به شما اطلاع می‌دهد. این امر باعث می‌شود که سریع‌تر برای مقابله با آن‌ها از طریق WordFence اقدام کنید.
وردفنس رفتار بازدیدکنندگان وبسایت را مانیتور می‌کند و مشخصا به تعداد یا نوع صفحات دانلود شده حساس است. این نوع رفتار، باعث ایجاد یک دیوار می‌شود که ربات‌ها را مسدود می‌کند.
2. پلاگین وردپرس ضد ربات بلک‌هول (Blackhole)
یک پلاگین محبوب دیگر در وردپرس، «Blackhole» (به معنی سیاه‌چاله) نام دارد. این پلاگین، یک نسخه‌ی حرفه‌ای هم دارد که امکانات خوبی ارائه می‌دهد. پلاگین بلک‌هول براساس اصول هانی‌پات (honeypot) کار می‌کند. ربات‌های سالم، یک لینک ممنوع را کاوش (کراول) نمی‌کنند؛ اما ربات‌های خرابکار، به سمت آن یورش می‌برند. پلاگین Blackhole با قرار دادن لینکی در هانی‌پات، تله‌ای برای ربات‌های خرابکار پهن می‌کند. وقتی که ربات مخرب، لینک ممنوع را دنبال می‌کند، در تله گیر می‌افتد و از کاوش بیشتر، محروم می‌شود.
همه‌ی موتورهای جست‌وجو در لیست سفید قرار دارند. بنابراین، هیچ‌یک از موتورهای جست‌وجوی معتبر، مسدود نمی‌شوند، حتی اگر همه‌ی لینک‌ها را دنبال کنند.
3. Blackhole PHP
یک ربات مسدودکننده برای پی.اچ.پی (PHP) هم به نام «Blackhole» وجود دارد. Blackhole روی هر سروری که از پی.اچ.پی استفاده می‌کند، نصب می‌شود. به همین جهت، با فروم سایت‌هایی که از نرم‌افزارهایی مثل Xenforo یا phpBB هم استفاده می‌کنند، سازگار است.
4. نسخه‌ی آزمایشی ریکپچا (reCAPTCHA Enterprise Beta)
گوگل به‌تازگی یک نسخه‌ی آزمایشی رایگان به نام «reCAPTCHA Enterprise» (ری‌کپچای تجاری) ارائه کرده است. این ابزار، یک سرویس مبتنی بر فضای ابری (کلود) است که برای مسدود کردن اسکریپرهای خودکار، هکرها و ربات‌های مخرب طراحی شده است.
وقتی که گوگل، شخصا به مسأله‌ی ربات‌های خرابکار ورود می‌کند، نشانه‌ای از اهمیت مبارزه با ربات‌های مخرب از جمله اسکریپرها را بروز می‌دهد.
آیا باید از سایت خود در مقابل اسکریپرها محافظت کنید؟
من معتقدم که محافظت از سایت در مقابل ربات‌های خودکار، کاری منطقی‌ست. ربات‌ها ترجیح می‌دهند که کاوش را در شب، در همان زمانی که گوگل و دیگر ربات‌های معتبر، کاوش می‌کنند، انجام دهند. این نکته، می‌تواند مشکل‌ساز باشد؛ زیرا زمانی که تعدادی ربات مخرب وبسایت شما را کاوش می‌کنند، سرعت سرور شما کاهش پیدا می‌کند. در چنین حالتی، ممکن است سرور شما به ربات گوگل کدهای خطا ارسال کند که باعث می‌شود سایت شما کراول و ایندکس نشود.
پس اگرچه جان مولر، به درستی اشاره کرده است که دزدی محتوا، تاثیری روی رتبه‌بندی سایت شما ندارد، ولی به هر حال باید از سایت خود در رویارویی با اسکریپرها محافظت کنید تا گوگل بتواند به راحتی سایت شما را کاوش و ایندکس کند.
اگر شما هم از پلاگین‌هایی برای مقابله با ربات‌های مخرب استفاده می‌کنید، آن‌ها را با ما در میان بگذارید.
