زمانی که فایل‌های لاگ وب‌سایت می‌توانند مفید باشند
در دوران قدیم اینترنت، زمانی که هنوز گوگل آنالیتیکس وجود نداشت، تنها راه فهمیدن اینکه چند نفر به سایت شما سر زده‌اند و دقیقاً چه کاری انجام داده‌اند، تحلیل فایل‌های لاگ (Log File Analysis) بود. بعداً ابزارهایی مانند Google Analytics و سایر برنامه‌های تحلیلی معرفی شدند و تحلیل لاگ‌ها کمتر مورد استفاده قرار گرفت.
اما هنوز هم تحلیل فایل‌های لاگ ابزاری بسیار کاربردی برای فهمیدن این است که ربات‌های موتور جستجو (مثل گوگل) چه زمانی به سایت شما آمده‌اند و در آنجا چه کار کرده‌اند.
برای مثال، می‌توانید ببینید آخرین باری که ربات‌ها از صفحات کلیدی سایت بازدید کرده‌اند چه زمانی بوده، آیا در بخشی از سایت گیر کرده‌اند، یا اینکه کاملاً محتوای عالی شما را نادیده گرفته‌اند. این اطلاعات به شما کمک می‌کند مشکلات را شناسایی کرده و بدانید روی چه چیزی باید کار کنید.
در اینجا مثالی از یک فایل لاگ سرور آورده شده که با فرمت معمول (Common Log Format) نوشته شده است. اطلاعات بیشتر درباره این فرمت را می‌توانید در لینکی که در ویدیو نمایش داده شده، بیابید. معمولاً می‌توانید فایل‌های لاگ را از شرکت هاستینگ خود دریافت کنید. در بعضی موارد، مخصوصاً در سازمان‌های بزرگ، ممکن است دریافت این فایل‌ها کمی زمان‌بر باشد—ولی پشتکار داشته باشید.
البته نمی‌توانید این فایل‌ها را به‌صورت خام بخوانید. برای تحلیل آن‌ها باید از یک ابزار استفاده کنید. ما از ابزار تحلیل فایل لاگ Screaming Frog استفاده می‌کنیم که شبیه همان خزنده معروف آن‌هاست. نسخه رایگان آن محدود به ۱۰۰۰ خط لاگ در هر بار است.
در این تصویر، نمونه‌ای از فایل‌های لاگ در ابزار Screaming Frog را می‌بینید. همان‌طور که مشخص است، گوگل چندین بار به سایت سر زده است. اگر به تب URLها بروید، می‌توانید ببینید که ربات‌ها دقیقاً به چه صفحاتی سر زده‌اند. در اینجا URL فید (feed) انتخاب شده و در بخش رویدادها (events) می‌توانید زمان دقیق بازدیدها را ببینید.
به نظر می‌رسد ربات گوگل حدوداً هر یک ساعت یک‌بار برای بررسی انتشار محتوای جدید به سایت سر می‌زند. نمی‌دانم دلیل این رفتار چیست، اما این موضوع برای من به این معناست که باید مراقبش باشم. چنین بازدیدهای مکرری می‌تواند اتلاف وقت برای ربات گوگل باشد، مخصوصاً اگر فقط به یک URL خاص بارها سر بزند و سایر بخش‌های سایت را نادیده بگیرد.
فایل‌های لاگ همچنین به شما کمک می‌کنند دام‌های خزنده (Spider Traps) را پیدا کنید—یعنی بخش‌هایی از سایت که ربات در آن گیر می‌افتد، مثل باکس جستجو یا فیلترهای پویا در صفحات.
بررسی دوره‌ای فایل‌های لاگ بسیار مهم است تا مطمئن شوید چنین مشکلی وجود ندارد. فایل‌های لاگ خصوصاً زمانی مفید هستند که می‌دانید مشکلی وجود دارد—مثلاً سایت شما به اندازه‌ای که باید، رتبه نمی‌گیرد، اما در بررسی‌های فنی معمول هیچ مشکلی پیدا نمی‌کنید. در این حالت، فایل‌های لاگ ممکن است مشکلات واقعی را نشان دهند.