همانطور که می دانیم برای انجام پروژه های یادگیری ماشین و یادگیری عمیق مانند پردازش متن و یا پردازش تصویر و دیگر کارها، به دیتاست نیاز داریم . داده اساس و هسته ی اصلی کار با علم داده است و وب اسکرپینگ یکی از روش های مهم به دست آوردن این داده هاست.
در برخی از مواقع، این داده ها در قالب دیتاست هایی در فرمت فایل اکسل، csv یا حتی جیسون از قبل موجود هستند و در اختیار متخصص علم داده قرار می گیرند.
اما در موارد زیادی، پیدا کردن دیتاست مورد نیاز سخت و زمان بر و حجم داده های موجود برای دانلود کم است. گاهی نیز فرمت این داده برای فعالیت ما مناسب نیست.
اینجاست که وب اسکرپینگ کمک میکند تا بتوانیم داده هایی که مورد نیاز پروژه ها هست را از صفحات وب جمع آوری کرده و دیتاست بسازیم.
زمانی که از وب اسکرپینگ استفاده می کنیم می توانیم از هر منبعی داده ها را دریافت کنیم و دیگر نگران حجم داده هم نیستیم و داده ها را به فرمت مورد نیاز خودمان ذخیره می کنیم.
مثلا می توانیم کل نظرات موجود در یک فروشگاه اینترنتی را استخراج و نظرات کاربران راجع به محصولات را آنالیز کنیم.
یا اینکه قیمت و نام محصولات را جمع آوری کرده و آنالیز روی قیمت محصولات داشته باشیم.
وب اسکرپینگ محدود به داده های متنی نمیشود و می توان عکس و دیگر محتوا را هم جمع آوری و ذخیره کرد.
در کل یک متخصص علم داده نیاز دارد که از وب اسکرپینگ به عنوان ابزاری قدرتمند برای جمع آوری دیتا استفاده کند تا با داده های مناسب بتواند به بهترین شکل پروژه ها را انجام دهد.
در این دوره ما قصد داریم شما را با ابزار کاربردی و مهم وب اسکرپینگ آشنا کرده تا بتوانید از وب اسکرپینگ برای ساخت دیتاست در پروژه ها استفاده کنید.