Master Data Engineering using GCP Data Analytics 2023-11 is a comprehensive, hands-on course designed to take you from the fundamentals to advanced, real-world mastery of dataproc. Whether you are just starting out or looking to level up, this course gives you the structured path and practical projects you need to succeed.
Throughout the lessons you will build genuine confidence with dataproc and gcp, learning through clear explanations and step-by-step examples you can apply immediately. Below you will find everything the course covers, who it is for, and a full breakdown of the curriculum before you download.
Course Description
Master Data Engineering using GCP Data Analytics، دوره آموزش مهندسی داده پیشرفته با استفاده از سرویسهای تحلیلی داده GCP توسط آکادمی Udemy منتشر شده است.مهندسی داده به ساخت پایپلاینهای داده برای انتقال دادهها از منابع مختلف به دیتا لیک یا دیتا ویرهاوس و سپس از آنها به سیستمهای پاییندستی مربوط میشود. در این دوره، نحوه ساخت پایپلاینهای مهندسی داده با استفاده از سرویسهای تحلیلی داده GCP آموزش داده میشود که شامل سرویسهایی مانند Google Cloud Storage، Google BigQuery، GCP Dataproc، Databricks روی GCP و موارد دیگر است. ابتدا محیط توسعه را با VS Code روی ویندوز و مک راهاندازی میکنید و سپس برای ساخت حساب Google Cloud راهنمایی کامل دریافت میکنید تا اعتبار 300 دلاری را نیز دریافت کنید. معمولاً از Cloud Object Storage به عنوان دیتا لیک استفاده میشود و در این دوره نحوه استفاده از Google Cloud Storage به عنوان دیتا لیک و مدیریت فایلها با دستورات و پایتون آموزش داده میشود و همچنین ادغام Pandas با فایلهای Google Cloud Storage را فرا میگیرید. سرویس Cloud SQL در GCP امکان راهاندازی پایگاه داده PostgreSQL را فراهم میکند و پس از راهاندازی سرور پایگاه داده، ساخت دیتابیس و کاربر مورد نیاز و توسعه اپلیکیشن پایتون با ادغام Secretmanager برای دریافت اطلاعات کاربری آموزش داده میشود. یکی از کاربردهای اصلی داده، ساخت گزارش و داشبورد است که معمولاً با ابزارهای گزارشگیری و اتصال به دیتا ویرهاوس انجام میشود؛ در این دوره ویژگیهای BigQuery به عنوان دیتا ویرهاوس و ادغام آن با پایتون و Pandas آموزش داده میشود.
برای پردازش حجم بالای داده یا Big Data Processing، سرویس Dataproc با Hadoop، Spark و Kafka ارائه شده و نحوه راهاندازی کلاستر Dataproc و استفاده از کلاستر تکگره برای توسعه و اتصال VS Code به صورت ریموت آموزش داده میشود. پس از یادگیری پردازش دادههای بزرگ با Dataproc، ساخت پایپلاینهای ELT انتها به انتها با قالبهای Workflow Dataproc و اجرای دستورات مربوط به Job و Workflow و ساخت پایپلاینهای ELT با Spark SQL آموزش داده میشود. علاوه بر Dataproc، سرویس Databricks نیز روی GCP قابل استفاده است و نحوه شروع کار با Databricks و ساخت پایپلاینهای ELT با Job و Workflow Databricks آموزش داده میشود. در پایان دوره، ادغام BigQuery برای دیتا ویرهاوس و Dataproc برای پردازش داده و ساخت پایپلاینهای ELT انتها به انتها با Workflow Dataproc و همچنین استفاده از اپلیکیشن Pyspark با کانکتور Spark BigQuery در پایپلاین آموزش داده میشود. همچنین در فرآیند ساخت پایپلاینهای داده، چرخه توسعه اپلیکیشن Spark و رفع اشکال با رابطهای وب مانند YARN Timeline Server و Spark UI مرور میشود.
What You Will Learn
- مهندسی داده با استفاده از سرویسهای تحلیلی داده GCP
- راهاندازی محیط توسعه با Visual Studio Code روی ویندوز
- ساخت دیتا لیک با استفاده از GCS
- پردازش داده در دیتا لیک با پایتون و Pandas
- ساخت دیتا ویرهاوس با Google BigQuery
- بارگذاری داده در جداول Google BigQuery با پایتون و Pandas
- راهاندازی محیط توسعه با Visual Studio Code روی Google Dataproc با اتصال ریموت
- پردازش دادههای بزرگ یا مهندسی داده با Google Dataproc
- اجرای اپلیکیشنهای مبتنی بر Spark SQL به عنوان Job در Dataproc با دستورات
- ساخت پایپلاینهای ELT مبتنی بر Spark SQL با قالبهای Workflow Dataproc
- اجرای یا راهاندازی پایپلاینهای ELT یا قالب Workflow Dataproc با دستورات gcloud dataproc
- پردازش دادههای بزرگ یا مهندسی داده با Databricks روی GCP
- ادغام GCS و Databricks روی GCP
- ساخت و اجرای پایپلاینهای ELT مبتنی بر Spark با Workflow Databricks روی GCP
- ادغام Spark روی Dataproc با Google BigQuery
- ساخت و اجرای پایپلاین ELT مبتنی بر Spark با قالب Workflow Dataproc و ادغام BigQuery
Course Features & Specifications
- ناشر : Udemy
- مدرس : Durga Viswanatha Raju Gadiraju , Pratik Kumar , Madhuri Gadiraju , Phani Bhushan Bozzam
- زبان: انگلیسی
- سطح آموزش: متوسط
- تعداد دروس: 283
- مدت زمان آموزش: 19 ساعت و 36 دقیقه
Prerequisites
- A Computer with at least 8 GB RAM
- Programming Experience using Python is highly desired as some of the topics are demonstrated using Python
- SQL Experience is highly desired as some of the topics are demonstrated using SQL
- Nice to have Data Engineering Experience using Pandas or Pyspark
- This course is ideal for experienced data engineers to add GCP Analytics Services as key skills to their profile
Preview
Installation Guide
پس از Extract، با Player دلخواه خود مشاهده کنید.
زیرنویس: انگلیسی
کیفیت: 720
