تمرین دوم بسم الله الرحمن الرحیم درس یادگیری ماشین محمدعلی کیوان راد

Presentasjon om: "تمرین دوم بسم الله الرحمن الرحیم درس یادگیری ماشین محمدعلی کیوان راد"— Utskrift av presentasjonen:

1 تمرین دوم بسم الله الرحمن الرحیم درس یادگیری ماشین محمدعلی کیوان راد
ترم دوم 94-93

2 اهداف آشنایی با دادگان simplefit_dataset و Hardfit dataset
پیاده سازی رگراسیون خطی Iterative LSR بررسی تأثیر پارامتر λ در Iterative LSR پیاده سازی رگراسیون خطی non-Iterative LSR آشنایی با تابع Polyfit آشنایی با بیش آموزش (over fitting) آشنایی با داده های train , validation , test

3 دستورالعمل تمرین در مورد دادگان simplefit_dataset تحقیق کرده و نحوه فراخوانی و استفاده از آن را مشخص کنید. همچنین دادگان Hardfit_dataset را نیز بررسی نموده و موارد زیر را در مورد این دو دادگان انجام دهید. نمودار هر کدام از دادگان فوق را به طور مجزا ترسیم کرده و در مورد تابعی که می تواند هر کدام از آنها را تقریب بزند، بحث کنید. آزمایشات بعدی را برای هرکدام از این دادگان تکرار کرده و نتایج را با یکدیگر مقایسه کنید.

4 دستورالعمل تمرین تابعی به نام Iterative_LSR بنویسید که با دریافت داده های ورودی و پارامتر λ رگراسیون خطی تکراری را اجرا کرده و خطی را برای داده ها تقریب بزند. تأثیر پارامتر λ را بر روی عملکرد تابع فوق بررسی کنید. یک روش بهینه برای تعیین محدوده λ پیشنهاد کرده و با استفاده از روش پیشنهادی محدوده مناسب و بهترین مقدار را برای λ تعیین کنید. چند تصویر از مراحل میانی آموزش، ترسیم کرده و نحوه عملکرد تابع را تفسیر کنید. تابعی به نام NonIterative_LSR بنویسید که با دریافت داده های ورودی رگراسیون خطی غیرتکراری را اجرا کرده و خطی را برای داده ها تقریب بزند. نتایج حاصل از اجرای دو تابع فوق را با هم مقایسه کنید.

5 دستورالعمل تمرین با مراجعه به help نرم افزار MATLAB نحوه فراخوانی و استفاده از تابع polyfit را مشخص کرده و سپس با استفاده از آن یک خط برای داده ها تقریب بزنید. (مطابق شکل های 1 و 2 ) تابعی برای محاسبه خطای تقریب بنویسید و نمودار خطای تقریب تابع polyfit را بر حسب درجه های مختلف n ، رسم نمایید. همین کار را فقط با 10 درصد از داده ها انجام داده و نتیجه را با حالت قبل مقایسه کنید. مفهوم بیش آموزش را توضیح داده و مشخص نمایید که در آزمایشات فوق، بیش آموزش چگونه اتفاق افتاده است. راهکار پیشنهادی شما برای اجتناب از بیش آموزش چیست؟

6 دستورالعمل تمرین توزیع داده ها را بررسی کرده و روشی مناسب، برای انتخاب داده های Train ، Validation و Test پیشنهاد کنید. با استفاده از روش پیشنهادی داده ها را به سه دسته تقسیم کرده و آنها را بر روی یک نمودار و با رنگ های مختلفی نمایش دهید. با استفاده از داده های train و با درجه های مختلف تابع polyfit، تقریب های مختلفی زده و خطای هر تقریب را بر روی داده های validation محاسبه نموده و نمودار آن را رسم کنید. درجه ای که کمترین خطا را دارد انتخاب کرده و خطی را برای مجموع داده های train و validation تقریب زده و سپس خطای تقریب را بر روی داده های test مشخص کنید. در مورد دقت واقعی تقریب بحث کنید.

7 توضیحات برای پیاده سازی الگوریتم های خواسته شده از فرمول های ارائه شده در اسلایدهای درسی استفاده کنید. پیاده سازی الگوریتم رگراسیون خطی Iterative LSR وابستگی زیادی به انتخاب مقدار مناسب برای پارامتر λ دارد. لذا سعی کنید با استفاده از آزمون و خطا ابتدا مقداری را پیدا کنید که الگوریتم همگرا شود و سپس حداقل و حداکثر مقدار را مشخص کرده و در این بازه بهترین مقدار آن را مشخص کنید. در نمودار مربوط به بند5 تمرین، محور xها درجه های مختلف n و محور yها مجموع اختلاف های مقادیر تقریب زده شده با مقادیر validation می باشد.

8 تذکرات گزارشات بایستی با تصاویر و توضیحات کافی و همچنین با رعایت نمودن فصل بندی مناسب، متناسب با بندهای تمرین ارائه گردند. توصیه می شود ضمن رعایت کردن ساختار مناسب برای گزارشات، از فهرست مطالب به همراه شماره گذاری صفحات نیز استفاده شود. دقت داشته باشید که نام فایل های کدی که برای هر بخش از تمرین می نویسید نیز بایستی به طور مشخص در گزارشات قید گردند. هر تمرین از دو بخش کد و گزارش تشکیل شده است که بایستی در دو فایل Zip شده به صورت مجزا در سایت درسی بارگذاری شوند. دقت داشته باشید که کدهای نوشته شده برای هر قسمت بایستی به طور کامل در گزارشات تشریح گردند.

9 تذکر بسیار مهم از این به بعد حتما فایل ها را به صورت زیر نامگذاری کنید: شماره دانشجویی_HW_شماره تمرینCode شماره دانشجویی_HW_شماره تمرینReport مثال: _HW2_Code _HW2_Report عدم رعایت فرمت فوق و همچنین ساختار مناسب برای گزارشات موجب کسر نمره خواهد شد.

10 پیوست شکل 1 : تخمین یک خط برای دادگان simplefit

11 پیوست شکل 2 : تخمین یک خط برای دادگان hardfit