(2016-12-26 ساعت 09:29)darabi نوشته:  من از خودم شروع میکنم

اگر طلسم ۱۰ ساله بشکنه  و برنده بشم میرم کالیفرنیا ، سان خوزه
چون سالیان ساله به صورت تخصصی کار کدنویسی انجام میدم به نظرم که شاید شانس بهتری در سان خوزه برای کار داشته باشم ...

شما ها چی؟

(2016-12-29 ساعت 16:12)GoleMan نوشته:  سلام منم ثبت نام کردم
میگم اگه برنده شیم نریم چی میشه ؟ آخه الان سفرنامه یکی از اعضا رو خوندم دیدم کلی باید دوندگی کرد :-l

(2016-12-29 ساعت 16:12)GoleMan نوشته:  سلام منم ثبت نام کردم
میگم اگه برنده شیم نریم چی میشه ؟ آخه الان سفرنامه یکی از اعضا رو خوندم دیدم کلی باید دوندگی کرد :-l

(2016-12-30 ساعت 14:20)shebrahimi نوشته:  

(2016-12-26 ساعت 09:29)darabi نوشته:  من از خودم شروع میکنم

اگر طلسم ۱۰ ساله بشکنه  و برنده بشم میرم کالیفرنیا ، سان خوزه
چون سالیان ساله به صورت تخصصی کار کدنویسی انجام میدم به نظرم که شاید شانس بهتری در سان خوزه برای کار داشته باشم ...

شما ها چی؟

با سلام
ببخشید شما یا آشنایانتان در حوزه دیتا ساینس کار کردید؟ به طور خاص تر رگرسیون و دسته بندی نامتوازن و به ویژه با پایتون کار کردید؟
با تشکر فراوان

(2016-12-30 ساعت 22:42)Am0.s0h3il نوشته:  ۱۲۲ روز و ۴۸ دقیقه مونده ( از اخرین باری که نگا کردم )
بعد ۳ بار زدن روی اون دکمه برنده شدم

(2016-12-30 ساعت 23:05)darabi نوشته:  

(2016-12-30 ساعت 14:20)shebrahimi نوشته:  

(2016-12-26 ساعت 09:29)darabi نوشته:  من از خودم شروع میکنم

اگر طلسم ۱۰ ساله بشکنه  و برنده بشم میرم کالیفرنیا ، سان خوزه
چون سالیان ساله به صورت تخصصی کار کدنویسی انجام میدم به نظرم که شاید شانس بهتری در سان خوزه برای کار داشته باشم ...

شما ها چی؟

با سلام
ببخشید شما یا آشنایانتان در حوزه دیتا ساینس کار کردید؟ به طور خاص تر رگرسیون و دسته بندی نامتوازن و به ویژه با پایتون کار کردید؟
با تشکر فراوان

من با توجه به پایان نامه کارشناسی ارشدم روی agile development بیشتر کار کردم
پایتون هم یک پروژه کار کردم

data mining هم پروژه کارشناسی ام بوده.

دقیقا مشکلتون چی هست ؟

(2016-12-30 ساعت 23:42)shebrahimi نوشته:  

(2016-12-30 ساعت 23:05)darabi نوشته:  

(2016-12-30 ساعت 14:20)shebrahimi نوشته:  با سلام
ببخشید شما یا آشنایانتان در حوزه دیتا ساینس کار کردید؟ به طور خاص تر رگرسیون و دسته بندی نامتوازن و به ویژه با پایتون کار کردید؟
با تشکر فراوان

من با توجه به پایان نامه کارشناسی ارشدم روی agile development بیشتر کار کردم
پایتون هم یک پروژه کار کردم

data mining هم پروژه کارشناسی ام بوده.

دقیقا مشکلتون چی هست ؟

من رشته ام کامپیوتر نیست و میخوام از یادگیری ماشین برای دسته بندی شرکت ها به ورشکسته و غیرورشکسته استفاده کنم اما مشکل اینجاست که داده ام کوچک و به شدت هم unbalanced هست. حدود 1200 شرکت غیرورشکسته و 50 شرکت ورشکسته دارم. برای همین الگوریتم ها معمولا همه شرکت ها را به عنوان غیرورشکسته طبقه بندی می کنند و در عین حال خطا هم کم هست. از تکنیک های متعددی هم جهت حل مشکل نامتوازن بودن استفاده کردم مثل weighting - threshold tuning-oversampling (ADASYN) و blagging.
اما نتیجه زیاد جالب نبود. در واقع طبق قانون تجارت اگر نسبت سود انباشته به سرمایه شرکت کمتر از 0.5- شود، شرکت ورشکسته محسوب می شود. برای اینکه مساله از نامتوازن بودن خارج شود، نسبت سود انباشته به سرمایه رو به عنوان تارگت در نظر گرفتم تا مساله تبدیل به رگرسیون شود و بعد خروجی پیش بینی شده رگرسیون رو دادم به یک کلاسیفایر. نتیجه تا حدی بهتر شده است اما باز هم خوب نیست.
Accuracy: 0.944567627494
AUC: 0.846024464832
F1 Measure: 0.489795918367
Cohen Kappa: 0.465107452915
Precision: 0.352941176471
recall: 0.8
Confusion Matrix: [[414  22]
                         [  3  12]]
f measure-kappa , precision خوب نیست چون 22 غیرورشکسته رو هم به عنوان ورشکسته شناسایی می کند. برای همین فکر کنم اگر از بین inputs یا ویژگی ها مهم ترین ویژگی ها رو انتخاب کنم شاید نتیجه بهبود پیدا کنه اما چون از pipeline استفاده می کنم نمی دونم که چطور feature importance . برای رگرسیون از xgboost استفاده می کنم.
چون به هم ریخته میشه، بقیه اش رو کامل انگلیسی می نویسم.
با تشکر فراوان

(2016-12-30 ساعت 23:42)shebrahimi نوشته:  

(2016-12-30 ساعت 23:05)darabi نوشته:  

(2016-12-30 ساعت 14:20)shebrahimi نوشته:  با سلام
ببخشید شما یا آشنایانتان در حوزه دیتا ساینس کار کردید؟ به طور خاص تر رگرسیون و دسته بندی نامتوازن و به ویژه با پایتون کار کردید؟
با تشکر فراوان

من با توجه به پایان نامه کارشناسی ارشدم روی agile development بیشتر کار کردم
پایتون هم یک پروژه کار کردم

data mining هم پروژه کارشناسی ام بوده.

دقیقا مشکلتون چی هست ؟

من رشته ام کامپیوتر نیست و میخوام از یادگیری ماشین برای دسته بندی شرکت ها به ورشکسته و غیرورشکسته استفاده کنم اما مشکل اینجاست که داده ام کوچک و به شدت هم unbalanced هست. حدود 1200 شرکت غیرورشکسته و 50 شرکت ورشکسته دارم. برای همین الگوریتم ها معمولا همه شرکت ها را به عنوان غیرورشکسته طبقه بندی می کنند و در عین حال خطا هم کم هست. از تکنیک های متعددی هم جهت حل مشکل نامتوازن بودن استفاده کردم مثل weighting - threshold tuning-oversampling (ADASYN) و blagging.
اما نتیجه زیاد جالب نبود. در واقع طبق قانون تجارت اگر نسبت سود انباشته به سرمایه شرکت کمتر از 0.5- شود، شرکت ورشکسته محسوب می شود. برای اینکه مساله از نامتوازن بودن خارج شود، نسبت سود انباشته به سرمایه رو به عنوان تارگت در نظر گرفتم تا مساله تبدیل به رگرسیون شود و بعد خروجی پیش بینی شده رگرسیون رو دادم به یک کلاسیفایر. نتیجه تا حدی بهتر شده است اما باز هم خوب نیست.
Accuracy: 0.944567627494
AUC: 0.846024464832
F1 Measure: 0.489795918367
Cohen Kappa: 0.465107452915
Precision: 0.352941176471
recall: 0.8
Confusion Matrix: [[414  22]
                         [  3  12]]
f measure-kappa , precision خوب نیست چون 22 غیرورشکسته رو هم به عنوان ورشکسته شناسایی می کند. برای همین فکر کنم اگر از بین inputs یا ویژگی ها مهم ترین ویژگی ها رو انتخاب کنم شاید نتیجه بهبود پیدا کنه اما چون از pipeline استفاده می کنم نمی دونم که چطور feature importance . برای رگرسیون از xgboost استفاده می کنم.
چون به هم ریخته میشه، بقیه اش رو کامل انگلیسی می نویسم.
با تشکر فراوان