Survey
* Your assessment is very important for improving the workof artificial intelligence, which forms the content of this project
Download Activation Power =0*1 + 1*1.9 + 0*1 = 1.9
Document related concepts
no text concepts found
Transcript
אלגוריתם Back Propagation • הרעיון: * בהתחלה משקלות אקראיים * בשלב האימון מציגים דוגמאות * כל דוגמא מכילה קלט ופלט תואם * שינוי המשקלות * לאחר אימון הרשת חוזה טוב 1 דוגמא :איתור הונאות בתחום הטלקומוניקציה • שלב האימון: * ייבנו אוסף רשומות שיחות טלפון המייצגות מקרי הונאה ואי הונאה * רשומות אלה מהוות את קבוצת האימון * מציינים מהם משתני הקלט ומהם משתני הפלט * למשל :קלטים - * משך שיחה * יעדים * זמן שיחה 2 איתור הונאות בתחום הטלקומוניקציה * מפעילים את האלגוריתם 3 איתור הונאות בתחום הטלקומוניקציה • לאחר האימון -הרשת מוצאת ? • שלב השימוש? : 4 ” “העברה לאחור:דוגמא לאלגוריתם (Backward Propagation Algorithm) O T Repeat For each e in example do Neural Network Output for e Target Output value from e • • • • Update the weights (Wj) in the network • based on T - O • End • Until Stopping condition is • reached 5 דוגמא לאלגוריתם“ :העברה לאחור ” (Backward Propagation Algorithm • עדכון המשקלות: • Err = T - O • )(Wj = Wj + a * (Ij * Err • כאשר aהנו מקדם קצב הלמידה 6 דוגמא-חיזוי פשיטת רגל ע"פ גיל המנהל • הרשת חוזה ע"ס גיל המנכ"ל ( 25-0צעיר 40-26 ,בוגר + 41,זקן) האם תהיה פשיטת רגל ( )1או לא ()0 • עבור משתנה הקלט "גיל" נקצה 3נוירוני קלט - * צעיר 1 :בנוירון העליון * בוגר 1 :בנוירון האמצעי * זקן 1 :בנוירון התחתון • עבור משתנה הפלט נקצה נוירון אחד ויחיד ערך ( 0אין פשיטת רגל) או 1 שיקבל: (יש פשיטת רגל) 7 דוגמא-חיזוי פשיטת רגל ע"פ גיל המנהל • נאמן את הרשת עם קבוצת אימון אחת מסוימת: קלט :מנהל בגיל ( 38בוגר) ( )0,1,0כאשר הפלט :אין פשיטת רגל ()0 • מאחר והנוירון בשכבת הפלט "ירה" 1ולא 0 השגיאה הינהErr=0-1=-1 : • כעת האלגוריתם משנה את המשקלות בהתאם לשגיאה 8 דוגמא להתאמת המשקלות בצמתים בחיזוי פשיטת רגל ע"פ גיל המנהל גיל 0 W1=1 Activation Power =0*1 + 1*2 + 0*1 = 2 T=1.95 Activation Power =1*0.5 + 1*0.5 = 1 1 Out=1 W2=2 W4=0.5 W3=1 0 W5=1 W7=0.5 T=0.5 Out=1 Out=1 W6=0 Activation Power =0*0.5 + 1*1 + 0*0 =1 T=0.5 9 1 W8=0.5 מצב שגיאה התאמת משקלות בצמתים – קבוצת אימון אחת • • • • • • • • • • )(Wj = Wj + a * (Ij * Err מקדם הלמידה a = 0.1 : W1=1+0.1*(0*(-1))=1 W2=2+0.1*(1*(-1))=1.9 W3=1+0.1*(0*(-1))=1 W4=0.5+0.1*(0* (-1))=0.5 W5=1+0.1*(1*(-1))=0.9 W6=0+0.1*(0*(-1))=0 W7=0.5+0.1*(1*(-1))=0.4 W8=0.5+0.1*(1*(-1))=0.4 10 דוגמא להתאמת המשקלות בצמתים בחיזוי פשיטת רגל ע"פ גיל המנהל גיל 0 W1=1 Activation Power =0*1 + 1*1.9 + 0*1 = 1.9 T=1.95 Activation Power =0*0.4 + 1*0.4 = 0.4 1 Out=0 W2=1.9 W4=0.5 W3=1 0 W5=0.9 W7=0.4 T=0.5 Out=0 Out=1 W6=0 Activation Power =0*0.5 + 1*0.9 + 0*0 =0.9 T=0.5 11 0 W8=0.4 מצב תקין רשת עצבית לסיווג רוכשי מכוניות 12 רשת עצבית לסיווג רוכשי מכוניות • מטרת הרשת :לנבות אילו לקוחות יקנו איזה מכונית • הסיווג מתבסס על 4פרמטרים: * גיל ( 3טווחים) * קיום מכונית * השכלה אקדמית (כן/לא) * רמת הכנסה ( 2טווחים) 13 שקלול הקלטים בצומת 14 רשת עצבית במצב קידוד 15 מתי נשתמש ברשת עצבית • • • • לא ניתן לבטא את משתנה הפלט כפונקציה ליניארית לדוגמאY = aX1 + bX2 + cX3 … : נתונים לא אמינים נתונים חסרים שאר הטכניקות לא הגיעו לדיוק 16 יתרונות וחסרונות בשימוש ברשת עצבית • יתרון :תוצאות חיזוי/סיווג טובות • חסרונות: * תוצאות קשות להסבר * "קופסא שחורה" * תהליך האימון ארוך 17 Clustering 18 K-Means Node 19 Clusters Generation 20 Clusters Generation 21 Clusters Generation 22 Attributing each customer to a cluster 23 Distribution of each cluster overlay age 24 אלגוריתם ליצירת אשכולות 25 המשך 26 Association Rules 27 הגדרת קובץ נתונים 28 Apriori Node 29 Association Rules 30 Generate Rule Set 31 Rule set for Sour_Cream 32 Rule set for Sour_Cream 33 התפלגות צרכני השמנת ע"פ גיל 34 התפלגות צרכני השמנת ע"פ גיל 35 יתרונות וחסרונות של טכניקות/מודלים 36 תהליך כריית הנתונים • 80%מאמץ בהכנת הנתונים • 20%מאמץ בתהליך כריית הנתונים עצמו 37 תהליך כריית הנתונים 38 שלבים בתהליך כריית נתונים .1הגדרת מרחב הבעיה )(Problem Formulation 39 שלבים בתהליך כריית נתונים .2הכנת סביבת העבודה )(Data Mining Environment Setup וודא - * זמינות החומרה * זמינות התוכנה * זמינות רשת התקשורת * זמינות כלי כריית הנתונים 40 שלבים בתהליך כריית נתונים .3איתור וגזירת הנתונים )(Data Selection * מיפוי נתונים הקיימים -מחסן /מערכות תפעוליות * הערכת איכות וזמינות הנתונים * הכנת תוכניות הגזירה למחסן משנה 41 שלבים בתהליך כריית נתונים .4ניקוי הנתונים )(Data Cleaning .5העשרת הנתונים )(Data Enrichment 42 שלבים בתהליך כריית נתונים .6קידוד הנתונים )(Data Coding במה זה תלוי ? 43 שלבים בתהליך כריית נתונים .7כריית הנתונים )(Data Mining * לב התהליך * גילוי * יש להחליט - טכניקה אלגוריתם כלים מחשוביים44 שלבים בתהליך כריית נתונים .8דיווח )(Reporting ניתוח ממצאים סיכום תוצאות גיבוש דרכי הצגה הצגה למקבלי החלטות45 אינטגרציה בין מחסן הנתונים לכריית הנתונים 46 בעיות בכריית נתונים רגישות לאיכות נתונים – שימוש בנתונים - * לא אמינים * לא שלמים * לא איכותיים 47 בעיות בכריית נתונים • העדר נתונים מספיקים – השגה ממערכות חיצוניות דוגמא :נתוני ספירת כדוריות דםאדומות נתוני הכנסה 48 בעיות בכריית נתונים • העדר היכולת להסביר את התוצאות 49 בעיות עיקריות בכריית הנתונים • מבנה נתונים ייחודי – כלים לא פועל ישירות על מחסן -הזדקקות למבנים מיוחדים 50 בעיות ביצועים כלים מוגבלים בגודל קבצי הקלט -מדגם קטן מביא לאי דיוק 51 בעיות • קושי בהצדקת עלות הפרויקט קושי להתחייב מראש לגבי תוצאות התהליך 52 סוף דבר • • • • • כריית נתונים -מקום כבוד כריית נתונים -בפסגת התהליכים האנליטיים ככל שנפח הנתונים יגדל כך יגדל הצורך בכריית נתונים כריית הנתונים משלימה את טכניקות מחוללי שאילתות ומוצרי OLAPכריית נתונים מוסיף ליכולת ניתוח המידע 53
