איך אפשר להיעזר בבינה מלאכותית ובכלים טכנולוגיים מודרניים כדי לסייע לתלמידים עם עיוורון או לקות ראייה

על כותב המאמר

שמואל נעמן, מנהל חברת פילוסופט ומתכנת עיוור בעצמו. שמואל הוא המפתח של תוכנת "קרא קל" להאזנה ולהצגת ספרים, שפותחה בשיתוף המרכז לתרבות מונגשת.

מבנה המסמך

במסמך זה אנסה לרכז כמה פתרונות מודרניים לבעיות ותיקות שמלוות תלמידים עם עיוורון או לקות ראייה במערכת החינוך. המסמך מציג בקצרה כמה סוגים של צרכים לימודיים, ומתאים לכל צורך פתרונות טכנולוגיים אפשריים. בחלק מהמוצרים ניתן יהיה לצרף בהמשך סרטון הדגמה קצר, כדי להמחיש את אופן השימוש בפועל.

חשוב להדגיש: אין פתרון אחד שמתאים לכל תלמיד ולכל מצב. לעיתים אותו תלמיד יזדקק לכלים שונים במצבים שונים: כלי אחד לקריאה מהירה של מסמך, כלי אחר לעבודה על דף עבודה, כלי נוסף לכתיבה ולסיכום, כלי אחר לניהול מסמכים, וכלי אחר להתמצאות בסביבה או להבנת תמונות.

הגדרות ועקרונות כלליים

לפני שבוחרים כלי טכנולוגי, כדאי להבין מהו הצורך המדויק של התלמיד. יש הבדל משמעותי בין מצבים שונים:

1. מסמך קצר שצריך להבין ממנו את המידע המרכזי בלבד.
2. מסמך סרוק שצריך לחזור אליו שוב ושוב.
3. דף עבודה שיש למלא בתוך הדף עצמו.
4. תמונה או תרשים שהתלמיד צריך להבין מבחינה מרחבית.
5. מסמך שמתקבל באופן ספונטני בכיתה, ללא הכנה מוקדמת.
6. סיור, שיעור שטח או פעילות מחוץ לכיתה שבהם יש צורך בתיאור חי של הסביבה.
7. מחברת דיגיטלית המרכזת מסמכים, סיכומים, דפי עבודה ותוצרים של התלמיד.
8. בחינה, שבה יש צורך בשמירה על אמינות, פרטיות ואי-שימוש בכלי אינטרנט חיצוניים.

לכן, ההמלצה אינה לבחור "את האפליקציה הכי טובה", אלא לבחור את הכלי המתאים ביותר למשימה הנוכחית.

חלק ראשון: קריאת מסמכים והבנת חומר כתוב

1. דף המכיל מידע שניתן לקרוא "בנשימה אחת"

לקטגוריה זו נכנסים מסמכים שאין צורך ממשי לעבור עליהם בדקדקנות, אלא לקבל מהם את המידע המרכזי באופן מהיר. לדוגמה:

• הודעה על פעילות בית ספרית.
• דף מידע קצר להורים.
• הודעה על שינוי במערכת השעות.
• מידע על טיול.
• מסמך שהתלמיד צריך להבין את מטרתו הכללית כדי לסווג אותו.

במקרים כאלה אנו ממליצים לפענח את המסמך באמצעות אפליקציית Be My Eyes.

• אתר רשמי: https://www.bemyeyes.com/
• Be My Eyes ב-App Store
• Be My Eyes ב-Google Play

למה Be My Eyes מתאימה למשימה זו?

האפליקציה נוחה מאוד להקראה ולהבנה מיידית של מסמך. התלמיד יכול לצלם מסמך באמצעות מצלמת הטלפון, או להעביר לאפליקציה מסמך סרוק, ולקבל תיאור והסבר על תוכן המסמך.

1. אפשרות להגדיר קבוצות של משתמשים תומכים
   לדוגמה: הורים, סייעת, מורה תומכת או אדם קרוב אחר. אם התלמיד סרק מסמך והמידע לא פוענח בצורה מספקת באמצעות האפליקציה, ניתן להעביר את המסמך לאדם קרוב לצורך השלמה ובדיקה.
2. שימוש במנוע בינה מלאכותית איכותי
   ניתן לשאול שאלות המשך על המסמך. למשל: "אני בכיתה ו'. באיזו שעה אני צריך להגיע לבית הספר ביום ירושלים?"

היתרון המרכזי כאן הוא שהתלמיד אינו חייב להבין בעצמו את כל מבנה המסמך. הוא יכול לשאול שאלה ממוקדת ולקבל תשובה מעשית.

2. מסמכים סרוקים הדורשים עיון חוזר

יש מסמכים שהתלמיד צריך לחזור אליהם יותר מפעם אחת, כגון דפי חזרה למבחן, דפי מידע, סיכומים וחומר לימודי שהתלמיד צריך לקרוא בהדרגה.

לצורך פענוח מסמכים מסוג זה אנו ממליצים על אפליקציית Envision.

• אתר רשמי: https://www.letsenvision.com/app
• Envision AI ב-App Store
• Envision ב-Google Play

האפליקציה יכולה לקבל מסמכים מסוג תמונה, וכן מסמכים מסוג PDF או Word. לאחר הפענוח ניתן להאזין למסמך, לנווט בתוכו, לשמור אותו, לחזור אליו מאוחר יותר ולהוציא את תוכן המסמך לשימוש נוסף.

3. דפי עבודה שצריך למלא בתוך דף המקור

סוג נוסף של מסמכים הוא דפי עבודה שבהם התלמיד צריך לכתוב תשובות בתוך הדף עצמו. כאן לא מספיק רק לקרוא את המסמך. התלמיד צריך להבין את השאלות, למצוא את שדות המילוי, ולכתוב תשובות במקום המתאים.

במקרים כאלה אנו ממליצים להעלות את המסמך ל-Gemini ולבקש ממנו להפוך את דף העבודה למסמך HTML נגיש.

• אתר רשמי: https://gemini.google.com/
• Google Gemini ב-App Store
• Google Gemini ב-Google Play

הוראה מומלצת לשימוש ב-Gemini

לפניך מסמך שקיבלתי. מכיוון שאני עיוור או לקוי ראייה, איני יכול לקרוא ולמלא את המסמך באופן חזותי. אנא הפוך את המסמך למסמך HTML נגיש, תוך הקפדה על הדברים הבאים:

1. השתמש בכתב מוגדל וברור.
2. שמור ככל האפשר על מבנה המסמך המקורי, כולל כותרות, טבלאות ורשימות.
3. כל מקום שבו יש למלא תשובה, הפוך לשדה טקסט נגיש שבו אוכל לכתוב את תשובתי.
4. צור תיאור תמונה עבור כל אחת מהתמונות בדף. על התיאור לכלול את הטקסט שמופיע בתמונה, אם קיים, וכן תיאור של הדמויות, הפעולות שהן מבצעות, האווירה הכללית בסצנה וכל פרט נוסף שנראה רלוונטי להבנת תוכן המסמך.
5. אם יש טבלה, שמור אותה כטבלת HTML תקינה עם כותרות עמודה או שורה כאשר הדבר אפשרי.
6. אם יש הוראות לתלמיד, הצג אותן בצורה ברורה לפני השאלות.
7. אל תשנה את משמעות השאלות ואל תענה עליהן במקום התלמיד.

מסמך HTML נגיש מאפשר לתלמיד לעבוד עם קורא מסך, לנווט בין כותרות ושדות, לכתוב תשובות ולשמור את התוצר. חשוב לבדוק את התוצאה, משום שבינה מלאכותית עלולה לטעות בזיהוי מבנה הדף, בתיאור תמונות או בהבנת טבלאות.

4. פענוח של דפי תמונה

בקטגוריה זו אנו מתייחסים למסמכים או דפים שמכילים בעיקר תמונה, כאשר המטרה אינה רק לקבל תיאור כללי של התמונה, אלא להבין מה נמצא בתמונה מבחינה מרחבית.

במקרים כאלה אנו ממליצים בעיקר על Be My Eyes, משום שהיא מאפשרת לקבל תיאור עשיר של תמונות ולשאול שאלות המשך על מה שמופיע בתמונה.

ניתן לבדוק גם את Seeing AI במקרים מסוימים, אך חשוב לשים לב שהתוכנה עובדת באנגלית בלבד, ולכן אינה מתאימה לכל תלמיד.

• אתר רשמי Seeing AI: https://www.seeingai.com/
• Seeing AI ב-App Store
• Seeing AI ב-Google Play

5. סריקה ספונטנית של מסמך בכיתה

לפעמים החומרים אינם מגיעים מראש אל התלמיד. המורה מחלקת דף בכיתה, כותבת משהו על הלוח, או נותנת משימה שהתלמיד צריך להתמודד איתה באותו רגע.

במקרים כאלה ההמלצה היא להשתמש ב-Envision או ב-Seeing AI, בהתאם לנוחות של התלמיד ולסוג החומר.

Envision מתאימה כאשר מדובר במסמך טקסטואלי יחסית, כמו דף עבודה, הודעה, סיכום או טקסט מודפס, וכאשר רוצים לקבל פענוח נוח של הטקסט ולחזור אליו לאחר מכן.

Seeing AI יכולה להתאים כאשר מדובר בתמונה, איור או מצב שבו התלמיד רוצה להבין מה מופיע מולו באופן חזותי. עם זאת, גם במקרה של מסמכים ספונטניים בכיתה חשוב לשים לב שהתוכנה עובדת באנגלית בלבד.

6. צילום וידאו חי ותיאור רציף של הסביבה

בקטגוריה זו ניתן לכלול מצבים שבהם התלמיד אינו עובד מול מסמך קבוע, אלא נמצא בסביבה משתנה: סיור מטעם בית הספר, ביקור במוזיאון, פעילות חוץ כיתתית, שיעור מעבדה, הליכה במסדרון או קריאת שלטים ולוחות מידע.

במצבים כאלה ניתן להשתמש באפליקציות שמאפשרות תיאור חי של מה שמצולם במצלמת הטלפון. ניתן לבדוק בעיקר את Be My Eyes, Seeing AI, Envision או Gemini במצב שיחה עם מצלמה. במקרה של Seeing AI יש לזכור שהתוכנה עובדת באנגלית בלבד.

נקודת זהירות חשובה: אין להסתמך על תיאור אוטומטי בלבד לצורך בטיחות פיזית, ניווט עצמאי במקום מסוכן, חציית כביש או זיהוי מכשולים קריטיים. הכלים יכולים לסייע בהתמצאות ובהבנה, אך אינם מחליפים ליווי אנושי, מקל נחייה, כלב נחייה או מיומנויות ניידות מקצועיות.

7. מה עושים עם בחינות?

לדעתי, כאשר מדובר בבחינות, הדרך הנכונה ביותר היא שהמורה תגיש את הבחינה כמסמך Word נגיש. כך ניתן להעביר את הבחינה לתלמיד בלי לחשוש מאיבוד מידע בתהליך סריקה או OCR.

• ניתן לקרוא אותו באמצעות קורא מסך.
• ניתן לנווט בין שאלות וכותרות.
• ניתן לכתוב תשובות בתוך המסמך.
• ניתן לעבוד ללא חיבור לאינטרנט.
• קל יותר לשמור על אמינות ובטיחות הבחינה.

בבחינות לא מומלץ להסתמך על כלי בינה מלאכותית מקוונים, משום שהדבר עלול לפגוע בטוהר הבחינה, בפרטיות ובאמינות התהליך.

חלק שני: כתיבה, עריכה וניהול חומרי לימוד

1. כתיבת מסמכים ב-Google Docs

לצורך כתיבה ועריכה של מסמכים אנו ממליצים להשתמש ב-Google Docs.

• אתר רשמי: https://docs.google.com/
• Google Docs ב-App Store
• Google Docs ב-Google Play

ניתן לבצע הכתבה קולית באמצעות קיצור המקשים Ctrl + Shift + S, לתקן שגיאות כתיב ולסדר את המסמך בעזרת Gemini, וכן להוסיף תמונות עם טקסט חלופי.

אנא ודא שהמסמך אינו מכיל שגיאות כתיב. מכיוון שאיני רואה בצורה תקינה, אנא סדר את המסמך גם מבחינת המראה הכללי שלו, לרבות כותרות, יישור מתאים, חלוקה לפסקאות וריווח נוח לקריאה. אל תשנה את משמעות התוכן.

2. מחברת חכמה המרכזת מסמכים עבור התלמיד

תחום נוסף שכדאי להתייחס אליו הוא ניהול מסמכים וחומרי לימוד במקום אחד. תלמיד עם לקות ראייה עשוי לקבל מסמכים ממקורות רבים: מורים, חברים לכיתה, הורים, אתרי בית ספר, קבוצות כיתה, דפי עבודה סרוקים וקבצים שנוצרו באמצעות כלי בינה מלאכותית.

בקטגוריה זו ניתן להשתמש ב-Google Drive כמעין מחברת חכמה המרכזת את חומרי הלימוד של התלמיד.

• אתר רשמי: https://drive.google.com/
• Google Drive ב-App Store
• Google Drive ב-Google Play

Google Drive מאפשר לרכז במקום אחד מסמכים, דפי עבודה, תמונות, קבצי PDF, סיכומים ותוצרים שהתלמיד יוצר. ניתן לשתף מסמכים עם מורה או חבר, לפתוח מסמך ב-Google Docs, ליצור מסמך חדש, ולהשתמש ב-Gemini לסיכום, ניסוח מחדש, יצירת שאלות חזרה וארגון חומר לפי נושאים.

3. שימוש ב-NotebookLM ללמידה

NotebookLM הוא כלי שיכול לסייע לתלמיד ללמוד מתוך מקורות מידע שהועלו אליו.

• אתר רשמי: https://notebooklm.google/
• Google NotebookLM ב-App Store
• Google NotebookLM ב-Google Play

השימושים האפשריים כוללים סיכום חומר לימודי, יצירת שאלות חזרה, הסבר מושגים, השוואה בין מסמכים ויצירת תוכנית לימוד לפי נושאים.

4. תמלול הרצאות ושיעורים

תלמידים רבים מתקשים לעקוב אחרי שיעור בזמן אמת, במיוחד כאשר יש צורך להקשיב ולכתוב במקביל.

אפשר להשתמש ב-Google Docs להכתבה קולית או באתר TurboScribe לתמלול קובצי אודיו.

• TurboScribe אתר רשמי: https://turboscribe.ai/

נכון למועד כתיבת המסמך, לא נמצאה אפליקציה רשמית של TurboScribe ב-App Store או ב-Google Play. חשוב לוודא שמותר להקליט את השיעור לפי כללי בית הספר ולשמור על פרטיות המורה והתלמידים.

5. שיחה ספונטנית עם מנוע בינה מלאכותית

לעיתים התלמיד אינו צריך לעבד מסמך מסוים, אלא לשאול שאלה, להבין מושג, לקבל הסבר נוסף או לתרגל חומר. במקרים כאלה ניתן להשתמש בשיחה עם מנוע בינה מלאכותית, למשל Gemini.

Gemini יכול לסייע בהסבר מושגים, יצירת שאלות תרגול, בדיקת ניסוח של תשובה, ארגון רעיונות לפני כתיבת עבודה, יצירת ראשי פרקים למצגת והתאמת טקסט לרמת גיל מסוימת.

חלק שלישי: סיכום והסתכלות קדימה

הטכנולוגיה המודרנית, ובמיוחד כלי בינה מלאכותית, יכולה לשפר באופן משמעותי את העצמאות של תלמידים עם עיוורון או לקות ראייה. עם זאת, כדי שהשימוש יהיה יעיל, חשוב להתאים את הכלי לצורך המדויק של התלמיד.

במקום לחפש פתרון אחד לכל המצבים, כדאי לבנות לתלמיד "ארגז כלים" אישי: כלי לקריאה מהירה, כלי לקריאה חוזרת, כלי למילוי דפי עבודה, כלי להבנת תמונות, כלי לתיאור חי של סביבה, כלי לניהול מסמכים, כלי לכתיבה ולעריכה וכלי ללמידה ולתרגול.

לסיכום, הבעיה כפי שאנו רואים אותה אינה שחסרים כלים לעזרה עבור תלמיד לקוי ראייה. להפך: קיימים כיום כלים רבים, חלקם מבוססי בינה מלאכותית איכותית, והם זמינים לתלמידים יותר מאי פעם. הבעיה המרכזית היא שאין כלי אחד שמרכז את כל היכולות האלה, ושיש לו גישה ישירה למקורות המידע של התלמיד: המסמכים שלו, הספרים שלו, דפי העבודה שלו, הסיכומים שלו והמשימות שלו.

לצורך כך אנו מכניסים יכולות AI ב"קרא קל" לתלמידים, כדי לאפשר סביבת למידה ממוקדת ונגישה יותר, המחברת בין חומרי הלימוד של התלמיד לבין כלים חכמים שיכולים לסייע בקריאה, הבנה, סיכום, תרגול ועבודה עצמאית. על כך נרחיב במאמר נפרד.

המסר המרכזי הוא פשוט: הטכנולוגיה אינה מחליפה את המורה, את ההורה או את המאמץ של התלמיד, אך היא יכולה להיות גשר חשוב בין חומר לימודי שאינו נגיש לבין למידה עצמאית, מכבדת ומותאמת יותר.

טבלאות מסכמות

התאמת הכלי לצורך

קישורים מרכזיים לכלים המוזכרים במסמך