הנדסת הקשר (Context Engineering): המדריך למתחילים

הקדמה: מעבר מפרומפטים להקשר

במהלך 2025, המונח הנדסת הקשר (Context Engineering) הפך לאחד המושגים המדוברים ביותר בעולם הבינה המלאכותית. אנדריי קרפטי, לשעבר ראש תחום ה-AI בטסלה ואחד המומחים המובילים בתחום, הגדיר את הנדסת הקשר כ"האמנות והמדע העדין של מילוי חלון ההקשר במידע הנכון בדיוק לשלב הבא". המעבר מהתמקדות בניסוח פרומפטים מושלמים לבניית מערכות הקשר דינמיות משנה את הדרך שבה אנו מפתחים יישומי AI.

כאשר מודל שפה גדול (LLM) נכשל במשימה, הנטייה הראשונה היא להאשים את המודל עצמו. אבל לפי מחקר של Anthropic מספטמבר 2025, ברוב המקרים הבעיה היא לא המודל אלא ההקשר שסופק לו. דמיינו שביקשתם מסוכן AI להזמין מלון בפריז לכנס חשוב, וקיבלתם הזמנה למלון בפריז, קנטקי. המודל לא טעה כי הוא "טיפש" – הוא פשוט לא קיבל את ההקשר הנדרש להבין שמדובר בפריז שבצרפת.

במאמר זה נסביר מהי הנדסת הקשר, מדוע היא קריטית לבניית מערכות AI אמינות, ואיך להתחיל ליישם אותה גם אם אתם מתחילים בתחום. נכיר את ששת המרכיבים המרכזיים של הדיסציפלינה, נבחן כלים וטכניקות מעשיות, ונראה דוגמאות קונקרטיות שיעזרו לכם להבין את הנושא לעומק.

מהי הנדסת הקשר?

הנדסת הקשר היא התהליך של בניית מערכת דינמית שמזרימה למודל שפה את כל פיסות המידע הרלוונטיות בצורה הנכונה ובתזמון הנכון. בעוד שהנדסת פרומפטים (Prompt Engineering) מתמקדת באיך לנסח את השאלה למודל, הנדסת הקשר בונה את כל הסביבה שהמודל צריך כדי לענות נכון.

ההקשר (Context) הוא כל מה שהמודל רואה לפני שהוא מייצר תשובה. זה כולל את הוראות המערכת שמגדירות למודל אופי ותפקיד, את הפרומפט עם השאלה הנוכחית, היסטוריית השיחה (זיכרון קצר טווח), זיכרון ארוך טווח על העדפות ומידע קודם, מידע שנשלף ממקורות חיצוניים באמצעות טכניקות כמו RAG, כלים שהמודל יכול להפעיל, והגדרות פורמט פלט. ההנדסה עוסקת בעיצוב האופן שבו כל המרכיבים הללו מגיעים למודל ומשפיעים על התשובה שלו.

חשוב להבין שלכל מודל יש מגבלה של חלון הקשר (Context Window) – הכמות המקסימלית של מידע (טוקנים) שהוא יכול לעבד בפעם אחת. מודלים מתקדמים כמו Claude של Anthropic מציעים חלון הקשר של עד 200,000 טוקנים, ו-GPT-4 Turbo של OpenAI מציע עד 128,000 טוקנים. למרות שמספרים אלה נשמעים גדולים, במשימות מורכבות המידע מצטבר במהירות ונדרשת חשיבה קפדנית על מה להכניס לחלון ומה להשמיט.

הנדסת הקשר לעומת הנדסת פרומפטים

ההבדל בין שתי הגישות הוא מהותי. הנדסת פרומפטים מתמקדת בניסוח ההוראה המדויקת ל-AI: לבחור את המילים הנכונות, לתת דוגמאות, להחליט על פורמט התשובה. זו מיומנות חשובה שממשיכה להיות רלוונטית, אבל היא מוגבלת ביכולתה להתמודד עם משימות מורכבות.

הנדסת הקשר לעומת זאת היא רחבה הרבה יותר. היא בונה סביב המודל את כל הסביבה שהוא צריך: מסמכים רלוונטיים, זיכרון משיחות קודמות, גישה לנתוני זמן אמת וכלים שמאפשרים לו לבצע פעולות. לפי ההגדרה המקובלת בתחום, הנדסת פרומפטים היא כתיבה של שאלה מושלמת, בעוד הנדסת הקשר היא לוודא שלמודל יש את ספר הלימוד הנכון, מחשבון, הערות מהעבר, ואת המפתחות להיכנס לכיתה ולבצע את המשימה.

אפשר לומר שהנדסת פרומפטים היא תת-קטגוריה בתוך הנדסת הקשר. ניסוח ההוראות עדיין חשוב מאוד, אבל הוא רק חלק אחד מתמונה שלמה הרבה יותר. כפי שציינו מומחים בתחום: אם הנדסת פרומפט היא ללמוד לשאול שאלות טובות, הנדסת הקשר היא כמו להיות הספרן שמחליט אילו ספרים לתת למישהו לפני שהוא בכלל מתחיל לשאול שאלות.

למה הנדסת הקשר קריטית?

ככל שמודלי השפה משתפרים, מתברר שכאשר הם נכשלים, הבעיה היא לרוב לא המודל עצמו אלא ההקשר שניתן לו. מודל יכול להיות חכם להפליא, אבל הוא לא קורא מחשבות. אם לא נספק לו את המידע הרלוונטי, ההוראות הברורות והכלים המתאימים, הוא עלול לטעות או להזות. העיקרון של "זבל פנימה – זבל החוצה" תקף גם כאן: פלט המודל איכותי רק כמידת איכות ההקשר שסיפקנו לו.

מחקרים על תופעת Context Rot (ריקבון הקשר) הראו שככל שמספר הטוקנים בחלון ההקשר גדל, יכולת המודל לאחזר מידע בדיוק מתוך ההקשר יורדת. זו לא רק בעיה טכנית – זו אילוץ ארכיטקטוני בסיסי של מודלי Transformer. כל טוקן חדש שנכנס לחלון ההקשר מפחית את "תקציב הקשב" של המודל. לכן, הנדסת הקשר אינה רק על הכנסת מידע – היא על בחירה קפדנית של המידע הנכון.

חשיבות הנדסת ההקשר בולטת במיוחד בבניית סוכני AI (AI Agents) – מערכות שמשתמשות ב-LLM כמוח לקבלת החלטות וביצוע פעולות אוטונומיות. סוכן שפועל לאורך זמן יוצר יותר ויותר מידע שעשוי להיות רלוונטי לשלב הבא, וצריך מנגנונים מתוחכמים לסנן ולעדכן את ההקשר באופן רציף.

ששת המרכיבים של הנדסת הקשר

לפי המסגרת שפותחה על ידי Weaviate, הנדסת הקשר מבוססת על שישה מרכיבים מרכזיים שעובדים יחד כמערכת משולבת.

סוכנים (Agents)

סוכני AI הם מערכות שמשתמשות במודל שפה גדול כמוח לקבלת החלטות ופתרון משימות מורכבות. הסוכן מקבל מטרה מהמשתמש ומבין בעצמו אילו צעדים לנקוט כדי להשיג אותה, תוך שימוש בכלים הזמינים לו. סוכנים הם גם המשתמשים בהקשר וגם האדריכלים שלו – הם מחליטים איזה מידע לחפש, מה לשמור ומה למחוק.

במערכת סוכן בודד (Single-Agent), סוכן אחד מטפל בכל התהליך. במערכות מרובות סוכנים (Multi-Agent Systems), סוכנים מתמחים שונים לוקחים תפקידים ספציפיים: אחד אוסף מידע, אחר בודק מדיניות, ושלישי מתכנן את הצעד הבא. הנדסת ההקשר מתזמרת את זרימת המידע בין כל הסוכנים.

העשרת שאילתות (Query Augmentation)

העשרת שאילתות היא התהליך של שיפור הקלט הראשוני של המשתמש למשימות המשך. משתמשים לרוב לא מנסחים בקשות בצורה מושלמת – הקלט שלהם מבולגן, לא ברור או חלקי. בנוסף, חלקים שונים במערכת ה-AI צריכים להבין ולהשתמש בשאילתה בדרכים שונות: הפורמט הטוב ביותר ל-LLM הוא לא בהכרח זה שמתאים לשאילתה במסד נתונים וקטורי.

טכניקות העשרת שאילתות כוללות פירוק שאילתה מורכבת למספר שאילתות פשוטות, הוספת הקשר חסר משיחות קודמות, ותרגום השאילתה לפורמט שמתאים לכלי היעד.

אחזור (Retrieval)

אחזור מידע הוא הליבה של מערכות RAG (Retrieval-Augmented Generation) – הטכניקה הנפוצה ביותר לחיבור מודלים למקורות מידע חיצוניים. במקום לסמוך רק על מה שהמודל למד באימון, מערכת RAG מאחזרת מידע רלוונטי ממאגרי נתונים ומזריקה אותו לחלון ההקשר.

ההחלטה הקריטית ביותר באחזור היא אסטרטגיית החלוקה (Chunking Strategy). חלקים קטנים מדויקים יותר באחזור אבל חסרים הקשר. חלקים גדולים עשירים בהקשר אבל ה-Embeddings שלהם "רועשים" יותר וקשה למצוא בהם התאמה מדויקת. מציאת האיזון הנכון היא המפתח לביצועים טובים.

טכניקות פרומפט (Prompting Techniques)

גם אחרי שאחזור המידע מושלם, צריך להנחות את המודל איך להשתמש במידע שקיבל. הפרומפט הוא שכבת הבקרה שמגדירה למודל את המשימה: האם לסנתז תשובה ממספר מקורות, לחלץ ישויות ספציפיות, או לענות רק על בסיס ההקשר שסופק כדי למנוע הזיות.

טכניקות פרומפט נפוצות כוללות Chain-of-Thought (שרשרת מחשבה) שמאלצת את המודל לפרוס את ההיגיון שלו צעד אחר צעד, Few-Shot Learning שמספקת דוגמאות לפורמט הרצוי, ו-ReAct שמשלבת חשיבה ופעולה במעגל רציף.

זיכרון (Memory)

מודל שפה ללא זיכרון לא יודע מה קרה לפני חמש דקות או למה זה רלוונטי להחלטה הבאה. זיכרון הופך את המודל למערכת דינמית שיכולה לשמור על הקשר, ללמוד מהעבר ולהתאים את עצמה תוך כדי תנועה.

זיכרון לטווח קצר הוא חלון ההקשר עצמו – השיחה האחרונה, פלטי כלים ומסמכים שאוחזרו. הוא מוגבל בגודל ודורש ניהול קפדני. זיכרון לטווח ארוך חי מחוץ למודל, בדרך כלל במסדי נתונים וקטוריים, ויכול לאחסן אירועים מהעבר, ידע תחומי ונהלי עבודה. חלק מהמערכות מוסיפות גם זיכרון עבודה (Working Memory) – מרחב זמני למידע שנדרש במהלך משימה מרובת שלבים.

כלים (Tools)

כלים הם הגשר בין מחשבה לפעולה. בלי כלים, גם המודל המתוחכם ביותר נעול בתוך בועת טקסט – הוא יכול לחשוב, לנסח ולסכם, אבל לא יכול לבדוק מחירי מניות, לשלוח אימייל או להזמין טיסה. חיבור לכלים כמו APIs, מסדי נתונים ומערכות הזמנות מאפשר למודל לבצע פעולות בעולם האמיתי.

התזמור של כלים כולל גילוי כלים (הסוכן צריך לדעת אילו כלים זמינים לו), בחירת כלי (להחליט איזה כלי מתאים למשימה), ניסוח ארגומנטים (להעביר את הפרמטרים הנכונים), ורפלקציה (לבחון את התוצאה ולהחליט מה לעשות הלאה). פרוטוקול MCP (Model Context Protocol) שהוצג על ידי Anthropic בסוף 2024 מספק תקן אחיד לחיבור כלים, מה שמפשט את האינטגרציה בין מערכות שונות.

כשלים נפוצים ואיך להימנע מהם

ככל שחלון ההקשר גדל, מופיעים מספר כשלים אופייניים שחשוב להכיר ולמנוע.

הרעלת הקשר (Context Poisoning) קורית כאשר מידע שגוי או מוזה נכנס להקשר. מכיוון שסוכנים משתמשים בהקשר שוב ושוב ובונים עליו, השגיאות מצטברות ומתרבות. הפתרון הוא לבדוק ולאמת מידע לפני הכנסתו לזיכרון לטווח ארוך.

הסחת דעת (Context Distraction) מתרחשת כאשר הסוכן מוצף במידע מהעבר – היסטוריה, פלטי כלים, סיכומים – ומסתמך יתר על המידה על חזרה על התנהגות קודמת במקום לחשוב מחדש. הפתרון הוא לתמצת מידע ישן ולשמור רק את העיקרים.

בלבול הקשר (Context Confusion) קורה כאשר כלים או מסמכים לא רלוונטיים צפים בהקשר ומסיחים את דעת המודל. אם יש יותר מדי כלים דומים, המודל עלול לבחור בכלי הלא נכון. הפתרון הוא לצמצם את סט הכלים הזמין לכל משימה ולכתוב תיאורים ברורים לכל כלי.

התנגשות הקשר (Context Clash) מתרחשת כאשר מידע סותר בתוך ההקשר מבלבל את הסוכן ומשאיר אותו תקוע בין הנחות מנוגדות. הפתרון הוא לזהות ולפתור סתירות לפני הכנסת מידע לחלון ההקשר.

טכניקות מעשיות להנדסת הקשר

לפי התיעוד של Anthropic, יש מספר טכניקות יעילות לניהול הקשר במשימות ארוכות טווח.

דחיסה (Compaction)

דחיסה היא הטכניקה של לקחת שיחה שמתקרבת למגבלת חלון ההקשר, לסכם את תוכנה, ולפתוח חלון הקשר חדש עם הסיכום. הטכניקה שומרת על החלטות ארכיטקטוניות, באגים פתוחים ופרטי מימוש, תוך מחיקת פלטי כלים מיותרים והודעות ישנות. האמנות היא בבחירת מה לשמור ומה למחוק – דחיסה אגרסיבית מדי עלולה לגרום לאובדן הקשר חשוב שהחשיבות שלו מתבררת רק מאוחר יותר.

רישום הערות מובנה (Structured Note-Taking)

בטכניקה זו הסוכן כותב באופן קבוע הערות שנשמרות בזיכרון חיצוני מחוץ לחלון ההקשר. ההערות נמשכות חזרה להקשר כשצריך אותן. זה כמו סוכן שמנהל קובץ NOTES.md ומעדכן אותו לאורך המשימה – כך הוא יכול לעקוב אחרי התקדמות במשימות מורכבות גם כאשר חלון ההקשר מתאפס.

ארכיטקטורות תת-סוכנים (Sub-Agent Architectures)

במקום סוכן אחד שמנסה לשמור על מצב לאורך פרויקט שלם, תת-סוכנים מתמחים יכולים לטפל במשימות ממוקדות עם חלונות הקשר נקיים. סוכן ראשי מתאם עם תכנית ברמה גבוהה, בעוד תת-סוכנים מבצעים עבודה טכנית עמוקה או משתמשים בכלים לחיפוש מידע רלוונטי. כל תת-סוכן עשוי להשתמש בעשרות אלפי טוקנים, אבל מחזיר רק סיכום מזוקק של 1,000-2,000 טוקנים.

כלים ופלטפורמות להנדסת הקשר

הנה סקירה של כלים מרכזיים שמסייעים בהנדסת הקשר.

LangChain היא ספריית קוד פתוח פופולרית לבניית יישומי LLM. היא מספקת מודולים לניהול שרשראות פרומפטים, אינטגרציה עם מסדי נתונים וקטוריים, וניהול זיכרון. LangChain מתאימה במיוחד לפיתוח מהיר של אב-טיפוס ולמשימות RAG סטנדרטיות.

LlamaIndex מתמחה באינדוקס וחיפוש של מסמכים. היא מציעה מגוון אסטרטגיות Chunking, תמיכה במסדי נתונים וקטוריים מרובים, ויכולות מתקדמות לניהול ידע מובנה.

Weaviate הוא מסד נתונים וקטורי קוד פתוח שמאפשר חיפוש סמנטי מהיר. הוא תומך בחיפוש היברידי (וקטורי + מילות מפתח), ומציע את Elysia – מסגרת קוד פתוח לבניית סוכני RAG עם ניהול הקשר מתקדם.

Mem0 מתמקד בניהול זיכרון לסוכני AI. הוא מספק שכבת זיכרון חכמה שמזהה מה חשוב לשמור, מנהלת אחזור יעיל, ותומכת בזיכרון לטווח קצר וארוך.

איך להתחיל: צעדים ראשונים למתחילים

אם אתם חדשים בתחום, הנה מסלול מומלץ להתחלה עם הנדסת הקשר.

בשלב הראשון, התחילו עם הבנת הפרומפטים. למדו לכתוב הוראות מערכת (System Prompts) ברורות, להשתמש בדוגמאות (Few-Shot), ולהוסיף הנחיות לשרשרת מחשבה (Chain-of-Thought). זו הבסיס שעליו נבנית הנדסת ההקשר.

בשלב השני, הכירו את RAG. בנו מערכת פשוטה שמאחזרת מסמכים ממאגר ומזריקה אותם לפרומפט. התנסו עם אסטרטגיות Chunking שונות וראו איך הן משפיעות על איכות התשובות.

בשלב השלישי, הוסיפו זיכרון. התחילו עם זיכרון פשוט של היסטוריית שיחה, ואז התקדמו לזיכרון לטווח ארוך באמצעות מסד נתונים וקטורי.

בשלב הרביעי, שלבו כלים. חברו את המערכת שלכם ל-API חיצוני אחד, למשל חיפוש באינטרנט או גישה ליומן. למדו איך לכתוב תיאורי כלים טובים שעוזרים למודל להבין מתי להשתמש בכל כלי.

בשלב החמישי, בנו סוכן פשוט. שלבו את כל המרכיבים הקודמים לסוכן שיכול לקבל משימה ולבצע אותה באופן אוטונומי, תוך שימוש בכלים ובזיכרון לפי הצורך.

מגמות עתידיות

תחום הנדסת הקשר מתפתח במהירות. מספר מגמות מרכזיות צפויות לעצב את העתיד הקרוב.

סטנדרטיזציה של אינטגרציות: פרוטוקול MCP של Anthropic הוא רק ההתחלה. צפויים להופיע תקנים נוספים שיפשטו את החיבור בין מודלים, כלים ומקורות מידע.

זיכרון חכם יותר: מערכות זיכרון עתידיות ידעו להחליט בעצמן מה חשוב לשמור, איך לארגן מידע, ומתי לשכוח. זה יפחית את הצורך בהנדסה ידנית של מנגנוני הזיכרון.

ניהול הקשר אוטומטי: מודלים עתידיים עשויים לכלול יכולות מובנות לניהול הקשר, כולל דחיסה אוטומטית, אחזור דינמי ותעדוף מידע.

מערכות מרובות סוכנים מתקדמות: ככל שסוכנים נעשים מסוגלים יותר, מערכות שמשלבות עשרות או מאות סוכנים מתמחים יהפכו נפוצות יותר, מה שידרוש ארכיטקטורות חדשות לניהול הקשר משותף.

סיכום

הנדסת הקשר מייצגת שינוי מהותי באופן שבו אנו בונים עם מודלי שפה גדולים. במקום להתמקד רק בניסוח הפרומפט המושלם, הדגש עובר לעיצוב מערכות שמספקות למודל את המידע הנכון בזמן הנכון. העיקרון המנחה נשאר קבוע: למצוא את קבוצת הטוקנים הקטנה ביותר שממקסמת את הסיכוי לתוצאה הרצויה.

עבור מי שמתחיל בתחום, חשוב להבין שהנדסת הקשר היא לא תחליף להנדסת פרומפטים אלא הרחבה שלה. התחילו עם הבסיס של כתיבת פרומפטים טובים, והוסיפו בהדרגה שכבות של אחזור, זיכרון וכלים. הטכניקות שתוארו במאמר זה ימשיכו להתפתח ככל שהמודלים משתפרים, אבל העיקרון של התייחסות להקשר כמשאב יקר ומוגבל יישאר רלוונטי.

הצעד הבא שלכם: בחרו פרויקט קטן – אולי צ'אטבוט שעונה על שאלות ממסמך ספציפי – ונסו ליישם את העקרונות שלמדתם. התנסות מעשית היא הדרך הטובה ביותר להפנים את הנושא ולהבין את האתגרים והפתרונות מקרוב.

שאלות ותשובות

About the Author

admin

Administrator

Visit Website View All Posts