מהו ה"טרנספורמר" ומאיפה הוא הגיע?

תשובה

הטרנספורמר הוא ארכיטקטורה של רשת עצבית שהוצגה ב-2017 במאמר "Attention Is All You Need". את המאמר כתבו שמונה חוקרים שעבדו אז בגוגל או התמחו בה. הארכיטקטורה מבוססת כולה על מנגנון "קשב" (attention) ומעבדת את כל הטקסט במקביל, ולא מילה אחר מילה. רוב מודלי השפה הגדולים כיום, ובהם GPT ו-Claude, מבוססים עליה. * מקור: [Attention Is All You Need – Wikipedia](https://en.wikipedia.org/wiki/Attention_Is_All_You_Need)