הצגת המקור של הדף "Word2vec"

'''Word2vec''' היא שיטה ל[[שיכון מילים]]{{ביאור|יצירת ייצוג מבוסס וקטורים למילים}} (Word embeddings) המבוססת על זוג מודלים מבוססי [[רשת עצבית מלאכותית|רשתות נוירונים]] המאומנות לשחזר הקשרים לשוניים של [[מילה (בלשנות)|מילים]]. Word2vec לוקח כקלט קורפוס גדול של טקסט ומייצר [[מרחב וקטורי]], בדרך כלל של כמה מאות [[ממד (מתמטיקה)|ממדים]], כאשר לכל מילה ייחודית בקורפוס מוקצה וקטור במרחב. [[וקטור מילים|וקטורי המילים]] ממוקמים במרחב הווקטורי כך שמילים החולקות הקשרים משותפים בקורפוס ממוקמות קרוב זו לזו במרחב.

Word2vec נוצר ופורסם בשנת 2013 על ידי צוות חוקרים שהובל על ידי תומאש מיקולוב מ[[גוגל (חברה)|גוגל]] ונכתב עליו [[פטנט]]. לאחר מכן נותח והוסבר האלגוריתם גם על ידי חוקרים אחרים.{{הערה|שם=extensions|{{Cite AV media|url=https://www.youtube.com/watch?v=wTp3P2UnTfQ|title=Word2vec and friends|last=Řehůřek|first=Radim|access-date=2015-08-14|medium=Youtube video}}}} לשיכוני מילים (embedding vectors) שנוצרו באמצעות אלגוריתם Word2vec יש יתרונות רבים בהשוואה לאלגוריתמים קודמים כמו [[ניתוח סמנטי סמוי]] (latent semantic analysis {{אנ|latent semantic analysis}}).

== CBOW ו-skip-grams ==
Word2vec יכולה להשתמש באחת מבין שתי ארכיטקטורות של מודלים כדי לייצר [[רשת עצבית מלאכותית|ייצוג מבוזר]] של מילים: [[bag of words]] רציף (continuous bag-of-words {{אנ|continuous bag-of-words}}, CBOW) או [[skip gram]] רציף {{אנ|skip gram}}. בארכיטקטורת CBOW, המודל חוזה את המילה הנוכחית מתוך "חלון" של מילות-הקשר הנמצאות מסביבה. סדר המילים בהקשר אינו משפיע על החיזוי (הנחת bag-of-words). בארכיטקטורת skip-gram הרציפה, המודל משתמש במילה הנוכחית כדי לחזות את החלון שמסביבה של מילות הקשר. ארכיטקטורת skip-gram ממשקלת בחיזוי מילות הקשר קרובות כיותר משמעותיות מאשר מילות הקשר רחוקות יותר. על פי הערת המחברים,{{הערה|שם=הערה מספר 26265483:1|{{Cite web|url=https://code.google.com/archive/p/word2vec/|title=Google Code Archive - Long-term storage for Google Code Project Hosting.|website=code.google.com|accessdate=2016-06-13}}}} CBOW מהיר יותר בעוד ש-skip-gram עושה עבודה טובה יותר למילים נדירות.

== פרמטריזציה ==
תוצאות של אימון word2vec יכולות להיות רגישות לפי [[פרמטר|קביעת הפרמטרים]]. להלן כמה פרמטרים חשובים באימוני word2vec.

=== אלגוריתם האימון ===
ניתן לאמן מודל Word2vec בעזרת [[פונקציה סופטמקס|softmax]] {{אנ|Softmax function}} היררכי או דגימה שלילית. כדי להתקרב לסבירות הלוגריתמית המותנית (conditional log-likelihood) שהמודל מבקש למקסם, שיטת הסופטמקס ההיררכית משתמשת ב[[קוד האפמן]] כדי לצמצם את החישוב. לעומת זאת, שיטת הדגימה השלילית מתקרבת לבעיית המקסום על ידי צמצום [[פונקציית נראות|פונקציית הנראות]] של מקרים שליליים שנדגמו. לטענת המחברים, softmax היררכי עובד טוב יותר למילים נדירות בעוד שדגימה שלילית עובדת טוב יותר למילים תכופות ויותר טובה עם וקטורים בממדים נמוכים.{{הערה|שם=הערה מספר 26265483:1|{{Cite web|url=https://code.google.com/archive/p/word2vec/|title=Google Code Archive - Long-term storage for Google Code Project Hosting.|website=code.google.com|accessdate=2016-06-13}}}} ככל שמתארך משך האימון, הסופטמקס ההיררכי מפסיק להיות שימושי.{{הערה|{{Cite web|url=https://groups.google.com/forum/#!msg/word2vec-toolkit/WUWad9fL0jU/LdbWy1jQjUIJ|title=Parameter (hs & negative)|last=|first=|date=|website=Google Groups|accessdate=2016-06-13}}}}

=== דגימת משנה ===
מילים בתדירות גבוהה מספקות לעיתים קרובות אינפורמציה מועטה בלבד. ייתכן שמילים עם תדירות גבוהה מסף מסוים, יידגמו באופן חלקי בלבד כדי לקצר את משך האימון.{{הערה|{{Cite web|url=http://jmlr.csail.mit.edu/papers/volume9/vandermaaten08a/vandermaaten08a.pdf|title=Visualizing Data using t-SNE|last=|first=|date=|website=Journal of Machine Learning Research, 2008. Vol. 9, pg. 2595|accessdate=2017-03-18}}}}

=== ממדיות ===
איכות שיכוני המילים עולה עם ממדיות גבוהה יותר. אך לאחר שתגיע לנקודה מסוימת, הרווח השולי יקטן. בדרך כלל, ממדי הווקטורים מוגדרים כ־100 ל -1,000.

=== חלון ההקשר ===
גודל חלון ההקשר קובע כמה מילים לפני ואחרי מילה נתונה ייכללו כמילות הקשר של המילה הנתונה. על פי הערת המחברים, הערך המומלץ הוא 10 עבור skip-gram ו-5 עבור CBOW.{{הערה|שם=הערה מספר 26265483:1|{{Cite web|url=https://code.google.com/archive/p/word2vec/|title=Google Code Archive - Long-term storage for Google Code Project Hosting.|website=code.google.com|accessdate=2016-06-13}}}}

== הרחבות ==
הוצעה הרחבה של word2vec לבניית שיכוני ממסמכים שלמים (ולא ממילים בודדות). הרחבה זו נקראת paragraph2vec או doc2vec ויושמה בכלי C, Python{{הערה|שם=doc2vec_python|{{Cite web|title=Doc2Vec tutorial using Gensim|url=https://medium.com/@klintcho/doc2vec-tutorial-using-gensim-ab3ac03d3a1|accessdate=2015-08-02|display-authors=etal}}}}{{הערה|שם=doc2vec_imdb|{{Cite web|title=Doc2vec for IMDB sentiment analysis|url=https://github.com/piskvorky/gensim/blob/develop/docs/notebooks/doc2vec-IMDB.ipynb|accessdate=2016-02-18|display-authors=etal}}}} ו- Java / Scala{{הערה|שם=doc2vec_java|{{Cite web|title=Doc2Vec and Paragraph Vectors for Classification|url=http://deeplearning4j.org/doc2vec.html|accessdate=2016-01-13|display-authors=etal|archiveurl=https://web.archive.org/web/20151231073758/http://deeplearning4j.org/doc2vec.html|archivedate=2015-12-31|url-status=dead}}}} (ראה להלן), כאשר גרסאות ה- Java וה- Python תומכות גם בהקשר לשיכון של מסמך על מסמכים חדשים שטרם נראו.

== וקטורי מילים לביואינפורמטיקה: BioVectors ==
אסגארי ומופרד הציעו להרחיב את וקטורי המילים עבור n-gram גם עבור רצפים [[ביולוגיה|ביולוגיים]] (למשל [[DNA]], [[RNA]] [[חלבון|וחלבונים]] ) ליישומי [[ביואינפורמטיקה]] .{{הערה|שם=הערה מספר 26265483:0|{{Cite journal|title=Continuous Distributed Representation of Biological Sequences for Deep Proteomics and Genomics|last=Asgari|first=Ehsaneddin|last2=Mofrad|first2=Mohammad R.K.|date=2015|journal=PLOS ONE|issue=11|doi=10.1371/journal.pone.0141287|volume=10|page=e0141287|arxiv=1503.05140|bibcode=2015PLoSO..1041287A|pmc=4640716|pmid=26555596}}}} הם כינו את הווקטורים הללו ביו-וקטורים (BioVec) כאשר הם מתייחסים לרצפים ביולוגיים באופן כללי. וקטורים של חלבונים כונו ProtVec (רצפי חומצות אמינו) ווקטורי גנים כונו GeneVec, ניתן להשתמש בייצוג זה באופן נרחב ביישומים של למידת מכונה בפרוטאומיקה וגנומיקה. מהתוצאות עולה כי ביו-וקטורים יכולים לאפיין רצפים ביולוגיים מבחינת פרשנויות ביוכימיות וביו-פיזיות של התבניות הבסיסיות. גרסה דומה, dna2vec, הראתה כי יש קשר בין ציון הדמיון של Needleman -Wunsch לבין הדמיון הקוסיני {{אנג|cosine similarity}} של וקטורי המילים dna2vec.

== מימושים ==
* [https://github.com/tmikolov/word2vec C]
*  [https://github.com/eabdullin/Word2Vec.Net #C]
* [https://github.com/tensorflow/tensorflow/blob/r1.1/tensorflow/examples/tutorials/word2vec/word2vec_basic.py פייתון (TensorFlow)]
* [http://radimrehurek.com/gensim/models/word2vec.html פייתון (Gensim)]
* [https://github.com/deeplearning4j/deeplearning4j Java / Scala]

==קישורים חיצוניים==
{{ויקישיתוף בשורה}}

==הערות שוליים==
{{הערות שוליים}}

==ביאורים==
{{ביאורים}}

{{בינה מלאכותית}}

[[קטגוריה:למידת מכונה]]
[[קטגוריה:בלשנות חישובית]]