It starts with a prompt
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua.
The prompt is cut into tokens
Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat.
Tokens become numbers
Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur.
Every token looks at the others
Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.
Layers refine the guess
Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium totam rem aperiam.
The model scores the next word
Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores.
One word at a time
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua.
Scroll, and watch it write
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris.
Everything the model knows about your task is in the prompt
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor.
One prompt, 4 parts
Instructions
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor.
400Documents
Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit.
6,200Earlier turns
Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit.
2,900Question
Quis autem vel eum iure reprehenderit?
60Instructions come first
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua.
Documents take the most room
Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat.
The model has no memory of its own
Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur.
The question is the smallest part
Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.
Every piece is counted
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor.
Tokens so far
0
Going inComing outof a 16,000 token window
- InstructionsLorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor.
- DocumentsUt enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip.
- Earlier turnsDuis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore.
- QuestionExcepteur sint occaecat cupidatat non proident, sunt in culpa qui officia.
- AnswerSed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium.
One request, start to finish
1 of
1
You send a prompt
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt.
2
It is cut into tokens
Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip.
3
The model reads all of it
Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore.
4
It scores the next word
Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt.
5
It picks one
Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium.
6
The answer streams back
Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit.
3 things to remember
A model reads tokens, not words
Lorem ipsum dolor sit amet, consectetur adipiscing elit.
Sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris.
It only knows what is in the prompt
Duis aute irure dolor in reprehenderit in voluptate velit.
Esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia.
It writes one word at a time
Sed ut perspiciatis unde omnis iste natus error sit.
Voluptatem accusantium doloremque laudantium, totam rem aperiam, eaque ipsa quae ab illo inventore veritatis.
Go deeper
That was the short version. Pick the part you want explained properly.
Text is all a model gets
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua.
Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat.
The text is cut into pieces
Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur.
Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.
Pieces are what gets counted
Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium totam rem aperiam.
Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores.
Every token starts equal
Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.
Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium.
Each one weighs the others
Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores.
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore.
The strongest links win
Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat.
Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur.
A careful reading
Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat.
Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit.
A looser reading
Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium totam rem aperiam.
Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore.
Every answer is a draw
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua.
Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim.
The words, in plain terms
Going in
3 words- Prompt
- Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua.
- Token
- Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat.
- Context window
- Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur.
Inside the model
3 words- Weights
- Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.
- Layer
- Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium totam rem aperiam.
- Attention
- Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores.
Coming out
2 words- Sampling
- Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua.
- Temperature
- Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat.
Get the PDF
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor.