ChatGT tokens explained in layman's language. Know why tokens are important and how they work. Save cost on your chatGPT APIs by understanding tokens
ChatGPT models processed text In chunks called Tokens. Tokens Represent Commonly Occurring Sequences Of Characters. For Example, The String " Tokenization" Is Decomposed As " Token" And "Ization", While A Short And Common Word Like " The" Is Represented As A Single Token. Note That In A Sentence, The First Token Of Each Word Typically Starts With A Space Character. The Models Understand The Statistical Relationships Between These Tokens, And Excel At Producing The Next Token In A Sequence Of Tokens.
00:00 Introduction
00:11 How chatGPT breaks words into tokens
00:24 Example 1: Are unicorns real
00:39 Example 2: Summarize WW2 paragraph
00:58 ChatGPT understands non dictionary words
01:10 Why do we care
01:23 How chatGPT predicts the next token
02:05 ChatGPT and token probabilities
04:20 Open AI Pricing based on tokens
Поделиться в:
Доступные форматы для скачивания:
Скачать видео mp4
Информация по загрузке:
Скачать аудио mp3
Похожие видео
array(10) {
[0]=>
object(stdClass)#5392 (5) {
["video_id"]=>
int(9999999)
["related_video_id"]=>
string(11) "txjFufaU8Sg"
["related_video_title"]=>
string(166) "ChatGPT: что вы получите за 20$ в платной версии? Сравнение ПЛАТНОГО и БЕСПЛАТНОГО тарифов в ChatGPT"
["posted_time"]=>
string(25) "3 месяца назад"
["channelName"]=>
string(9) "CosmoMind"
}
[1]=>
object(stdClass)#5365 (5) {
["video_id"]=>
int(9999999)
["related_video_id"]=>
string(11) "q6jrIPT1_P8"
["related_video_title"]=>
string(98) "Новая нейросеть пугает даже своих создателей | Claude opus"
["posted_time"]=>
string(25) "3 недели назад"
["channelName"]=>
string(8) "Web3nity"
}
[2]=>
object(stdClass)#5390 (5) {
["video_id"]=>
int(9999999)
["related_video_id"]=>
string(11) "3w763aFC27s"
["related_video_title"]=>
string(132) "⚡️ Кремль сорвал попытку ареста Путина || Срочная переброска войск НАТО"
["posted_time"]=>
string(21) "4 часа назад"
["channelName"]=>
string(23) "Время Прядко"
}
[3]=>
object(stdClass)#5397 (5) {
["video_id"]=>
int(9999999)
["related_video_id"]=>
string(11) "Ie8YTuH8nsE"
["related_video_title"]=>
string(114) "25 неожиданных способов использовать ChatGPT в повседневной жизни"
["posted_time"]=>
string(25) "4 месяца назад"
["channelName"]=>
string(8) "Web3nity"
}
[4]=>
object(stdClass)#5376 (5) {
["video_id"]=>
int(9999999)
["related_video_id"]=>
string(11) "XGpMVsEqsqM"
["related_video_title"]=>
string(157) "AI-агент для здоровья на n8n + GPT-4.1 | Личная клиника в смартфоне. Обзор первого агента SPRUTа."
["posted_time"]=>
string(21) "1 день назад"
["channelName"]=>
string(27) "ALEKSEI ULIANOV | SPRUT- Ai"
}
[5]=>
object(stdClass)#5394 (5) {
["video_id"]=>
int(9999999)
["related_video_id"]=>
string(11) "IcLWETIf3J4"
["related_video_title"]=>
string(116) "Жириновский о евреях! Что будет, когда Израиль проиграет? 2004 год"
["posted_time"]=>
string(19) "1 год назад"
["channelName"]=>
string(13) "ЛДПР-ТВ"
}
[6]=>
object(stdClass)#5389 (5) {
["video_id"]=>
int(9999999)
["related_video_id"]=>
string(11) "iHwebpk2Su4"
["related_video_title"]=>
string(65) "How to create a chatbot in python [for beginners] (2023 tutorial)"
["posted_time"]=>
string(19) "1 год назад"
["channelName"]=>
string(25) "Generative AI - Tutorials"
}
[7]=>
object(stdClass)#5399 (5) {
["video_id"]=>
int(9999999)
["related_video_id"]=>
string(11) "cMR2c3vQRAc"
["related_video_title"]=>
string(143) "Мои ОТКРЫТИЯ! Потратил $600 на 4000 НОВЕЙШИХ исследований GPT по промпт-инжинирингу"
["posted_time"]=>
string(25) "2 месяца назад"
["channelName"]=>
string(15) "ai Nova Sapiens"
}
[8]=>
object(stdClass)#5375 (5) {
["video_id"]=>
int(9999999)
["related_video_id"]=>
string(11) "ArTWNT7OgMI"
["related_video_title"]=>
string(184) "Аятолла с А-бомбой или перезагрузка Ирана: мир на грани, а Трамп ищет “пропавший” уран /№968/ Швец"
["posted_time"]=>
string(24) "10 часов назад"
["channelName"]=>
string(54) "Юрий Швец -- официальный канал"
}
[9]=>
object(stdClass)#5393 (5) {
["video_id"]=>
int(9999999)
["related_video_id"]=>
string(11) "zLSN2XOWpDQ"
["related_video_title"]=>
string(84) "Новый ChatGPT: все секреты с нуля до ПРО за 10 минут"
["posted_time"]=>
string(19) "2 дня назад"
["channelName"]=>
string(86) "Лебедев про Нейросети: уроки, секреты, лайфхаки"
}
}