Популярное

Музыка Кино и Анимация Автомобили Животные Спорт Путешествия Игры Юмор

Интересные видео

2025 Сериалы Трейлеры Новости Как сделать Видеоуроки Diy своими руками

Топ запросов

смотреть а4 schoolboy runaway турецкий сериал смотреть мультфильмы эдисон
dTub
Скачать

Using OpenAI Realtime API to build a Twilio Voice AI assistant with Node.js

Автор: TwilioDevs

Загружено: 2024-10-01

Просмотров: 62480

Описание:

NOTE: OpenAI Realtime API is now GA. We created an update video here:    • How to use OpenAI Realtime API with Twilio...  

We're so excited for our friends at OpenAI, who launched their Realtime API today. This tutorial is built using this exciting API. The API opens up Speech to Speech (S2S) capabilities for their GPT-4o multimodal model, which supports direct audio input and output – avoiding translating back and forth from text with a speech-to-text (SST) or text-to-speech (TTS) step.

Chapters:
00:00 Intro
00:42 Prerequisites
01:52 Code starts here
03:01 Configuring the application
03:53 Handling the incoming call
04:38 Setting up our OpenAI WebSocket
06:35 Handling Twilio Media Stream events
07:43 Starting the application
08:13 Tunneling with ngrok
08:41 Configuring our Twilio phone number
09:18 Testing the application

This video will help you build an AI assistant using Twilio Voice and OpenAI's Realtime API. Here's what you'll need to build it:
A Twilio account - you can get one at https://twilio.com/try-twilio?utm_sou...
A Twilio phone number - learn more about phone numbers here: https://www.twilio.com/docs/phone-num...
An OpenAI API Key with Realtime API access (https://platform.openai.com/docs/over...)

Blog post: https://www.twilio.com/en-us/blog/voi...

Github repo: https://github.com/twilio-samples/spe...

Resources:
Twilio Media Streams: https://www.twilio.com/docs/voice/med...
OpenAI GPT-4o: https://openai.com/index/hello-gpt-4o/
Ngrok: https://ngrok.com
CodeExchange example: https://www.twilio.com/code-exchange/...

#twilio #openai #voice #voiceai #voiceassistant #software #development

Using OpenAI Realtime API to build a Twilio Voice AI assistant with Node.js

Поделиться в:

Доступные форматы для скачивания:

Скачать видео mp4

  • Информация по загрузке:

Скачать аудио mp3

Похожие видео

array(20) { ["FtdEA0ravaM"]=> object(stdClass)#8229 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "FtdEA0ravaM" ["related_video_title"]=> string(78) "Build an AI Phone Agent in 20 Minutes | OpenAI Real-time API + Twilio + NestJS" ["posted_time"]=> string(23) "1 месяц назад" ["channelName"]=> NULL } ["PwKUw5ljc2o"]=> object(stdClass)#8242 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "PwKUw5ljc2o" ["related_video_title"]=> string(79) "Школьник Взломал Playstation, но его Спасли Anonymous" ["posted_time"]=> string(19) "2 дня назад" ["channelName"]=> NULL } ["PLXgQLFOAJDN2A3Wx6OhoAPbSJX1wjn1Ud"]=> object(stdClass)#8230 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(34) "PLXgQLFOAJDN2A3Wx6OhoAPbSJX1wjn1Ud" ["related_video_title"]=> string(12) "Learn Twilio" ["posted_time"]=> string(0) "" ["channelName"]=> NULL } ["G9QOpu5HO_Y"]=> object(stdClass)#8227 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "G9QOpu5HO_Y" ["related_video_title"]=> string(175) "Объявлена эвакуация Гуляйполя🚨 Началась зачистка ровно у Покровска💥 Военные сводки 15.11.2025 📅" ["posted_time"]=> string(24) "16 часов назад" ["channelName"]=> NULL } ["nNh4rJR-1DM"]=> object(stdClass)#8222 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "nNh4rJR-1DM" ["related_video_title"]=> string(123) "AI-стартап за 38 часов: вайб-кодинг спидран с Claude Code (идея → MVP → релиз)" ["posted_time"]=> string(23) "1 месяц назад" ["channelName"]=> NULL } ["OVguB1h-eTs"]=> object(stdClass)#8240 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "OVguB1h-eTs" ["related_video_title"]=> string(74) "Using OpenAI Realtime API to build a Twilio Voice AI assistant with Python" ["posted_time"]=> string(19) "1 год назад" ["channelName"]=> NULL } ["qKICIdzEtLg"]=> object(stdClass)#8219 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "qKICIdzEtLg" ["related_video_title"]=> string(134) "Obsidian + Ollama: бесплатные локальные нейросети для увеличения продуктивности" ["posted_time"]=> string(23) "1 месяц назад" ["channelName"]=> NULL } ["kPuZn8I8xrI"]=> object(stdClass)#8239 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "kPuZn8I8xrI" ["related_video_title"]=> string(86) "Сделал САЙТЫ с помощью ChatGPT за 60, 6000 и 60 000 секунд" ["posted_time"]=> string(25) "2 месяца назад" ["channelName"]=> NULL } ["Dr02MPRSSGU"]=> object(stdClass)#8224 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "Dr02MPRSSGU" ["related_video_title"]=> string(90) "Создай своего ИИ агента за 20 минут (сможет каждый)" ["posted_time"]=> string(27) "7 месяцев назад" ["channelName"]=> NULL } ["8rABwKRsec4"]=> object(stdClass)#8244 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "8rABwKRsec4" ["related_video_title"]=> string(47) "Новый код — Шон Гроув, OpenAI" ["posted_time"]=> string(25) "4 месяца назад" ["channelName"]=> NULL } ["0mUcnDMyHtM"]=> object(stdClass)#8218 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "0mUcnDMyHtM" ["related_video_title"]=> string(94) "Google Al Studio - Тот самый бесплатный ИИ от гугл умеет ВСЕ" ["posted_time"]=> string(25) "2 недели назад" ["channelName"]=> NULL } ["HTi6w_-Ve-A"]=> object(stdClass)#8228 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "HTi6w_-Ve-A" ["related_video_title"]=> string(83) "Вот почему Прибалтика войдёт в состав России!" ["posted_time"]=> string(24) "16 часов назад" ["channelName"]=> NULL } ["nvmV0a2geaQ"]=> object(stdClass)#8223 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "nvmV0a2geaQ" ["related_video_title"]=> string(61) "How to build a real-time AI assistant (with voice and vision)" ["posted_time"]=> string(19) "1 год назад" ["channelName"]=> NULL } ["ffDm4HVGuTM"]=> object(stdClass)#8220 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "ffDm4HVGuTM" ["related_video_title"]=> string(155) "Часть 2: Как создать голосовой агент ИИ с использованием OpenAI Realtime API: RAG + вызов функций" ["posted_time"]=> string(19) "1 год назад" ["channelName"]=> NULL } ["XMoRtc6LH3k"]=> object(stdClass)#8221 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "XMoRtc6LH3k" ["related_video_title"]=> string(64) "ChatGPT 5: Создаю Приложения за 1 ПРОМПТ" ["posted_time"]=> string(25) "2 месяца назад" ["channelName"]=> NULL } ["Oe_ARGsplvw"]=> object(stdClass)#8209 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "Oe_ARGsplvw" ["related_video_title"]=> string(86) "⚡️ Спецслужбы подняты по тревоге || Удар по F-16 ?" ["posted_time"]=> string(23) "6 часов назад" ["channelName"]=> NULL } ["9ezp4TD10rE"]=> object(stdClass)#8210 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "9ezp4TD10rE" ["related_video_title"]=> string(69) "Sending SMS and WhatsApp Messages: How to Set Up Your Twilio Account?" ["posted_time"]=> string(19) "1 год назад" ["channelName"]=> NULL } ["TcOytsfva0o"]=> object(stdClass)#8216 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "TcOytsfva0o" ["related_video_title"]=> string(60) "Client Side Tool Calling with the OpenAI WebRTC Realtime API" ["posted_time"]=> string(28) "10 месяцев назад" ["channelName"]=> NULL } ["b-DP0xPBwmI"]=> object(stdClass)#8217 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "b-DP0xPBwmI" ["related_video_title"]=> string(71) "How to Build an AI Agent Using OpenAI Realtime API (Step-by-step Guide)" ["posted_time"]=> string(19) "1 год назад" ["channelName"]=> NULL } ["XvbVePuP7NY"]=> object(stdClass)#8215 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "XvbVePuP7NY" ["related_video_title"]=> string(0) "" ["posted_time"]=> string(19) "1 год назад" ["channelName"]=> NULL } }
Build an AI Phone Agent in 20 Minutes | OpenAI Real-time API + Twilio + NestJS

Build an AI Phone Agent in 20 Minutes | OpenAI Real-time API + Twilio + NestJS

Школьник Взломал Playstation, но его Спасли Anonymous

Школьник Взломал Playstation, но его Спасли Anonymous

Learn Twilio

Learn Twilio

Объявлена эвакуация Гуляйполя🚨 Началась зачистка ровно у Покровска💥 Военные сводки 15.11.2025 📅

Объявлена эвакуация Гуляйполя🚨 Началась зачистка ровно у Покровска💥 Военные сводки 15.11.2025 📅

AI-стартап за 38 часов: вайб-кодинг спидран с Claude Code (идея → MVP → релиз)

AI-стартап за 38 часов: вайб-кодинг спидран с Claude Code (идея → MVP → релиз)

Using OpenAI Realtime API to build a Twilio Voice AI assistant with Python

Using OpenAI Realtime API to build a Twilio Voice AI assistant with Python

Obsidian + Ollama: бесплатные локальные нейросети для увеличения продуктивности

Obsidian + Ollama: бесплатные локальные нейросети для увеличения продуктивности

Сделал САЙТЫ с помощью ChatGPT за 60, 6000 и 60 000 секунд

Сделал САЙТЫ с помощью ChatGPT за 60, 6000 и 60 000 секунд

Создай своего ИИ агента за 20 минут (сможет каждый)

Создай своего ИИ агента за 20 минут (сможет каждый)

Новый код — Шон Гроув, OpenAI

Новый код — Шон Гроув, OpenAI

Google Al Studio - Тот самый бесплатный ИИ от гугл умеет ВСЕ

Google Al Studio - Тот самый бесплатный ИИ от гугл умеет ВСЕ

Вот почему Прибалтика войдёт в состав России!

Вот почему Прибалтика войдёт в состав России!

How to build a real-time AI assistant (with voice and vision)

How to build a real-time AI assistant (with voice and vision)

Часть 2: Как создать голосовой агент ИИ с использованием OpenAI Realtime API: RAG + вызов функций

Часть 2: Как создать голосовой агент ИИ с использованием OpenAI Realtime API: RAG + вызов функций

ChatGPT 5: Создаю Приложения за 1 ПРОМПТ

ChatGPT 5: Создаю Приложения за 1 ПРОМПТ

⚡️ Спецслужбы подняты по тревоге || Удар по F-16 ?

⚡️ Спецслужбы подняты по тревоге || Удар по F-16 ?

Sending SMS and WhatsApp Messages: How to Set Up Your Twilio Account?

Sending SMS and WhatsApp Messages: How to Set Up Your Twilio Account?

Client Side Tool Calling with the OpenAI WebRTC Realtime API

Client Side Tool Calling with the OpenAI WebRTC Realtime API

How to Build an AI Agent Using OpenAI Realtime API (Step-by-step Guide)

How to Build an AI Agent Using OpenAI Realtime API (Step-by-step Guide)

© 2025 dtub. Все права защищены.



  • Контакты
  • О нас
  • Политика конфиденциальности



Контакты для правообладателей: [email protected]