Извлечение данных из API для специалистов по обработке данных: основы и сложности, с которыми вам...

Если вам приходилось создавать конвейеры данных для аналитики, то вы, вероятно, хорошо знакомы с фазой извлечения ELT или ETL.

Как следует из названия, фаза извлечения — это процесс подключения к источнику данных и «извлечения» из него данных. Наиболее распространённые источники данных, с которыми вы будете взаимодействовать, — это базы данных, API и файловые серверы (через FTP или SFTP).

В последнее время, когда я стремился вернуться к основам, я вдруг понял, что никогда не писал об API и о том, как мы взаимодействуем с ними как специалисты по обработке данных.

Существует множество API, которые доставляли мне немало хлопот в карьере, но есть и такие, с которыми было легко работать.

Но всё сводится к тому, как настроен API и какие решения были приняты при его разработке.

Если вы ищете готовое решение для извлечения данных через API, Вы можете ознакомиться с двумя из них ниже:

Portable For APIs — https://portable.io/

Estuary For Real Time Data Extraction — https://bit.ly/4eQC3oQ

Примечание: я финансово заинтересован в обоих проектах.

Кроме того, если вы хотите глубже погрузиться в стратегию и инфраструктуру данных и поддержать меня, вы можете стать платным участником моего Substack. У меня более 100 статей, охватывающих все: от основ инженерии данных до руководства командами по работе с данными. Зарегистрируйтесь по ссылке ниже и получите скидку 30%. — https://seattledataguy.substack.com/1...

Если вы хотите быть в курсе моих новостей в области данных, подпишитесь на нашу рассылку здесь.

https://seattledataguy.substack.com/​​

Или загляните в мой блог
https://www.theseattledataguy.com/

Если вы хотите поддержать канал, вы можете стать платным подписчиком моей рассылки
https://seattledataguy.substack.com/s...

Теги: Проекты по инжинирингу данных, Идеи для проектов по инжинирингу данных, Источники данных для проектов, Источники данных для проектов по аналитике данных, Портфолио проектов по данным

_____________________________________________________________
Подпишитесь:    / @seattledataguy  
_____________________________________________________________
Обо мне:
Всю свою карьеру я посвятил всем формам данных. Я занимался разработкой алгоритмов для выявления мошенничества, снижения повторных госпитализаций пациентов и перепроектирования страховых полисов для снижения общих расходов на здравоохранение. Я также помог разработать аналитику для маркетинга и ИТ-операций, чтобы оптимизировать использование ограниченных ресурсов, таких как персонал и бюджет. Я предоставляю частные консультации по вопросам науки о данных и инженерии как самостоятельно, так и в составе компании Acheron Analytics. У меня есть опыт как практического решения технических проблем, так и помощи руководителям в разработке стратегий для максимизации эффективности данных.

*Я участвую в партнёрских программах. Если ссылка отмечена звездочкой (*), я могу получить небольшую часть дохода без каких-либо дополнительных затрат для вас.