Apache Nifi | Поток данных в авиации | Обработка данных с помощью процессора JoltTransform | Часть 2

Подпишитесь на уведомления о новых загрузках!

Ресурсы:
Nifi - https://nifi.apache.org/download.html

Aviationstack - https://aviationstack.com/

Apache NiFi поддерживает мощные и масштабируемые направленные графы маршрутизации, преобразования данных и логики системного посредничества. Некоторые из основных возможностей и целей Apache NiFi включают:

Веб-интерфейс
Удобное взаимодействие между проектированием, управлением, обратной связью и мониторингом
Широкие возможности настройки
Устойчивость к потерям и гарантированная доставка
Низкая задержка и высокая пропускная способность
Динамическая приоритизация
Поток данных можно изменять во время выполнения
Обратное давление
Происхождение данных
Отслеживание потока данных от начала до конца
Разработано для расширения
Создавайте собственные процессоры и многое другое
Обеспечивает быструю разработку и эффективное тестирование
Безопасный
SSL, SSH, HTTPS, шифрование контента и т. д.
Многопользовательская авторизация и внутренняя авторизация/управление политиками

Что такое Apache NiFi?

Проще говоря, NiFi был создан для автоматизации потока данных между системами. Хотя термин «поток данных» используется в различных контекстах, здесь мы используем его для обозначения автоматизированного и управляемого потока информации между системами. Эта проблема существует с тех пор, как на предприятиях появилось несколько систем, некоторые из которых создавали данные, а некоторые потребляли их.

Процессоры

AttributeRollingWindow
AttributesToCSV
AttributesToJSON
CaptureChangeMySQL
CompareFuzzyHash
CompressContent
ConnectWebSocket
ConsumeAMQP
ConsumeAzureEventHub
ConsumeEWS
ConsumeGCPubSub
ConsumeIMAP
ConsumeJMS
ConsumeKafka
ConsumeKafka_0_10
ConsumeKafka_0_11
ConsumeKafka_1_0
ConsumeKafka_2_0
ConsumeKafkaRecord_0_10
ConsumeKafkaRecord_0_11
ConsumeKafkaRecord_1_0
ConsumeKafkaRecord_2_0
ConsumeMQTT
ConsumePOP3
ConsumeWindowsEventLog
ControlRate
Преобразовать Avro в JSON
Преобразовать Avro в ORC
Преобразовать Avro в Parquet
Преобразовать набор символов
Преобразовать Excel в CSVProcessor
Преобразовать JSON в SQL
Преобразовать запись
Количество текстов
Удалить DynamoDB
Удалить GridFS
Удалить HBaseCells
Удалить HBaseRow
Удалить HDFS
Удалить Mongo
Удалить RethinkDB
Удалить S3Object
Удалить SQS
Обнаружить дубликат
Распределить загрузку
DuplicateFlowFile
Шифровать содержимое
Принудительный порядок
Вычислить путь Json
Вычислить путь XP
Вычислить запрос X
Выполнить GroovyScript
Выполнить InfluxDBQuery
Выполнить процесс
Выполнить скрипт
Выполнить SparkInteractive
Выполнить SQL
Выполнить SQLRecord
ExecuteStreamCommand
ExtractAvroMetadata
ExtractCCDAAttributes
ExtractEmailAttachments
ExtractEmailAttachments
ExtractEmailHeaders
ExtractGrok
ExtractHL7Attributes
ExtractText
ExtractTNEFAttachments
FetchAzureBlobStorage
FetchDistributedMapCache
FetchElasticsearch
FetchElasticsearch5
FetchElasticsearchHttp
FetchFile
FetchFTP
FetchGCSObject
FetchGridFS
FetchHBaseRow
FetchHDFS
FetchParquet
FetchS3Object
FetchSFTP
FlattenJson
ForkRecord
FuzzyHashContent
GenerateFlowFile
GenerateTableFetch
GeoEnrichIP
GeoEnrichIPRecord
GetAzureEventHub
GetAzureQueueStorage
GetCouchbaseKey
GetDynamoDB
GetFile
GetFTP
GetHBase
GetHDFS
GetHDFSEvents
GetHDFSFileInfo
GetHDFSSequenceFile
GetHTMLElement
GetHTTP
GetIgniteCache
GetJMSQueue
GetJMSTopic
GetMongo
GetMongoRecord
GetRethinkDB
GetSFTP
GetSNMP
GetSolr
GetSplunk
GetSQS
GetTCP
GetTwitter
HandleHttpRequest
HandleHttpResponse
HashAttribute
HashContent
IdentifyMimeType
InvokeAWSGatewayApi
InvokeGRPC
InvokeHTTP
InvokeScriptedProcessor
ISPEnrichIP
JoltTransformJSON
JoltTransformRecord
JsonQueryElasticsearch
ListAzureBlobStorage
ListDatabaseTables
ListBeats
ListGRPC
ListHTTP
ListLumberjack
ListRELP
ListSMTP
ListSyslog
ListTCP
ListTCPRecord
ListUDP
ListUDPRecord
ListWebSocket
ListFile
ListFTP
ListGCSBucket
ListHDFS
ListS3
ListSFTP
LogAttribute
LogMessage
ListupAttribute
ListupRecord
MergeContent
MergeRecord
ModifyBytes
ModifyHTMLElement
MonitorActivity
MoveHDFS
Notify
ParseCEF
ParseEvtx
ParseNetflowv5
ParseSyslog
ParseSyslog5424
PartitionRecord
PostHTTP
PostSlack
PublishAMQP
PublishGCPubSub
PublishJMS
PublishKafka
PublishKafka_0_10
PublishKafka_0_11
PublishKafka_1_0
PublishKafka_2_0
PublishKafkaRecord_0_10
PublishKafkaRecord_0_11
PublishKafkaRecord_1_0
PublishKafkaRecord_2_0