Еще один инженер данных bij AFM verken je regelmatig nieuw terrein: «Je bent developer en database administrator in en», aldus Karina Roos, werkzaam als data инженер bij de Autoriteit Financiële Markten, «uitdagend werk, dat ook voldoening.
De Autoriteit Financiële Markten, kortweg AFM, является verantwoordelijk voor het toezicht houden op de financiële producten alsaren, beleggen, verzekeren, lenen en pensioenen. Daarnaast waakt deze Autoriteit over kapitaalmarkten, Asset Management en Accountantsorganisaties, dit alles om het vertrouwen van consmenten, bedrijfsleven en overheid in de financial markten te waarborgen.
Omdat de marktena waarborgen. data voor de AFM onontbeerlijk voor onderzoek en inzicht in een markt. Познакомился с анализом данных и анализом ученых данных, отчетом и панелями мониторинга, созданными с помощью различных создателей информации о лучших источниках информации. Voordat zij aan de slag kunnen, moet die data eerst zo worden georganiseerd, dat die zich lenen voor verdere verwerking. Ruwe data kunnen bijvoorbeeld word gestructureerd в соответствующей базе данных: het is daar dat de data engineering om de hoek komt kijken.
Содержание статьи
Werken aan het dataplatform
«Data Engineer — это een wat technischer beroep dan data аналитик », Стелт Карина Роос,« Je houdt je bijvoorbeeld bezig met het inrichten en configureren van een database, het opzetten van een Databricks, включающий большие данные, ученые данных Pythonscripts op kunnen loslaten ». Специалисты по обработке данных из AFM работали с Microsoft SQL Server для связанных баз данных и с облачным сервисом Azure Cloud. Фабрика данных Microsoft Azure. Инструмент для оркестровки — это просто инженер по работе с данными, работа с конвейерами данных, работа над созданием программ, работа над структурой и управление данными, открытая платформа управляемых данных. «Платформа данных Dat Data Platform может использовать базы данных SQL от afbeeldingen», «zowel gestructureerd als ongestructureerd: bestanden, maar ook». «Управляемый» не используется: инженер по данным легт в основу данных.
Инженер по данным zorgt ervoor dat die data gebruiksklaar is, bijvoorbeeld door een JSON-bestand in een База данных om te zetten, een XML-best и in een tabel te transformeren. Veel van Wat Je als Data Engineer doet is «technisch pielen», maar wanneer je data eenmaal geïntegreerd hebt in een hanteerbare structuur wordt ook de inhoud belangrijk: dan komt het aan op de betekenis en bovenal de kwaliteit van de data
Datagedreven toezicht
Даарвур работал инженером по обработке данных Самен встретился с другими экспертами. Bij AFM — это команда, созданная в рамках программы «Datagedreven toezicht», разработанная специально для платформы управляемых данных и созданных с помощью инструментов для обработки данных DQ oftewel Datakwaliteit Te Waarborgen. Де хельфт ван хет команда лучше всего анализирует данные ученых. De andere helft — это команда платформы: специалисты по управлению данными, специалисты по архитектуре инфраструктуры, менеджеры по безопасности и рискам, инженеры по данным.
Samen werken zij aan het inzichtelijk en hanteerbaar создал слово для организации данных. Zo controleert de AFM de handel in Obligaties, waartoe ze all data van transacties aan Europese beurzen kan Doorpitten om inzicht te krijgen in het gedrag van mensen en bedrijven die Obligaties verhandelen. Инженеры по данным hebben die data ontsloten, gestructureerd en bruikbaar gemaakt voor de data science. Op hun beurt hebben die een alert engine gebouwd om automatisch alarm te slaan bij verdachte transacties. Bij zo’n project, aldus Roos, loop je wel eens tegen de grenzen aan van wat de standaardoplossingen vermogen. Дэн Кан Дже офуэл Самен встретил де леверансье в gesprek om die oplossingen uit te breiden, of je bouwt zelf een custom oplossing, al naar gelang wat past.
Twee profielen in en
Kenmerkend aan de Инженер по работе с данными выполняет свои собственные функции, а также выполняет свои функции: разработчик и разработчик, а также разработчик и разработчик данных, а также расширяют возможности базы данных для создания инфраструктуры. Dat betekent dat je «echt de spirit van de developer in je moet hebben», aldus Roos, «je moet niet snel opgeven als iets niet werkt, maar in staat zijn om anderen om hulp te vragen en bereid zijn zelf diep in de materie te. duiken om een oplossing te vinden ». Тегелийкертийд является его пассивным источником данных, желающим получить более подробный результат, и он является одним из разработчиков для разработки в этом месте.
Voor het verhogen van die datakwaliteit is secure werken een absolute must. Die nauwgezetheid zit ook in het DNA van de AFM. De data waar het om gaat — это погружение в важную информацию, а также диспетчеры данных, которые находятся в открытом доступе в данных, которые не требуют zomaar bij de volledige dataset kan. Dat maakt het werken soms niet eenvoudiger, maar is gezien de gevoeligheid begrijpelijk en noodzakelijk.
Dynamische werkomgeving
De werkomgeving bij het eenvoudiger, maar is gezien de gevoeligheidrogrijpelijk en noodzakelijk.
Dynamische werkomgeving
De werkomgeving bij het Цифровая команда работает над Werken Volgens de Scrum-Principes Centraal Staat. Het kan een uitdaging zijn om de balans te vinden tussen de hiervoor noodzakelijke stand-ups, de projecten en het gefocust werken aan het leveren van tastbare resultaten, een uitdaging die overigens in veel omgevingen speelt. Tegelijkertijd «geeft het ook veel voldoening om встретил весь способ работы коллеги te komen en om kennis over te dragen, waarbij het leuk is om soms met simpele middelen een complexe vraag te kunnen beantwoorden», aldus Roos
Wie zich hierin herkent, kan als data engineering bij AFM veel voldoening vinden. «Het voelt goed om aan het einde van de dag iets gemaakt te hebben, of iets verbeterd door iets te finetunen», Альдус Роос. Bovendien, niet onbelangrijk, werk je bij AFM bij een bedrijf dat iets belangrijks doet, dat ervoor zorgt dat consmenten zich veilig kunnen bewegen op financiële markten, dat witwaspraktijken aanpakt. Roos merkt dat ook in haar vriendenkring, mensen grijpen waar je mee bezig bent en gaan zich er ook weer meer voor interesseren.
Net zo belangrijk является инженером данных по данным, и работает инженером по данным, тервейл де верльд ван де инженер по данным продолжение в онтвиккелинге. Er zijn veel raakvlakken встретился с другими дисциплинами, waardoor er ruimte is om erin te blijven groeien, en het werk leuk blijft om te doen.
В онлайн-видео доступны данные, специально разработанные для hun werk bije de Autoriteit 1945.
Авторские права © 2020 IDG Communications, Inc.
