Docsity
Docsity

Prepare for your exams
Prepare for your exams

Study with the several resources on Docsity


Earn points to download
Earn points to download

Earn points by helping other students or get them with a premium plan


Guidelines and tips
Guidelines and tips

Transferencia Masiva de Datos desde Hardware a Repositorios, Schemes and Mind Maps of Computer Science

Este documento técnico describe un protocolo de transferencia de datos diseñado para la transmisión masiva e intensiva de datos desde dispositivos hardware como fpgas y sbcs hacia repositorios de datos. El protocolo se basa en el modelo cliente-servidor y utiliza el protocolo sword para la transferencia de datos y metadatos. El documento detalla la implementación del protocolo en diferentes plataformas hardware, incluyendo la tarjeta atlys con fpga spartan 6 y la sbc raspberry pi, y describe las pruebas realizadas para validar su funcionamiento.

Typology: Schemes and Mind Maps

2022/2023

Uploaded on 12/11/2024

luis-alejandro-torres-nino
luis-alejandro-torres-nino 🇺🇸

1 document

1 / 18

Toggle sidebar

This page cannot be seen from the preview

Don't miss anything!

bg1
Protocolo de transferencia
masiva de datos desde
dispositivos hardware hacia
repositorios de datos
pf3
pf4
pf5
pf8
pf9
pfa
pfd
pfe
pff
pf12

Partial preview of the text

Download Transferencia Masiva de Datos desde Hardware a Repositorios and more Schemes and Mind Maps Computer Science in PDF only on Docsity!

Protocolo de transferencia

masiva de datos desde

dispositivos hardware hacia

repositorios de datos

Objetivo General

Proponer un protocolo de transferencia que permita el transporte masivo e intensivo y además de la auto-catalogación de los datos desde detectores que posean dispositivos hardware como FPGAs y/o SBCs hacia repositorios.

Hardware utilizado

  • (^) Se utiliza la tarjeta Atlys de Xilinx debido a que es la única FPGA de la serie Spartan 6 que puede soportar softprocessors (Frecuencia de reloj de 100MHz) y con tarjeta Ethernet de 1 Gbit/s.
  • (^) Se utiliza la SBC Raspberry pi debido a su frecuencia de reloj (Frecuencia de reloj 700 MHz). En comparación con la de la tarjeta Atlys es bastante alta, pero esta frecuencia en su bus de datos es utilizado para todo el SoC (System on a chip). Posee una tarjeta Ethernet de 100 Mbits/s.
  • (^) Computador de escritorio con 4GB en RAM de 1600 MHz, procesador AMD 4 núcleos de 2.4 MHz y tarjeta Ethernet de 1Gbit/s.

Atlys

  • (^) Esta tarjeta cuenta con:
    • (^) FPGA Spartan 6
    • (^) 128Mbytes DDR
    • (^) Tarjeta Ethernet 10/100/
    • (^) 100 MHz CMOS oscilador
    • (^) Puertos HDMI de entrada y salida. Tiene la capacidad de soportar GNU/Linux embebido – PetaLinux para el procesador Microblaze de Xilinx. Igualmente soporta el μCLinux para el procesador OpenRisc de OpenCores.

Esquema General del Protocolo -

FPGA

Esquema General del Protocolo -

SBC

Arquitectura de los

procesadores LEON3,

MicroBLAZE y OpenRISC

OpenRISC MicroBLAZE

Montaje del Protocolo en la

ATLYS - OpenRISC

  • (^) OpenCores proporciona las herramientas de configuración, simulación y síntesis del procesador OpenRISC para la tarjeta ATLYS.
  • (^) Una vez configurado el procesador y de añadido el modulo para Ethernet, se sintetiza junto con Linux embebido a la FPGA.
  • El compilado del protocolo UDT se realiza en la herramienta OR1ksim. UDT viene predefinido para soportar arquitecturas IA32, IA64, POWERPC y AMD64. Con varios cambios en el make del protocolo puede correrse la instalación sin inconvenientes.
  • EL protocolo UDT viene con un control de transmisión altamente configurable, con lo cual puede optimizarse los tiempos de transferencia de archivos dependiendo de la red y de los tipos de datos transferidos.

Montaje del Protocolo en la

ATLYS - OpenRISC

  • (^) De manera general el cliente SWORD quien será el encargado del empaquetamiento, conexión y transmisión de los datos, funciona como se muestra en la gráfica. Hay que hacer énfasis que el protocolo por defecto realiza la operación mediante HTTP el cual usa el puerto 80 de TCP. - (^) Tanto el cliente como el servidor tuvieron que ser reconfigurados para utilizar un canal diferente de transmisión de datos. Para nuestro caso, se ha implementado en un puerto UDP por encima del 1024 los cuales ya están restringidos por estándares.

Montaje del Protocolo en la SBC

– Raspberry Pi

  • (^) Raspberry proporciona varios sistemas Linux como Raspbian o Pidora, pero estos, están diseñados para propósito general y sobrecargan las capacidades de la tarjeta, en especial cuando despliega la interfaz gráfica.
  • (^) Se utiliza la herramienta Buildroot para construir un kernel para el procesador ARM11 y un Linux liviano que permite el uso eficiente de los recursos.
  • (^) Buildroot construye el toolchain el cual podemos montarlo de manera local y realizar las configuraciones necesarias para el protocolo.

Servidor SWORD

  • (^) El servidor SWORD esta configurado para subir los datos a un repositorio de datos basado en la herramienta software Dspace. Igualmente puede ser configurado para aquellos que acepten este protocolo en su versión 2, tales como Eprints o arXiv.
  • (^) El servidor SWORD al igual que sucedía con el cliente, escucha por el puerto 80 de TCP por lo cual tuvo que ser reconfigurado para que utilizará como medio de trasmisión el protocolo UDT mediante sockets.
  • (^) Una vez conectados los protocolos, SWORD puede recibir paquetes de datos transmitidos desde la FPGA o desde la SCB y una ven entregado los datos completos, serán almacenados y catalogados en DSpace permitiéndoles estar visibles en la web.

Estado actual del proyecto – Lo

que se tiene

  • (^) En la FPGA se cuenta con el procesador OpenRISC y el Linux embebido.
  • (^) El protocolo UDT ha sido compilado y testeado para transferencias de archivos pequeños y utilizando conexiones punto a punto en equipos con arquitectura x86.
  • (^) Se cuenta con un toolchain para las raspberry pi que permite implementar un Linux liviano sobre la SBC.
  • (^) Se cuenta con el cliente y el servidor SWORD configurados para transmitir datos entre ellos y almacenarlos en el repositorio.
  • (^) La aplicación de autocatalogación (creación de metadatos) se encuentra funcional.