Suchergebnisse

AbstractInput data collection, quality assurance and preparation are central but time_consuming steps in environmental modeling. Errors due to manual processing of model input data can result in an incorrect representation of an environmental system and may consequently lead to implausible model simulations. Correct input data preparation and thorough quality check at an early stage of the model setup procedure are essential to build confidence in model simulation results. Typically, in environmental model applications, many steps in the input data preparation phase have to be repeated with the inflow of new, additional or corrected data. In this study, we selected the widely used SWAT + ecohydrological model as an illustrative example to investigate challenges related to input data preparation. To assist in these tasks, we developed an R package named SWATprepR, which provides functions for typical and repeating SWAT + model input data preparation tasks. The package supports the preparation of weather input files, atmospheric deposition, soil parameters, crop rotations, and observed (control or calibration) data, to name a few, presently with focus on European applications. The SWATprepR functions are integrated in R script workflows and can help SWAT + modelers to avoid repetitive tasks, secure reproducibility and transparently document the data processing steps. Application of the package is illustrated with a test case of a SWAT + model for a small catchment in central Poland.

Data preparation for computer simulation of cross-wedge rolling (CWR) process based on ANSYS/LS-DYNA finite element code is considered in the article. In order to automate the process of developing CWR models and performing their finite element analysis, specialized software (PSPD) was developed. This software provides creation of a finite element (FE) model of the rolling process considering the specifics of CWR technological processes and different aspects of the application of the finite element methods (FEM) in the metal-forming processing. PSPD interacts with the base system through APDL scripts, that describe individual sequences of actions for preparing the FE model and choosing solver parameters to run the task. PSPD provides a graphical user interface (GUI) which allows users to enter necessary data for generating APDL scripts, the model builds automatically in ANSYS in batch mode when scripts are run. Also, PSPD provides preparation of the FE model for solver and provides managing the calculation process. In addition to describing the functionality and features of the program and its GUI, the article provides techniques and methods of FE model preparation for computer analysis using the developed software as well as the main steps of creating FE model in ANSYS/LS-DYNA, which are automated in PSPD. PSPD can significantly reduce the demand for knowledge in the field of computer simulation to the engineers engaged in the development of tools and technical processes for rolling, it allows quickly creating and modifying FE models, performing CWR research for a variety of input data of process technology and solver parameters.

Fluorine-19 MRI shows great promise for a wide range of applications including renal imaging, yet the typically low signal-to-noise ratios and sparse signal distribution necessitate a thorough data preparation.This chapter describes a general data preparation workflow for fluorine MRI experiments. The main processing steps are: (1) estimation of noise level, (2) correction of noise-induced bias and (3) background subtraction. The protocol is supplemented by an example script and toolbox available online.This chapter is based upon work from the COST Action PARENCHIMA, a community-driven network funded by the European Cooperation in Science and Technology (COST) program of the European Union, which aims to improve the reproducibility and standardization of renal MRI biomarkers. This analysis protocol chapter is complemented by two separate chapters describing the basic concept and experimental procedure.

Can AI help automate human-easy but computer-hard data preparation tasks that burden data scientists, practitioners, and crowd workers? We answer this question by presenting RPT, a denoising autoencoder for tuple-to-X models (" X " could be tuple, token, label, JSON, and so on). RPT is pre-trained for a tuple-to-tuple model by corrupting the input tuple and then learning a model to reconstruct the original tuple. It adopts a Transformer-based neural translation architecture that consists of a bidirectional encoder (similar to BERT) and a left-to-right autoregressive decoder (similar to GPT), leading to a generalization of both BERT and GPT. The pre-trained RPT can already support several common data preparation tasks such as data cleaning, auto-completion and schema matching. Better still, RPT can be fine-tuned on a wide range of data preparation tasks, such as value normalization, data transformation, data annotation, etc. To complement RPT, we also discuss several appealing techniques such as collaborative training and few-shot learning for entity resolution, and few-shot learning and NLP question-answering for information extraction. In addition, we identify a series of research opportunities to advance the field of data preparation.

"Die Aufbereitung und Dokumentation des faktisch anonymisierten Einzelmaterials des Mikrozensus als Scientific Use File erfolgt durch das Statistische Bundesamt, Gruppe F2 Bevölkerung, Mikrozensus, Wohnen und Migration, in Kooperation mit dem German Microdata Lab der GESIS. In dem vorliegenden Bericht werden das Erhebungsprogramm und der Stichprobenplan des Mikrozensus im Allgemeinen sowie die Besonderheiten des Mikrozensus 2009 skizziert. Diese Daten umfassen die Zusatzprogramme Angaben zu Schichtarbeit, Lebensversicherung, betriebliche Altersvorsorge, vermögenswirksame Leistungen, Gesundheit, Behinderung und Rauchgewohnheiten sowie differenzierte Angaben zum Migrationshintergrund und das Ad-hoc-Modul zum Thema 'Eintritt junger Menschen in den Arbeitsmarkt'.
Außerdem werden die Datenaufbereitung und Substichprobenziehung sowie die Qualitätsprüfung des Scientific Use Files beschrieben." (Autorenreferat)

In diesem Beitrag werden nach einer kurzen Beschreibung des Erhebungsprogramms, der Stichprobe und der Besonderheiten des Mikrozensus 1985, die einzelnen Schritte der Aufbereitung der faktisch anonymisierten Mikrozensusdaten dargestellt. Die Bereitstellung der faktisch anonymisierten Daten als Rohdatenfile in ASCII-Format erfolgt durch das Forschungszentrum (FDZ) des Statistischen Bundesamtes. In Kooperation mit dem FDZ stellt das German Microdata Lab dem Nutzer ausführliche Informationen über das Scientific Use File zur Verfügung und bietet Setups zur Aufarbeitung des Datenmaterials und zur Erstellung von System-Files in Datenformaten gängiger Softwarepakete an. Ausführliche Informationen über die verfügbaren Mikrozensus Scientific Use Files werden darüber hinaus in Gesis-Methodenberichten und im World Wide Web des German Microdata Lab bereitgestellt und können dort abgerufen werden. Anschließend wird nach einer kurzen Beschreibung des Mikrozensus und des Mikrozensus Scientific Use Files 1985 der Vorgang der Datenaufbereitung beschrieben und die notwendigen Schritte zur Überprüfung der Plausibilität von eingelesenen Daten erläutert. (ICG2)

"Die Aufbereitung und Dokumentation des faktisch anonymisierten Einzelmaterials des Mikrozensus
als Scientific Use File erfolgt durch das Statistische Bundesamt, Gruppe VIII C - Mikrozensus,
in Kooperation mit dem German Microdata Lab der GESIS. In dem vorliegenden Methodenbericht
werden das Erhebungsprogramm und der Stichprobenplan des Mikrozensus im Allgemeinen sowie
die Besonderheiten des Mikrozensus 2007 skizziert, der die Zusatzprogramme Angaben zur
Krankenversicherung sowie Zusatzangaben zur Erwerbstätigkeit und das Ad-hoc-Modul Arbeitsunfälle,
Arbeit und Gesundheit der Arbeitskräfteerhebung der EU umfasst. Außerdem werden die
Datenaufbereitung und Substichprobenziehung sowie die Qualitätsprüfung des Scientific Use
Files beschrieben." (Autorenreferat)

"Die Aufbereitung und Dokumentation des faktisch anonymisierten Einzelmaterials des Mikrozensus als Scientific Use File erfolgt durch das Statistische Bundesamt, Gruppe F2 Bevölkerung, Mikrozensus, Wohnen und Migration, in Kooperation mit dem German Microdata Lab der GESIS. In dem vorliegenden Bericht werden das Erhebungsprogramm und der Stichprobenplan des Mikrozensus im Allgemeinen sowie die Besonderheiten des Mikrozensus 2008 skizziert. Diese Daten umfassen die Zusatzprogramme Angaben zum Pendelverhalten von Berufs- und Ausbildungspendlern sowie zur Zahl der geborenen Kinder von Frauen im Alter von 15 bis 75 Jahren und das Ad-hoc-Modul zum Thema Migration und Arbeitsmarkt der Arbeitskräfteerhebung der EU. Außerdem werden die Datenaufbereitung und Substichprobenziehung sowie die Qualitätsprüfung des Scientific Use Files beschrieben." (Autorenreferat)

'Die Aufbereitung und Dokumentation des faktisch anonymisierten Einzelmaterials des Mikrozensus als Scientific Use File erfolgt durch das Statistische Bundesamt, Gruppe VIII C - Mikrozensus, in Kooperation mit dem German Microdata Lab der GESIS. In dem vorliegenden Methodenbericht werden das Erhebungsprogramm und der Stichprobenplan des Mikrozensus im Allgemeinen sowie die Besonderheiten des Mikrozensus 2006 skizziert, der das Zusatzprogramm zur Wohnsituation und das Ad-hoc-Modul 'Übergang vom Erwerbsleben in den Ruhestand' der Arbeitskräfteerhebung der EU umfasst. Außerdem werden die Datenaufbereitung und Substichprobenziehung sowie die Qualitätsprüfung des Scientific Use Files beschrieben.' (Autorenreferat)