كيف يتم إنشاء Dataset

يمكن إنشاء مجموعات البيانات (dataset) بطرق مختلفة حسب نوع البيانات والغرض من استخدامها.

وهذه أمثلة للطرق التي يتم إنشاء مجموعات البيانات بها:

• جمع يدوي: يتم جمع البيانات يدويا بواسطة الباحثين أو المحللين من خلال استبيانات أو تجارب . فمثلا  قد يتم جمع بيانات حول آراء العملاء من خلال استمارات تقييم أو مقابلات أو مثلا الأمراض يتم وضع إستبيان للتبع الأمراض لدي الأشخاص.
• جمع آلي: يتم جمع البيانات باستخدام أدوات أو برامج مثل webScrapping  حيث يتم جمع البيانات من مواقع الويب.
• استخدام مجموعات أو قواعد بيانات : يتم تجميع البيانات من مصادر موجودة بالفعل مثل البيانات الصادرة من المستشفيات مثلا أو مراكز الأبحاث أو أي مؤسسة لديها بيانات حقيقية.
• البيانات الصناعية: يمكن إنشاء بيانات عشوائية مزيفة باستخدام الخوارزميات عندما تكون البيانات الحقيقة خاصة أو قليلة ولا يمكن الوصول إليها.جيث هذه الطريقة شائعة في  تدريب نماذج تعلم الآلة .

أما إذا كنت تريد طرق لإنشاء بيانات لك يمكنك إستخدام :

• https://mockaroo.com/

أحد أشهر المواقع لإنشاء بيانات عشوائية مع العديد من أنواع البيانات، بما في ذلك الأسماء، والعناوين، والأرقام. حيث يمكنك تحديد عدد الصفوف التي تريد إنشاءها وتصدير البيانات بتنسيقات مختلفة مثل CSV و JSON و SQL.

أو يمكنك إستخدام مكتبات مثل :

• Pandas من خلال إنشاء DataFrames بسهولة وتعبئتها ببيانات عشوائية
•  NumPy

أغلب البيانات يتم نشرها من خلال إما Web scraping أو قاعدة بيانات لمنصة معينة وفئة من المستخدمين، وتم نشرها للإفادة وتلك البيانات لن تضر في حال إمتلاكها، مثلاً قاعدة بيانات لمراجعة 50 ألف فيلم من IMDB أو بيانات لمرضى السكري لكن بدون أسماء أو بيانات شخصية وهكذا.

أما البيانات الحساسة والهامة للمستخدمين فلا يتم نشرها فتلك يتم دفع مبالغ كبيرة بها أو تمتلكها الشركات الكبرى مثل جوجل ومايكروسوفت.

وعامًة في الأونة الأخيرة هناك إتجاه سائد نحو synthetic data أو البيانات الاصطناعية كالتي يتم توليدها من خلال أداة مثل المذكورة في التعليقات هنا أو من خلال مكتبة مثل ydata-synthetic.