ปัจจุบันยังไม่ทราบแน่ชัดว่าในโลกมีสิ่งมีชีวิตทั้งหมดกี่ชนิด จากประมาณการโดยทีมนักชีววิทยา ในปี ค.ศ. 1990 คาดว่าน่าจะมีถึง 50 ล้านชนิด ตั้งแต่ สาหร่ายสีเขียวแกมน้ำเงิน แบคทีเรีย ไวรัส เห็ด รา พืช สัตว์ไม่มีกระดูกสันหลัง และสัตว์ที่มีกระดูกสันหลัง โดยในจำนวนนี้ประมาณ 1.7 ล้านชนิด เป็นสิ่งมีชีวิตที่ได้ถูกมนุษย์ค้นพบ และตั้งชื่อวิทยาศาสตร์ไว้แล้ว
สรรพสิ่งในโลกทั้งที่มีชีวิตและไม่มีชีวิตแม้จะมีจำนวนมากมายมหาศาล การเกิดขึ้นและคงอยู่ย่อมมีเหตุผลเพื่อบางสิ่งบางอย่างเสมอ ธรรมชาติย่อมไม่สร้างอะไรให้เป็นส่วนเกิน เช่น ไส้ติ่ง ที่แต่ก่อนเชื่อกันว่าเป็นส่วนเกินของร่างกายที่ตกค้างมาจากสายวิวัฒนาการของมนุษย์ ไม่มีหน้าที่ในทางสรีรศาสตร์ เมื่อมีเหตุต้องผ่าตัดช่องท้อง คนไข้มักให้หมอผ่าไส้ติ่งทิ้งไปด้วย เพราะเกรงว่าในอนาคตจะสร้างปัญหาอักเสบขึ้นมา อย่างไรก็ตาม ปัจจุบันไส้ติ่งถูกพบว่ามีส่วนช่วยในการสร้างและปกป้องเชื้อจุลินทรีย์ในกระบวนการย่อยอาหาร ซึ่งถ้ามีการติดเชื้อ อหิวาต์หรือโรคบิด ไส้ติ่งจะทำหน้าที่กระตุ้นระบบย่อยอาหารให้กลับมาทำงานได้อย่างมีประสิทธิภาพ นอกจากนี้ ไส้ติ่งยังมีประโยชน์ในกรณีที่คนไข้ต้องผ่าเอากระเพาะปัสสาวะออก ส่วนของลำไส้จะใช้ทำเป็นกระเพาะปัสสาวะแทน และไส้ติ่งจะถูกนำมาทำเป็นกล้ามเนื้อหูรูด ซึ่งจะช่วยให้คนไข้สามารถกลั้นปัสสาวะได้
การเกิดขึ้นในระยะแรกของบางสิ่งอาจดูไม่มีประโยชน์ จนกระทั่งการมาถึงของเทคโนโลยี ทำให้สิ่งที่ดูธรรมดาๆ กลับกลายเป็นความสำคัญต่อพัฒนาการของมนุษยชาติ เช่น ทรายเป็นของที่พบเห็นได้ทั่วไปและมีปริมาณมาก ในทรายจะมีซิลิคอนซึ่งส่วนใหญ่จะอยู่ในรูปของซิลิคอนไดออกไซด์ ปัจจุบันมีเทคโนโลยีที่สามารถสกัดซิลิคอนบริสุทธ์ เพื่อใช้ผสมกับอะลูมิเนียม หล่อทำชิ้นส่วนรถยนต์ ใช้เป็นวัตถุดิบ ผลิตซิลิโคน และยังเป็นส่วนประกอบพื้นฐานสำคัญที่ขาดไม่ได้ในการผลิตอุปกรณ์สารกึ่งตัวนำในอุตสาหกรรมอิเล็กทรอนิกส์
ดร. ณัฐวุฒิ พงศ์สิริ รองเลขาธิการ อีอีซี เล่าว่า ในเชิงปรัชญาการมองคุณค่าของสรรพสิ่งจะพิจาณาทั้งในแง่ของความงาม (Beauty) และศีลธรรม (Moral) ซึ่งในยุคโบราณปรัชญาแนวนี้คือเรื่องของสุนทรียศาสตร์ (Aesthetics) และแนวคิดว่าด้วยจริยศาสตร์ (Ethic) การแสวงหาคุณค่า ในสมัยก่อนเป็นที่รู้จักกันในชื่อ ‘ทฤษฎีความงาม (Theory of Beauty)’ เพื่อแยกแยะคุณค่าของสรรพสิ่งทั้งในมิติของสารัตถะ (Essence) มิติของผลประโยชน์ (Benefit) มิติของเป้าหมาย (Purpose) มิติสัมพัทธ์ (Relative) และมิติผสม (Mix) การแยกแยะทำให้เกิดการตีความ และให้ความสำคัญของมวลสรรพสิ่งไม่เท่ากัน แยกความเป็นธรรมดา ออกจากความสวยงาม ชื่อเสียง และความดี สุดท้ายแนวคิดดังกล่าวซึ่งยังมีอยู่จนถึงปัจจุบันก็นำไปสู่การเลือกปฏิบัติ เช่น ผู้สมัครงานที่รูปร่างหน้าตาดี หรือ หรือมีพื้นเพชาติตระกูลที่มีชื่อเสียง จะได้รับโอกาสในการเข้าทำงานมากกว่าผู้สมัครทั่วไป เนื่องจากภายใต้ดุลยพินิจของกรรมการสัมภาษณ์ คงอดไม่ได้ที่จะใช้จิตใต้สำนึกตามทฤษฎีความงามประกอบการตัดสินใจ
อย่างไรก็ตาม การมาถึงของเทคโนโลยีการจัดการข้อมูลใหญ่ (Bigdata) เป็นการก้าวออกจากปรัชญาดั่งเดิมที่ให้คุณค่าของสรรพสิ่งไม่เท่ากัน ด้วยเทคโนโลยีนี้ทุกสรรพสิ่งในจักรวาล ล้วนมีคุณค่าในตนเองทั้งสิ้น สิ่งที่สำคัญไม่ได้อยู่ที่อะไรมีค่ามากกว่าอะไร หรือใครมีคุณค่ามากกว่าใคร หากแต่อยู่ที่ว่าเมื่อนำทุกสิ่งมารวมกันจะนำไปสรรสร้างประโยชน์ได้อย่างไร ให้เกิดคุณค่ามากกว่าที่มีอยู่เดิม
‘ข้อมูลขนาดใหญ่’ หมายถึง กลุ่มข้อมูลจำนวนมากที่ถูกรวบรวมขึ้นในพื้นที่ใดพื้นที่หนึ่ง อาจเป็นทั้งโลก ทั้งประเทศ หรือทั้งองค์กร เพื่อนำมาวิเคราะห์และใช้ประโยชน์ ซึ่งข้อมูลที่ถูกรวบรวมจะมีทั้งข้อมูลที่ถูกจัดรูปแบบมาแล้ว (Structured) เช่น ข้อมูลเชิงประชากรของลูกค้าที่มาจากการเก็บข้อมูลแบบสอบถาม สถิติเวลาที่สแกนนิ้วเข้าทำงานของพนักงาน หรือข้อมูลที่ยังกระจัดกระจายกันอยู่ (Unstructured) เช่น ข้อมูลที่ถูกโพสต์ขึ้นโซเชียลมีเดียของแต่ละคน รูปภาพที่แชร์ คลิป พฤติกรรมต่างๆ ที่ถูกเก็บเป็นข้อมูลไว้ เป็นต้น ข้อมูลขนาดใหญ่มีปริมาณมหาศาล ซับซ้อนจนยาก หรือเป็นไปไม่ได้ที่จะประมวลผลทั้งหมดโดยใช้วิธีการแบบเดิม เทคโนโลยีการจัดเก็บและประมวลผลข้อมูลขนาดใหญ่ ได้ก้าวข้ามข้อจำกัดดังกล่าว จึงถือได้ว่าเป็นการให้ความสำคัญ และพยายามแสวงหาคุณค่าของทุกสรรพสิ่งอย่างเท่าเทียมกัน
การได้มาซึ่งข้อมูลที่จะนำมาวิเคราะห์ มีวิวัฒนาการมาจากเดิมที่ต้องจดบันทึกบนแบบฟอร์มที่สร้างขึ้น พัฒนาต่อมาเป็นจัดเก็บข้อมูลจากเว็บไซต์ลงฐานข้อมูล แต่ในปัจจุบันแหล่งข้อมูลได้เปลี่ยนมาเป็นการใช้เครื่องมืออุปกรณ์ต่างๆ ที่สามารถรับข้อมูลได้โดยตรง เช่นเครื่องวัดอัตราการเต้นของหัวใจ เครื่องสแกนลายนิ้วมือ ข้อมูลที่รับส่งทางอีเมล์ โดยเครื่องมือต่างๆ เหล่านี้มักมีหน่วยความจำของตัวเอง และเชื่อมต่อกับเครือข่ายอินเตอร์เน็ต เรียกว่า Internet of Think (IoT) สามารถแบ่งปันข้อมูลผ่านสื่อสังคมออนไลน์ เช่น ข้อมูลพฤติกรรมการสั่งซื้อสินค้าทางอินเตอรเน็ต หรือนาฬิกาอัจฉริยะ (Smart Watch) ที่สามารถเก็บข้อมูลอัตราการเต้นของหัวใจขณะกำลังออกกำลังกาย หรือวัดคุณภาพของการนอนหลับ เป็นต้น
นอกจากนี้ ยังมีภาพถ่ายดาวเทียมซึ่งเป็นข้อมูลอีกประเภทที่น่าสนใจ เช่น บริษัท Orbital Insight ใช้ข้อมูลภาพถ่ายดาวเทียมของคลังสินค้าน้ำมันดิบมาใช้ในการประมาณการระดับน้ำมันในคลังสินค้าผ่านขั้นตอนกระบวนการตรวจจับการเปลี่ยนแปลงเงา (Shadow Detection Algorithm) และนำข้อมูลดังกล่าวมาใช้รายงานปริมาณการกักเก็บน้ำมันดิบ ณ เวลาใดเวลาหนึ่ง หรือบริษัท RS Metrics ใช้ข้อมูลภาพถ่ายดาวเทียมของที่จอดรถในศูนย์การค้ามาวิเคราะห์หาความสัมพันธ์กับยอดขายค้าปลีกของศูนย์การค้านั้นๆ นอกจากนี้ยังมีบริษัท Descartes Labs วิเคราะห์การคาดการณ์ผลผลิตข้าวโพดจากภาพถ่ายดาวเทียมซึ่งแสดงการเปลี่ยนสีของข้าวโพดในช่วงเวลาต่างๆ เป็นต้น การพัฒนาโอเพนซอร์สเฟรมเวิร์ค เช่น Hadoop และ Spark มีความสำคัญต่อการเติบโตของการจัดการข้อมูลขนาดใหญ่เหล่านี้ เนื่องจากช่วยให้การจัดการข้อมูลง่าย และมีค่าใช้จ่ายที่ถูกลง
หลายประเทศในทวีปแอฟริกา เช่น ไนจีเรีย แทนซาเนีย อูกันดา มาลาวี หรือ รวันดา มีปัญหาความเหลื่อมล้ำทางเศรษฐกิจและสังคม การพัฒนาทั้งภูมิภาคไปพร้อมกัน จึงต้องใช้การผสมผสานระหว่างข้อมูลที่รัฐบาลมีอยู่แล้ว เช่นข้อมูลประกันสังคมที่บอกได้ถึงการเข้าถึงสิทธิทางสาธารณสุข อัตราการจ้างงาน ค่าใช้จ่ายเฉลี่ยต่อครัวเรือน เป็นต้น ผสมกับการเก็บข้อมูลเพิ่มเติม เช่น ข้อมูลทางดาวเทียมระบุตำแหน่งต่างๆ ของแต่ละครัวเรือน เพื่อแสดงการเข้าถึงบริการของรัฐ และได้รับการเติมเต็มข้อมูลให้สมบูรณ์ด้วย Digital Footprint อันเกิดจากการใช้งานโซเชียลมีเดีย ด้วยการติดตั้งแอปพลิเคชั่นให้ประชาชนใช้งาน การเก็บข้อมูลจำนวนมากดังกล่าวถูกนำมาประมวลผล และจัดกลุ่มเพื่อให้ฝ่ายผู้กำหนดนโยบายสามารถนำมาวิเคราะห์ถึงปัญหา และวางแผนแก้ไขปัญหานั้นในระดับประเทศ หรือระดับภูมิภาคได้ นอกเหนือจากปัญหาเชิงเศรษฐกิจ และสังคมแล้ว การจัดการข้อมูลขนาดใหญ่ยังใช้งานได้ดีในแง่ของการป้องกันภัยพิบัติจากธรรมชาติอีกด้วย เพราะมีการเก็บสถิติสภาพอากาศย้อนหลังจากดาวเทียมและส่วนอื่นๆ ที่สามารถพยากรณ์ได้อย่างแม่นยำว่าจะเกิดภัยธรรมชาติเช่นพายุ ขึ้นหรือไม่ ทำให้สามารถวางแผนรับมือ และบรรเทาภัยพิบัติได้ตรงจุด
การวิเคราะห์ความคิด ความชอบ หรือความพึงพอใจของประชากรทั้งหมด โดยการสุ่มตัวอย่างจากกลุ่มเป้าหมาย (Focus Group) และให้ทำแบบสอบถาม เป็นเครื่องมือที่ใช้กันมายาวนานเนื่องจากการเก็บข้อมูลทั้งหมด (Universal Sampling) เป็นไปได้ยาก ใช้เวลานาน และมีต้นทุนสูง ซึ่งต้องยอมรับว่าวิธีสุ่มตัวอย่างย่อมมีค่าผิดพลาดทางสถิติ เช่น ถ้าทำได้ดีอาจมีความผิดพลาดบวกลบน้อยกว่า 5% อย่างไรก็ตาม การทำโพลจากกลุ่มตัวอย่าง เช่น การทำนายผลการเลือกตั้งล่วงหน้า กำลังถูก Disrupt กลายเป็นของล้าสมัย เนื่องจากการใช้เทคโนโลยีการจัดการข้อมูลใหญ่ ทำให้สามารถเข้าถึงกลุ่มเป้าหมายได้จำนวนมากเกือบเท่าจำนวนประชากรทั้งหมด เช่น การใช้ Social Listening วิเคราะห์ฐานข้อมูลของสื่อสังคมออนไลน์ ควบคู่กับการค้นหาข้อมูลการพูดถึงผู้สมัครใน Google จะให้ผลลัพธ์ที่แม่นยำ รวดเร็ว และประหยัดค่าใช้จ่ายได้มากกว่า
แม้ว่ายุคของข้อมูลขนาดใหญ่จะได้เริ่มต้นขึ้นแล้วแต่ก็ยังเป็นเพียงระยะแรก การพัฒนา Internet of Thing ทำให้ในช่วงหลายปีที่ผ่านมามีปริมาณข้อมูลเพิ่มขึ้นมหาศาล การหาคุณค่าของข้อมูลโดยการใช้เทคโนโลยีการจัดการข้อมูลใหญ่ (Bigdata) ทำให้การแสวงหาคุณค่าของทุกสรรพสิ่งไม่ใช้เรื่องเพ้อฝันอีกต่อไป มนุษย์เข้าใจได้ดีขึ้นว่าธรรมชาติไม่สร้างอะไรที่เป็นส่วนเกิน ซึ่งจะนำไปสู่การสรรสร้างประโยชน์ให้เกิดคุณค่ามากกว่าคุณค่าที่มีอยู่เดิม ลดการเลือกปฏิบัติ และลดความผิดพลาดจากการใช้ดุลยพินิจที่เกิดจากการมีข้อมูลไม่ครบถ้วนเช่นในอดีต