Kepercayaan & Keselamatan

Kami menjalankan pengimbas kami pada pangkalan kod kami sendiri merentas lima profil teras dan menerbitkan keputusannya sama ada baik atau tidak bagi kami: 93 lulus, 0 sekatan, 9 amaran daripada 102 semakan — skor 96, gred A. Pada 2 Ogos, halaman ini mencatatkan 84, gred B, daripada 91 semakan. Kod kami tidak menjadi lebih teruk; kami menambah 20 lagi semakan yang memeriksa kod dan konfigurasi, bukan dokumen, dan tujuh daripadanya menemui kawalan yang kami huraikan secara bertulis tetapi belum kami bina. Baca sebabnya sebelum melihat gred. Hanya satu daripada tujuh itu ialah kawalan yang benar-benar tiada: hak subjek data, yang kami bina pada 4 Ogos, sehari selepas semakan mendapati ia tiada. Empat daripada enam yang lain ialah kesilapan dalam semakan kami sendiri — semakan itu melaporkan jurang dalam kawalan yang sudah kami miliki. Semakan segmentasi rangkaian kami tidak dapat mengenal pasti bentuk biasa Docker Compose. Semakan kad model kami mengabaikan folder tempat kad model disimpan. Semakan kawalan akses kami tidak mengenali model kebenaran rangka kerja web yang kami gunakan. Dan semakan persetujuan kuki kami menuntut sepanduk persetujuan daripada laman yang tidak menetapkan sebarang kuki penjejakan. Setiap kesilapan itu turut menjejaskan pelanggan, bukan kami sahaja. Gred berubah kerana pengukuran menjadi lebih tepat, bukan kerana kod menjadi lebih selamat — sebab yang sama gred turun dua hari sebelumnya, cuma ke arah bertentangan. Ini kali kedua usaha memperdalam pengukuran kami sendiri menurunkan gred kami, dan pertukaran itu wajar: skor yang hanya berubah apabila kod bertambah baik lebih bernilai daripada skor yang mengampu pengimbas. Pada 18 Ogos skor berubah lagi, daripada 82 kepada 76, dan kali ini kami melakukannya sendiri dengan sengaja. Kami membina korpus kelayakan dan nilai NRIC yang sengaja ditanam — sampel yang mesti dikesan oleh semakan pengesanan kami — dan pengimbas kami sendiri menemuinya seperti yang dijangka. Lima daripada sebelas amaran ialah data ujian tersebut. Kami boleh mengecualikan direktori itu dan mengekalkan skor yang lebih tinggi; sebaliknya kami menurunkannya kepada amaran, kerana NRIC yang ditanam tetap NRIC yang berada dalam repositori, dan pengimbas yang tidak dapat melihat fikstur ujiannya sendiri tidak boleh dipercayai untuk melihat fikstur anda. Pada hari yang sama skor kembali kepada 82, dan kali itu kod benar-benar bertambah baik. Dua daripada amaran itu ialah kawalan yang benar-benar tiada pada kami. Kami kini merekodkan setiap inferens AI yang dibuat oleh produk ini — ringkasan prompt, jawapan dan keputusan yang terhasil daripadanya — dalam log berantai cincangan, kerana NAIO 2026 menghendaki output AI boleh disemak kemudian dan kami meminta perkara itu daripada pelanggan sedangkan kami sendiri tidak menyimpan apa-apa. Log aplikasi kami pula kini dihantar kepada pengumpul yang beroperasi di sebelah aplikasi tanpa kelayakan dan tanpa port yang didedahkan, supaya penyerang yang berjaya mencapai API tidak dapat memadam rekod perbuatannya; keupayaan itu wujud sejak 2 Ogos tetapi dimatikan, kerana tiada penerima di hujung sana. Dua lagi ialah kesilapan dalam semakan kami sendiri, dan kedua-duanya turut menjejaskan pelanggan: semakan pengelogan AI kami mengenali nama model_output_log tetapi tidak mengenali ai_output_log, dan semakan HTTPS kami tidak dapat membezakan penghala di 10.0.0.1 daripada internet terbuka. Semakan itu juga menemui satu masalah sebenar yang kami harap tiada: pihak berkuasa cap masa kami menggunakan HTTP biasa, bermakna ringkasan penilaian pelanggan merentasi rangkaian tanpa penyulitan. Kami telah berpindah kepada TSA yang menyediakan TLS. Sembilan amaran yang tinggal semuanya berkeyakinan rendah, dan lapan daripadanya ialah fikstur ujian dan definisi peraturan kami sendiri — pengimbas melihat bukti tanaman yang memang sepatutnya dilihatnya. Pada 19 Ogos kami mengubah satu peraturan pemarkahan, dan perubahan itu menaikkan gred kami sendiri daripada B kepada A. Anda wajar membaca ayat itu dengan skeptikal, jadi berikut ialah semua yang anda perlukan untuk menilainya. Dapatan tidak berubah: 93 lulus yang sama, sembilan amaran yang sama, sembilan fail yang sama. Yang berubah ialah amaran berkeyakinan rendah kini menolak satu mata, bukan dua. Setiap semakan pengesanan sudah menimbang buktinya dan menyatakan sebabnya — kelayakan di dalam definisi peraturan dilaporkan sebagai definisi peraturan, bukan sebagai kebocoran — tetapi skor mengabaikan semua itu dan mengenakan potongan yang sama bagi dapatan yang kami sendiri labelkan 'ini fikstur ujian anda sendiri' seperti dapatan sebenar. Laporan dan angka saling bercanggah, dan hanya laporan yang betul. Separuh, bukan sifar, kerana NRIC yang ditanam tetap NRIC yang berada dalam repositori. SEKATAN (BLOCK) tidak diberi sebarang potongan, pada apa jua tahap keyakinan: jika kami tidak cukup yakin untuk mengenakan potongan penuh, dapatan itu sepatutnya diturunkan kepada amaran terlebih dahulu, dan pelaksanaan mesti dihentikan, mungkin bukan satu dapatan. Di bawah pemberat sebelumnya, imbasan yang sama ini mendapat 82, gred B; kedua-dua angka sengaja dicetak di sini. Perubahan ini terpakai secara sama pada laporan setiap pelanggan, dan inilah sebabnya pangkalan kod yang mempunyai suite ujian yang serius tidak lagi dihukum kerana memilikinya. Masalah ini tidak disedari selama lapan belas bulan kerana tiada ujian sama sekali pada fungsi pemarkahan — kini ada, dan ujian itu mengesahkan angka pada halaman ini, supaya jika kedua-duanya tersasar, ujian akan gagal dan dakwaan tidak menjadi lapuk tanpa disedari. Kemudian kami bertanya soalan susulan yang jelas, dan jawapannya lebih buruk daripada masalah asal. Jika kami memberi diri kami gred A, bolehkah pihak lain juga mendapatnya? Kami mengimbas lapan belas pangkalan kod sebenar untuk mengetahuinya — sembilan produk kami sendiri, dan sembilan pakej Python yang paling meluas digunakan, termasuk fastapi, requests, sqlalchemy dan pydantic. Tujuh belas daripada lapan belas mendapat skor tepat sifar dan gred F. Satu-satunya pengecualian ialah AuditCore. Di bawah kiraan lama, lima dapatan SEKATAN sudah mencecah sifar dan setiap pangkalan kod sebenar mempunyai lebih daripada lima, jadi skala itu tidak mempunyai resolusi sama sekali — skala itu tidak dapat membezakan lapan kegagalan daripada lapan belas. Itu bukan skala penggredan, tetapi ujian sama ada sesuatu projek itu AuditCore, dan tiada pelarasan sempadan jalur yang dapat membetulkannya kerana tiada apa-apa antara 0 dan 91 untuk dijalurkan. Skor kini ialah perkadaran semakan yang lulus, yang berjulat 27% hingga 96% bagi set tersebut, dengan tahap keterukan menetapkan siling yang tidak dapat diatasi oleh perkadaran: sebarang SEKATAN mengehadkan gred pada C, lima atau lebih pada D, kerana lulus 95% semakan tetapi gagal memenuhi keperluan berkanun bukan gred A. Angka kami sendiri naik daripada 91 kepada 96 dan kekal gred A; pangkalan kod yang dahulunya tidak dapat dibezakan pada sifar kini berada antara F dan C, dalam susunan yang boleh anda pertikaikan. Data penuh, kaedah dan empat batasan yang tidak dapat kami selesaikan — termasuk hakikat bahawa kami satu-satunya projek dalam set itu yang telah mengkonfigurasi pengimbas, dan oleh itu satu-satunya projek yang dapatannya diberi pemberat lebih rendah — diterbitkan dalam docs/CALIBRATION_20260819.md.