聊天截圖曝出AI頂會審稿潛規則！AAAI 3000塊即可strong accept？
編輯：Aeneas 好睏
【新智元導讀】
最近，知乎上爆出一張AI投稿群的匿名聊天截圖，網友討論「加群互相bid」，還說3000塊就可以買到一個AAAI的「strong accept」。
正值AAAI 2023論文截止提交之際，知乎上突然出現了一張AI投稿群的匿名聊天截圖。
其中有人聲稱，自己可以提供「3000塊一個strong accept」的服務。
爆料一出，頓時引起了網友們的公憤。
不過，先不要著急。
知乎大佬「微調」表示，這大機率只是「口嗨」而已。
據「微調」透露，打招呼和團伙作案這個是任何領域都不能避免的問題。隨著
openreview
的興起，cmt的各種弊端也越來越清楚，未來留給小圈子操作的空間會變小，但永遠會有空間。因為這是個人的問題，不是投稿系統和機制的問題。引入open review和bid+隨機匹配可能會有幫助。
而且他的個人觀點是，文章發在NeurIPS還是AAAI還是IJCNN都無所謂，充分宣傳讓大家知道你在做什麼就行了，
citation
會證明這東西有沒有用。
那麼，這種風氣是否在如今的頂會論文審稿中普遍存在呢？又是否已經有人因此「名利雙收」了呢？
萬物皆可發家致富
在討論之前，我們先來簡單說一下這個bid到底是啥。
為了方便分配審稿人，有的會議會設定一個bidding環節讓審稿人自己選擇感興趣的文章。然後系統就可以參考這些審稿人的選擇進行論文的分配了。不過，審稿人在這個階段只能看到論文標題和摘要。
而這其中，可就大有文章了。
各種匿名爆料
另有知乎匿名網友表示，格局小了吧，有微信聊天截圖為證，其實連best paper都是能互相bid的，這點小事算個啥。
有網友表示，今年投稿AAAI時，還一本正經地讓填conflicted users、conflicting domain等等，但實際上作用不大。
這位知乎匿名使用者甚至提出了令人拍案叫絕的解決方案：用圖神經網路、推薦系統等自動挖掘出以各個導師為中心的關係網路，再檢查各大會議的bid資料、審稿資料、給分情況，這樣異常節點和關係就可以輕而易舉地挖出來，因為它們在圖神經網路裡像恆星一樣耀眼。
或者乾脆舉辦個頂會bid資料探勘大賽。
不過也有網友指出，這個所謂「3千塊包SA」，其實是有bug的：
要知道，就算你強推了，其他審稿人一個borderline加一個weak reject，直接白給。畢竟這東西又不是算平均分錄取的。而且分歧很大的話，AC也不可能給過的。
所以就算要給錢，也要用在「刀刃」上。這麼一想，那就得找SPC或者AC了。但這時，你就需要考慮兩個問題了（其實是一個）：第一，人家這種level的，你給3000塊就想搞定？第二，如果人家真給你搞定了，只會收你3000？
當然，除了吐槽外，還有一位「見義勇為」的senior reviewer表示，如果自己看到有審稿人給了「水文」高分，就會直接strong reject，然後寫小作文狠狠地diss，而且現在連模板都已經擬好了。
據說，所有會議和期刊都有類似的問題，只是比例和嚴重程度不同。此文中就不便多講了。
某匿名使用者的建議，屬實有才
審稿隨機性有多大
AI頂會審稿的隨機性究竟有多大呢？
在2021年，NeurIPS就曾做過一次審稿一致性實驗。
根據港中文CS博士「電光幻影鍊金術」的影片介紹，在這個實驗中，同一份稿件有10%的機率會送給兩組審稿人，兩組審稿人互相不知道對方的存在。
兩組審稿人會分別進行評分，有兩個領域主席對評分的結果作出決定。這樣就可以定量分析，同一份稿件會有多大機率得到不同的審稿結果。
結果顯示，第一組審稿人accept、第二組審稿人reject的機率是52%，這機率已經超過一半了。
而如果第一組審稿人reject，第二組審稿人也reject的機率是83%。
這個結果和李飛飛的觀點也是符合的。
李飛飛就曾發表過一篇很著名的討論審稿的文章，提出了這兩個觀點：
1。審稿過程是高度隨機的。
2。差的論文會得到差的審稿意見，這是隨時間和隨機性都不會改變的黃金規則。
NeurIPS官方還進行了這樣一個比較，每篇論文不進行審稿，隨機決定，然後根據接收率和分歧率製成一條曲線，橫軸是接收率，縱軸是分歧率。
圖中可見，如果接收率非常低或非常高，那麼分歧率是不大的。
而中間的分歧率是最大的，如果說接收率是50%的話，分歧是最大的。
AAAI和IJCAI都是採用這種模式，用高拒絕率，來換取較小的隨機性。
最後，「電光幻影鍊金術」給出這樣一份關於人工智慧審稿的結論小結。
風口浪尖上的AAAI
當初，AAAI 2022的審稿結果就飽受爭議。
有人在社交媒體上表示，自己的論文得到了4個accept，最後還是被拒了。
下面這位作者表示，4位審稿人均給出了「偏向接收」或「接收」的意見，在審稿意見中也都是正面評價：idea有趣、模型足夠solid、實驗和分析也夠全面。
但最終結果卻是：拒稿。
對於AAAI 2023來說，採用的依然是兩階段+雙盲的
審稿形式
。
在第1階段中，每篇論文會得到兩名審稿人。如果收到的兩份意見都是負面的，那麼這篇論文就會被直接拒絕。其餘的將進入到第2階段。
在第2階段中，每篇論文會得到至少兩名新的審稿人。在新的審稿人提交自己的意見之前，他們是不會看到第1階段的審稿結果的。
而進入第2階段的論文作者，可以針對所有的審稿意見進行迴應。程式委員會和高階程式委員會將會根據作者的反饋進行討論。
至於具體的操作方法，可以參考下面的這篇論文。
該論文提出了一種新穎的審稿人-論文匹配方法，並且已經在AAAI 2021、ICML 2022、AAAI 2022和IJCAI 2022上得到了應用（全部或部分）。
論文地址：https：//arxiv。org/abs/2202。12273
最後只能說，目前看來投稿時能整的花活不多，投稿人唯一能做的就是儘量寫出好文章，讓自己的paper成為NeurIPS實驗曲線裡最右邊的那一小搓。
參考資料：
https：//www。zhihu。com/question/548211913
https：//www。zhihu。com/zvideo/1453042479734304768
https：//www。zhihu。com/question/548211913/answer/2628893619
https：//www。zhihu。com/question/548211913/answer/2628807013
